大数据加速拉力
English Version

GPU大数据加速拉力赛为您提供了一套基于POWER8开发平台以及当今最为流行的OpenPOWER GPU加速的分布式大数据分析平台的开发环境。

您可以选择

A. 将已有的GPU加速用移植到Spark

您是否已有利用GPU进行加速的应用,但是它目前使用的是单节点运算?

  • 将你的应用移植到Spark的分布式运算架构来进行扩展,同时仍具备GPU加速能力。
  • 验证您的GPU加速应用可在POWER8上运行。
  • 验证基于Spark的应用可以扩展到第二个进程,同时,两个进程都将获得GPU加速能力。  

Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).

B. 使用GPU加速功能生成一个新的用,或者在已有的Spark用上增加GPU加速能力

  • 验证没有GPU加速情况下的Spark应用可在2个节点之间扩展。
  • 然后,加入GPU加速功能,验证所获得的增益。  

Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).

C. 利用多片GPU加速Spark

  • 例如,利用Spark MLlib 算法, Spark GraphX 算法, Spark SQL queries算法或者其他方法,修改Spark,使其具有GPU加速功能 
  • 验证通过GPU加速功能所获得的增益。

一些例子 (https://github.com/IBMSparkGPU).

 

如何开始

如果您想从以上任何一项开始工作,请登录SuperVessel(http://www.ptopenlab.com )选择预置了Spark、CUDA,编译器、ipython notebook的Spark 镜像。最全的提示和教程请看这里   

OpenPOWER开发者挑战赛将从以下几个方面评审您的作品:

  • 在两个Spark节点上,您方案的性能如何。
  • 解决方案的技术创新性。
  • 使用GPU后的速度提升如何
  • 如果您采用方案C,将会获得加分。
  • 如果您方案结合了A,B,C中的两项以上,将会获得更多加分。
  • 如果您将Accelerated Spark Challenge 与Cognitive Cup Deep Learning Challenges 相结合(例如Distributed GPU-accelerated Deep Learning leveraging Spark),将会获得超多加分。

 为了获得Spark加速挑战赛的最新信息,欢迎常回来看看。