大数据加速拉力赛
English Version
GPU大数据加速拉力赛为您提供了一套基于POWER8开发平台以及当今最为流行的OpenPOWER GPU加速的分布式大数据分析平台的开发环境。
您可以选择:
A. 将已有的GPU加速应用移植到Spark
您是否已有利用GPU进行加速的应用,但是它目前使用的是单节点运算?
- 将你的应用移植到Spark的分布式运算架构来进行扩展,同时仍具备GPU加速能力。
- 验证您的GPU加速应用可在POWER8上运行。
- 验证基于Spark的应用可以扩展到第二个进程,同时,两个进程都将获得GPU加速能力。
Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).
B. 使用GPU加速功能生成一个新的应用,或者在已有的Spark应用上增加GPU加速能力
- 验证没有GPU加速情况下的Spark应用可在2个节点之间扩展。
- 然后,加入GPU加速功能,验证所获得的增益。
Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).
C. 利用多片GPU加速Spark
- 例如,利用Spark MLlib 算法, Spark GraphX 算法, Spark SQL queries算法或者其他方法,修改Spark,使其具有GPU加速功能
- 验证通过GPU加速功能所获得的增益。
一些例子 (https://github.com/IBMSparkGPU).
如何开始
如果您想从以上任何一项开始工作,请登录SuperVessel(http://www.ptopenlab.com )选择预置了Spark、CUDA,编译器、ipython notebook的Spark 镜像。最全的提示和教程请看这里
OpenPOWER开发者挑战赛将从以下几个方面评审您的作品:
- 在两个Spark节点上,您方案的性能如何。
- 解决方案的技术创新性。
- 使用GPU后的速度提升如何
- 如果您采用方案C,将会获得加分。
- 如果您方案结合了A,B,C中的两项以上,将会获得更多加分。
- 如果您将Accelerated Spark Challenge 与Cognitive Cup Deep Learning Challenges 相结合(例如Distributed GPU-accelerated Deep Learning leveraging Spark),将会获得超多加分。
为了获得Spark加速挑战赛的最新信息,欢迎常回来看看。