大数据加速拉力赛

English Version

GPU大数据加速拉力赛为您提供了一套基于POWER8开发平台以及当今最为流行的OpenPOWER GPU加速的分布式大数据分析平台的开发环境。

您可以选择：

A. 将已有的GPU加速应用移植到Spark

您是否已有利用GPU进行加速的应用，但是它目前使用的是单节点运算？

• 将你的应用移植到Spark的分布式运算架构来进行扩展，同时仍具备GPU加速能力。
• 验证您的GPU加速应用可在POWER8上运行。
• 验证基于Spark的应用可以扩展到第二个进程，同时，两个进程都将获得GPU加速能力。  

Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).

B. 使用GPU加速功能生成一个新的应用，或者在已有的Spark应用上增加GPU加速能力

• 验证没有GPU加速情况下的Spark应用可在2个节点之间扩展。
• 然后，加入GPU加速功能，验证所获得的增益。  

Spark GPU Enabler Package (http://spark-packages.org/package/ibmsoe/GPUEnabler).

C. 利用多片GPU加速Spark

• 例如，利用Spark MLlib 算法, Spark GraphX 算法, Spark SQL queries算法或者其他方法，修改Spark，使其具有GPU加速功能 
• 验证通过GPU加速功能所获得的增益。

一些例子 (https://github.com/IBMSparkGPU).

如何开始

如果您想从以上任何一项开始工作，请登录SuperVessel（http://www.ptopenlab.com ）选择预置了Spark、CUDA，编译器、ipython notebook的Spark 镜像。最全的提示和教程请看这里   

OpenPOWER开发者挑战赛将从以下几个方面评审您的作品：

• 在两个Spark节点上，您方案的性能如何。
• 解决方案的技术创新性。
• 使用GPU后的速度提升如何
• 如果您采用方案C，将会获得加分。
• 如果您方案结合了A,B,C中的两项以上，将会获得更多加分。
• 如果您将Accelerated Spark Challenge 与Cognitive Cup Deep Learning Challenges 相结合（例如Distributed GPU-accelerated Deep Learning leveraging Spark），将会获得超多加分。

 为了获得Spark加速挑战赛的最新信息，欢迎常回来看看。