一、如何从菜鸟成长成spark大数据高手
第一阶段：熟练掌握Scala语言
1，spark框架是采用scala语言写的，精致优雅。想要成为spark高手，你就必须阅读spark源码，就必须掌握scala。
2，虽然现在的spark可以使用多种语言开发，java,python，但是最快速和支持最好的API依然并将永远是Scala的API，所以必须掌握scala来编写复杂的和高性能的spark分布式程序。
3尤其是熟练掌握Scala的trait,apply,函数式编程，泛型，逆变，与协变等。
第二阶段：精通spark平台本身提供给开发折的API
1，掌握spark中面向RDD的开发模式，掌握各种transformation和action函数的使用。
2，掌握Spark中的款依赖和窄依赖，lineage机制。
3，掌握RDD的计算流程，如Stage的划分，spark应用程序提交给集群的基础过程和Work节点基础的工作原理。
第三阶段：深入Spark内核
此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：
1，通过源码掌握Spark的任务提交，
2，通过源码掌握Spark的集群的任务调度，
3，尤其要精通DAGScheduler,TaskScheduler和Worker节点内部的工作的每一步细节。
第四阶段：掌握Spark上的核心框架的使用
Spark作为云计算大数据时代的集大成者，在实时流式处理，图技术，机器学习，nosql查询等方面具有明显的优势，我们使用Spark的时候大部分时间都是在使用其框架：
sparksql,spark streaming等
1，spark streaming是出色的实时流失处理框架，要掌握，DStream,transformation和checkpoint等。
2，spark sql是离线统计分析工具，shark已经没落。
3，对于spark中的机器学习和Graphx等要掌握其原理和用法。
第五阶段：做商业级的spark项目
通过一个完整的具有代表性的spark项目来贯穿spark的方方面面，包括项目的框架设计，用到的技术的剖析，开始实现，运维等，完善掌握其中的每一个阶段和细节，以后你就可以从容的面对绝大多数spark项目。
第六阶段：提供spark解决方案
1，彻底掌握spark框架源码的每一个细节，
2，根据步同的业务场景的需要提供spark在不同场景的解决方案，
3，根据实际需要，在spark框架基础上经行2次开发，打造自己的spark框架。
二、用Spark做数据分析是怎样一种体验
数据科学家为了回答一个问题或进行深入研究，会使用相关的技术分析数据。通常，他们的工作包含特殊的分析，所以他们使用交互式shell，以使得他们能在最短的时间内看到查询结果和代码片段。Spark的速度和简单的API接口很好地符合这个目标，它的内建库意味着很多算法可以随时使用。
Spark通过若干组件支持不同的数据科学任务。Spark shell使得用Python或Scala进行交互式数据分析变得简单。Spark SQL也有一个独立的SQL shell，可以用SQL进行数据分析，也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib库支持机器学习和数据分析。而且，支持调用外部的MATLAB或R语言编写的程序。Spark使得数据科学家可以用R或Pandas等工具处理包含大量数据的问题。
有时，经过初始的数据处理阶段后，数据科学家的工作将被产品化，扩展，加固（容错性），进而成为一个生产数据处理应用，作为商业应用的一个组件。例如，一个数据科学家的研究成果可能会产生一个产品推荐系统，集成到一个web应用上，用来向用户生成产品建议。通常由另外的人员（如工程师）对数据科学家的工作进行产品化。
这个的话，先要了解下当下比较火的大数据，ITjob官网上有大数据和Spark的文章和帖子，如果觉得回答的不够详细，可以自己再去了解下。也可以去专业的贴吧和博客寻找下答案。
三、python的机器学习可以放到spark上面跑吗
可以的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。
四、如何学习Spark API
其实spark的核心就是RDD，只要你知道所有在RDD上的操作才会被运行在cluster上就好了。其他的和正常的编程没啥区别。至于API，真要学也就是扫一下目录看看都有啥class就行了，用的时候在深入。尽管Spark本身是用Scala写的，但你可以用一些API使得你的工作容易些。如果你用过Python或者Scala的shells，那么你就已经在用这些语言的API了。你需要做的就是将你的程序保存为脚本而仅需很少的修改。
如果你在寻找构建更加健壮的程序，你可以使用Java API。即使你已经用Java完全实现了你的程序，你仍然可以在shell中勾画出的你的想法以确保在将其部署到你的集群之前你的算法是正确的。Spark发行了一些库：Spark SQL，Spark Streaming(建立在Spark上的实时计算框架)，the MLlib machine learning library(机器学习库)和GraphX。
你可以通过使用一些易用的API来构建复杂的应用并且实时部署它们。你甚至可以以混合和匹配技术来构建应用程序或者大数据管道，例如从机器学习的结果生成图的应用。由 Hadoop平台支持的 Apache Spark 提供了强大和灵活性。通过完全支持Spark栈的MapR分布，对程序员很容易地实时创建一个复杂的大数据应用是可能的，就像批处理数据等等。
