1.4 开发者体验

对于开发人员来说,没有什么比一套能提高生产力且直观、简单易用、功能强大的 API 更让人高兴的了。Spark 对开发人员的一大吸引力正是其所提供的简单易用的 API,该 API 可以跨语言(Scala、Java、Python、SQL、R)处理各种规模的数据集。

Spark 2.x 的一大设计初衷是,通过减少开发人员需要关心的概念,统一并简化整个框架的使用。Spark 2.x 引入了更高层抽象的 API 作为领域专用的语言结构,从而让开发人员在编写 Spark 程序时更加灵活自如,开发体验更好。你只需要表达任务或操作最终要计算什么,而不是描述如何进行计算,Spark 会自己决定具体哪种计算方案最好。第 3 章将介绍这些操作结构化数据的 API,在此之前,我们先分析一下 Spark 应用的开发者群体。