Spark方法创建RDD【大数据技术文章】

Spark可以通过并行集合创建RDD。即从一个已经存在的集合、数组上，通过SparkContext对象调用parallelize()方法创建RDD。

若要创建RDD，则需要先创建一个数组，再通过执行parallelize()方法实现，具体代码如下：

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26

执行上述代码后，从返回结果arrRDD的属性中看出RDD创建完成。



猜你喜欢：

RDD如何分区，各种模式下的分区数目是怎样的？

不同系统如何加载数据创建RDD？

RDD转换算子API过程演示【大数据文章】    

Spark RDD是什么？RDD特征介绍

黑马程序员大数据开发培训班