Skip to content

Latest commit

 

History

History
13 lines (8 loc) · 1.05 KB

parallelized-collections.md

File metadata and controls

13 lines (8 loc) · 1.05 KB

平行集合

建立平行集合 (Parallelized collections) 的方法是利用一個已存在的序列(Scala Seq)上使用 SparkContext 的 parallelize。序列中的元素會被複製到一個併行操作的分布式資料集合裡。例如:如何建立一個包含數字1 到5 的併行集合:

val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)

當平行集合建立完成,這樣的分布式資料集(distData) 就可以被操作。例如,可以使用 distData.reduce((a, b) => a + b) 將裡面的元素數字加總。後續會再對這部份進行操作上的介紹。

值得注意,在併行集合裡有一個重要的概念,就是切片數(slices),即一個資料集被切的份數。Spark 會在集群上指派每一個切片執行任務。你也可以在集群上替每個 CPU 設定 2-4 個切片(slices)。一般情況下, Spark 會常識基於你的集群狀態自動設定切片的數量。當然,你也可以利用 parallelize 參數的第二個位置做設定,例如sc.parallelize(data, 10)