Pyspark – podstawowe transformacje i akcje

wpis w: Apache, Python, Spark | 0

Transformacje tworzą nowe obiekty RDD , również na podstawie innego obiektu RDD.
Silnik Apache Spark potrafi przeanalizować sekwencję transformacji.
Akcje wykonują na obiektach RDD działania, których wynikiem nie jest RDD i działania te wymuszają wykorzystanie definicji RDD wraz z sekwencją transformacji.

Proste przykłady w pySparku.

Out[2]:

Out[3]: pyspark.context.SparkContext

Out[4]:[1, 2, 3, 4, 5, 6] Out[4]:6

Out[5]:[1, 2, 3, 4, 5, 6]

Out[5]:[2, 4, 6, 8, 10, 12]

Out[6]:[1, 2, 3, 4, 5, 6]

Out[6]:[2, 4, 6]

Out[7]: [1, 2, 3, 4, 5, 6]

Out[7]:[[1, 2], [2, 4], [3, 6], [4, 8], [5, 10], [6, 12]]

Out[8]:[1, 2, 3, 4, 5, 6]

Out[8]:[1, 3, 2, 4, 3, 5, 4, 6, 5, 7]

Out[9]:[1, 2, 3, 4, 5, 6]

Out[9]:720

Out[10]:[2, 4, 6]

Out[10]:[1, 3, 5]

Out[10]:[2, 4, 6, 1, 3, 5]

Out[11]:[1, 2, 3, 4, 5, 6, 3, 4, 5]

Out[11]:[2, 4, 6, 1, 3, 5]

Out[12]:[2, 4, 6]

Out[12]:[1, 3, 5]

Out[12]:[2, 4, 6, 1, 3, 5]

Out[12]:[]

Out[12]:[4, 2, 6]

Out[12]:[(2, 1), (2, 3), (2, 5), (4, 1), (4, 3), (6, 1), (6, 3), (4, 5), (6, 5)]

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *