Pyspark – podstawowe transformacje i akcje

wpis w: Apache, Python, Spark | 0

Transformacje tworzą nowe obiekty RDD , również na podstawie innego obiektu RDD. Silnik Apache Spark potrafi przeanalizować sekwencję transformacji. Akcje wykonują na obiektach RDD działania, których wynikiem nie jest RDD i działania te wymuszają wykorzystanie definicji RDD wraz z sekwencją … Continued

Apache Spark – pierwsze początki

wpis w: Apache, Big Data, Python, Spark | 2

Poradnik: Jak uruchomić na komputerze z MS Windows lokalną instancję Apache Sparka pracującą na jednym nodzie z gotową obsługą skryptów w Pythonie (pyspark) i przykładowymi zbiorami danych. Na podstawie materiałów ze strony http://semantica.cs.lth.se/pyspark/#/pyspark-vm Dla tych, którzy na co dzień korzystają … Continued

Uczenie maszynowe według wujka Google

wpis w: Machine Learning, migawka, Python | 0

Część pierwsza poradnika Google w zakresie uczenia maszynowego (Machine Learning) Budowa pierwszego modelu predykcyjnego w kilku liniach kodu from sklearn import tree features = [[140,1],[130,1],[150,1],[170,0]] labels = [0,0,1,1] clf = tree.DecisionTreeClassifier() clf = clf.fit(features, labels) print(clf.predict([[160,0]])) Odpowiednik pierwszego programu “hello … Continued