1.Apache Spark をダウンロードする。
以下のサイトから可能。
https://spark.apache.org/downloads.html
2.pysparkのインストール
pipコマンドでインストール可能
pip install pyspark
※pipコマンドを利用できるようにするには、python3のインストールを行う
sudo apt-get install python3
3.Java8 のインストール
以下を実行する。
sudo apt install openjdk-8-jdk
環境変数の設定も行う。
以下を参考にした。
https://qiita.com/yochapan/items/a63c6744ccb7f17f54b5
4.SparkのUIを開く
http://localhost:4040 にウェブブラウザでアクセスすると開ける。
※ローカルモードの前提
※pysparkを起動しておく必要あり。
コメントを残す