Apache Sparkのお勉強

1.Apache Spark をダウンロードする。

  以下のサイトから可能。

  https://spark.apache.org/downloads.html

2.pysparkのインストール

  pipコマンドでインストール可能

  pip install pyspark

  ※pipコマンドを利用できるようにするには、python3のインストールを行う

  sudo apt-get install python3

3.Java8 のインストール

  以下を実行する。

  sudo apt install openjdk-8-jdk

  環境変数の設定も行う。

  以下を参考にした。

  https://qiita.com/yochapan/items/a63c6744ccb7f17f54b5

4.SparkのUIを開く

   http://localhost:4040 にウェブブラウザでアクセスすると開ける。

  ※ローカルモードの前提

  ※pysparkを起動しておく必要あり。


投稿日

カテゴリー:

投稿者:

タグ:

コメント

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です