iMind Developers Blog

iMind開発者ブログ

2019-01-21から1日間の記事一覧

PySparkで独自モジュールを呼び出す

概要 PySparkでローカルの任意のモジュールをクラスタ上で動かしたい場合の指定について確認する。 バージョン情報 spark-2.3.1 Python 3.5.5 ディレクトリ構成 今回利用するディレクトリの構成は下記のような想定。myというディレクトリに独自モジュールが…