iMind Developers Blog

iMind開発者ブログ

2019-09-02から1日間の記事一覧

PySparkでhiveのpartitionを取得する

概要 PySparkでhiveのテーブルのpartitionから最新のものを取りたかった。 何か良い方法を前に見かけたような気がするのだけど思い出せないのでshow partitionsで取れた文字列をパースする。 バージョン情報 Spark 2.4.3 テーブル生成 partitionカラムとして…