iMind Developers Blog

iMind開発者ブログ

Pythonでgoogle.protobuf.message.Messageをjsonに変換する

概要 GCPのAPIを使っているとprotobuf形式で結果が返ってくることがあるけど、そのままだと扱いづらいケースもあるのでJSONに変換する方法を確認する。 バージョン情報 protobuf==3.10.0 サンプルデータ 公式サイトによく出ているサンプルデータを生成して利…

pandasからSQLiteのデータの読み書き

概要 pandasで一時データを保存しておきたい時に、pickleやcsvで出すのも良いけどDBに出しておいた方が後で楽というケースがたまにある。そんな時に使いそうなSQLiteとの連携。 バージョン情報 Python 3.8.0 pandas==0.25.1 PythonでのSQLiteの利用 SQLiteは…

PythonでBigQueryの操作

概要 Pythonを利用してBigQueryのデータの追加、削除、検索を行う。 データはpandasで用意して投入する想定。 バージョン情報 Python 3.7.4 google-cloud-bigquery==1.21.0 導入 $ pip install google-cloud-bigquery BigQueryとCloud Storageが許諾されてい…

PythonからCloud Vision APIを叩いてOCR

概要 PythonからCloud Vision APIを呼び出して画像やPDFから文字を読む。 バージョン情報 Python 3.7.4 google-cloud-vision==0.40.0 インストール pip install google-cloud-vision Cloud Visionでできること 下記のようなことができる。なかなか多彩。 CRO…

nodeでGCPのCloud Storageの操作

概要 公式のドキュメントが今ひとつわかりづらかったので個人的によく使う下記の処理の使い方をメモしておく。 バケットの生成 アップロード ls ダウンロード ファイルの削除 バージョン情報 "@google-cloud/storage": "^4.1.1" "fast-crc32c": "^2.0.0" 導…

Pythonのclickでサブコマンドの実装

概要 Pythonのclickでgroupを使うと1つのスクリプトに複数のサブコマンドを実装できる。 バージョン情報 Python 3.7.4 Click==7.0 最小限のサンプルコード 引数に応じて2つのコマンドを出し分けるシンプルなコード。 import click @click.group() def cli():…

PythonでTwitterの検索とタイムラインの取得

概要 PythonからTwitter APIを利用して下記を行います。 検索結果にヒットしたツイートの取得 指定ユーザーのツイートの取得 タイムラインの取得 とても面倒だということで名高いAPIのアカウント申請についてはここでは取り扱いません。 バージョン情報 Pyth…

Pythonのpathlib.Pathでファイルパスの操作

概要 Python3.4から導入されたpathlibでのファイルやパスの操作について確認する。 バージョン情報 Python 3.7.4 サンプルデータ 下記のようなパス構成に対して操作を行う。 ├── bar.txt ├── foo.txt └── hoge ├── fuga.txt └── gaz.txt ファイルの存在チェ…

GCPのNatural Language APIで感情分析や固有表現抽出

概要 GCPのNatural Language APIを使って文章の感情分析(ポジネガ)を出したり、エンティティ分析(固有表現を抽出)をしてみる。 Google Cloud SDKからの実行とPythonからの実行の2パターン。 コンテンツの分類機能もあるみたいなので使ってみたけど日本語…

CLIでGCPのインスタンスやストレージを操作

gcp

概要 GCPのCompute Engineのインスタンスの起動、停止、接続。Cloud Storageへのファイルの追加、削除を行う。 バージョン情報 Google Cloud SDK 268.0.0 gsutil version: 4.45 Cloud SDKのインストール 下記参照 https://cloud.google.com/sdk/downloads?hl…