iMind Developers Blog

iMind開発者ブログ

PythonでBigQueryの操作

概要 Pythonを利用してBigQueryのデータの追加、削除、検索を行う。 データはpandasで用意して投入する想定。 バージョン情報 Python 3.7.4 google-cloud-bigquery==1.21.0 導入 $ pip install google-cloud-bigquery BigQueryとCloud Storageが許諾されてい…

PythonからCloud Vision APIを叩いてOCR

概要 PythonからCloud Vision APIを呼び出して画像やPDFから文字を読む。 バージョン情報 Python 3.7.4 google-cloud-vision==0.40.0 インストール pip install google-cloud-vision Cloud Visionでできること 下記のようなことができる。なかなか多彩。 CRO…

nodeでGCPのCloud Storageの操作

概要 公式のドキュメントが今ひとつわかりづらかったので個人的によく使う下記の処理の使い方をメモしておく。 バケットの生成 アップロード ls ダウンロード ファイルの削除 バージョン情報 "@google-cloud/storage": "^4.1.1" "fast-crc32c": "^2.0.0" 導…

Pythonのclickでサブコマンドの実装

概要 Pythonのclickでgroupを使うと1つのスクリプトに複数のサブコマンドを実装できる。 バージョン情報 Python 3.7.4 Click==7.0 最小限のサンプルコード 引数に応じて2つのコマンドを出し分けるシンプルなコード。 import click @click.group() def cli():…

PythonでTwitterの検索とタイムラインの取得

概要 PythonからTwitter APIを利用して下記を行います。 検索結果にヒットしたツイートの取得 指定ユーザーのツイートの取得 タイムラインの取得 とても面倒だということで名高いAPIのアカウント申請についてはここでは取り扱いません。 バージョン情報 Pyth…

Pythonのpathlib.Pathでファイルパスの操作

概要 Python3.4から導入されたpathlibでのファイルやパスの操作について確認する。 バージョン情報 Python 3.7.4 サンプルデータ 下記のようなパス構成に対して操作を行う。 ├── bar.txt ├── foo.txt └── hoge ├── fuga.txt └── gaz.txt ファイルの存在チェ…

GCPのNatural Language APIで感情分析や固有表現抽出

概要 GCPのNatural Language APIを使って文章の感情分析(ポジネガ)を出したり、エンティティ分析(固有表現を抽出)をしてみる。 Google Cloud SDKからの実行とPythonからの実行の2パターン。 コンテンツの分類機能もあるみたいなので使ってみたけど日本語…

CLIでGCPのインスタンスやストレージを操作

gcp

概要 GCPのCompute Engineのインスタンスの起動、停止、接続。Cloud Storageへのファイルの追加、削除を行う。 バージョン情報 Google Cloud SDK 268.0.0 gsutil version: 4.45 Cloud SDKのインストール 下記参照 https://cloud.google.com/sdk/downloads?hl…

Pythonでjsonの読み書き

概要 Pythonの標準ライブラリでdictionaryをjsonに変換して出力する。 また出力したjsonを読み込む。 バージョン情報 Python 3.7.4 サンプルデータ 本ページのサンプルコードでは下記のdictionaryを出力する。 obj = { 'foo': 'hoge', 'bar': [1, 2, 3, 4, 5…

PDFMinerでPDFのテキストと座標を取得

概要 PDFを読み込んでテキストを取得する際に、一緒にそのテキストが文書内のどの座標(x座標, y座標)にいるかも取得したい。 バージョン情報 Python 3.7.4 pdfminer==20191016 サンプルデータ Libreofficeのcalcを用いて下記画像のようなPDFファイルを用意…