iMind Developers Blog

iMind開発者ブログ

PythonでTwitterの検索とタイムラインの取得

概要 PythonからTwitter APIを利用して下記を行います。 検索結果にヒットしたツイートの取得 指定ユーザーのツイートの取得 タイムラインの取得 とても面倒だということで名高いAPIのアカウント申請についてはここでは取り扱いません。 バージョン情報 Pyth…

Pythonのpathlib.Pathでファイルパスの操作

概要 Python3.4から導入されたpathlibでのファイルやパスの操作について確認する。 バージョン情報 Python 3.7.4 サンプルデータ 下記のようなパス構成に対して操作を行う。 ├── bar.txt ├── foo.txt └── hoge ├── fuga.txt └── gaz.txt ファイルの存在チェ…

GCPのNatural Language APIで感情分析や固有表現抽出

概要 GCPのNatural Language APIを使って文章の感情分析(ポジネガ)を出したり、エンティティ分析(固有表現を抽出)をしてみる。 Google Cloud SDKからの実行とPythonからの実行の2パターン。 コンテンツの分類機能もあるみたいなので使ってみたけど日本語…

CLIでGCPのインスタンスやストレージを操作

gcp

概要 GCPのCompute Engineのインスタンスの起動、停止、接続。Cloud Storageへのファイルの追加、削除を行う。 バージョン情報 Google Cloud SDK 268.0.0 gsutil version: 4.45 Cloud SDKのインストール 下記参照 https://cloud.google.com/sdk/downloads?hl…

Pythonでjsonの読み書き

概要 Pythonの標準ライブラリでdictionaryをjsonに変換して出力する。 また出力したjsonを読み込む。 バージョン情報 Python 3.7.4 サンプルデータ 本ページのサンプルコードでは下記のdictionaryを出力する。 obj = { 'foo': 'hoge', 'bar': [1, 2, 3, 4, 5…

PDFMinerでPDFのテキストと座標を取得

概要 PDFを読み込んでテキストを取得する際に、一緒にそのテキストが文書内のどの座標(x座標, y座標)にいるかも取得したい。 バージョン情報 Python 3.7.4 pdfminer==20191016 サンプルデータ Libreofficeのcalcを用いて下記画像のようなPDFファイルを用意…

Ubuntuでrbenvのインストール

概要 rbenvのインストールから基本的な操作まで。 バージョン情報 rbenv 1.1.2-4-g577f046 rbenvのインストール $ git clone https://github.com/rbenv/rbenv.git ~/.rbenv $ git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/rub…

ginza(spacy)で固有表現抽出のtrain

概要 固有表現抽出を行いたかったので、spacyでnerのtrainを行ってみる。 例として既存のginzaのモデルでは「10,000円」はMONEYとして抽出されるけど「\10,000」は認識されない問題を解決するモデルを作成。 バージョン情報 ginza==2.2.0 Python 3.7.4 参考…

Ginzaで形態素解析、係り受け解析、固有表現抽出、ユーザー辞書追加

概要 Ginzaを使ってNLPでよく使ういくつかの処理を動かしてみる。 バージョン情報 ginza==2.2.0 Python 3.7.4 インストール pipで入れられる。 $ pip install "https://github.com/megagonlabs/ginza/releases/download/latest/ginza-latest.tar.gz" 詳細は…

PHPでTwigとDoctrineを利用してWebサイトを作る

php

概要 HTMLがある程度書けてPHP/JavaScriptも少しわかるという人がメンテするシステムがあったとする。生のPHPで書かれていてHTMLとロジックがかなり入り混じっている。 これを破綻させないように程よく改修する必要が出た場合、フレームワークを使うと担当者…