iMind Developers Blog

iMind開発者ブログ

Pythonのbuilt-in Error/Exception一覧

概要 Pythonの例外を投げる時に「どれ使おう?」と迷うことが多いので一覧を作成する。 出しやすい例外については実際に発生するサンプルコードを掲載。 バージョン情報 Python 3.6.8 built-inの一覧表示 ipythonより下記のhelpから表示。 help(__builtins__…

Wondershaperによる帯域制限

概要 クラウド上にいるサーバーのネットワークの使用量をある程度キャップしたい。 バージョン情報 wondershaper 1.1a-9 Ubuntu 18.04.2 導入 $ sudo apt install wondershaper 制限をかける wondershaperで制限をかける際の文法は下記。 wondershaper [inte…

FaceNetを動かしてみる

概要 顔認識システムのFaceNetを使って顔の距離計算をしてみる。 バージョン情報 FaceNet Latest commit 096ed77 on 17 Apr 2018 顔認証の実装について 顔認証が可能な実装として他にOpenFaceがある。アルゴリズムはFaceNetに近い。 FaceNetはTensorflowとPy…

FaceNetの論文を読んだメモ

概要 顔認証の勉強中に、FaceNet: A Unified Embedding for Face Recognition and Clusteringを読む。そのメモ書き。 下記がその論文。 https://arxiv.org/abs/1503.03832 下記がその実装。 https://github.com/davidsandberg/facenet Abstract まずはFaceNe…

OpenCVとdlibによるFace Detection(顔認識)

概要 Face DetectしたかったのでOpenCVとdlibをそれぞれサンプルコードを動かす。 バージョン情報 Python 3.7.3 dlib==19.17.0 OpenCV==3.4.2 インストール condaで仮想環境作ってOpenCVとdlibを導入する。 pipとかjupyterとかscikit-imageとか他に使いそう…

scikit-imageとscikit-learn付属のサンプル画像

概要 画像処理のコードを書いてブログに例を載せたい時に、拾い物の写真だと権利周りが気になる。 そんな時に使えることがあるskimageやsklearnのサンプル画像を貼っていく。 バージョン情報 scikit-image==0.15.0 scikit-learn==0.20.3 データの配置場所 sc…

HBaseの情報をhiveで操作する

概要 HBaseに対してがっつりinsertやselectする際はhiveと連携させると楽だった。 バージョン情報 Hive 1.1.0 HBase 1.2.0 参考情報 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration keyとvalueだけを持つテーブルの生成 今回のサンプル…

Airflowの日付マクロまとめ

概要 Airflowのテンプレートに日付を埋め込む時に毎回ググってる気がしてきたので、自分用のまとめを書いた。 バージョン情報 apache-airflow==1.10.3 参考URL https://airflow.apache.org/macros.html 確認用スクリプト contextの中にいるtsとかdsとかds_no…

AirflowのConnectionやVariableをCLIで投入する

概要 ConnectionやVariableの値はWeb UIから入れられるけど、実運用ではコマンドラインから構築できるようになっていた方が便利。 試しにConnectionとVariableにそれぞれ値を投入してみる。 バージョン情報 Python 3.6.7 apache-airflow==1.10.3 Connections…

hbase shellのコマンドまとめ

概要 HBaseを使う際のコマンドをhbase shellでちょっと確認。 バージョン情報 HBase 1.2.0 hbase shellの起動 $ hbase shell helpの参照 > help 機能ごとのhelpの参照。下記はcreateの例。 > help 'create' テーブル生成 exampleテーブルの生成。 > create '…