2016-01-01から1年間の記事一覧

cv2(openCV)で動画の途中から再生する方法

概要 openCVで動画の任意の地点から再生を開始する方法をまとめる。 これまではwhileループで1フレームずつ取得し読み飛ばしていた。しかし、この方法はあまりにも無駄が多い・・・時間もかかるし、HDDにも悪影響が出そう。 ということで、もう少し効率の良…

pythonでgooglemap情報を扱う(地名から座標を取得、座標から地図画像を取得)方法まとめ

[追記] 2018/08からGoogleMapのポリシーが変わり、APIキーの取得が必須になったようです。 追って対策を調べて記載変更しますが、現状は、このままの方法ではAPIキーのエラーで位置情報の取得ができません。 概要 googlemapデータを機械学習の元ネタにするた…

フォルダ内の全画像ファイルに対して一括処理を行う(python)

機械学習を行う際、webでスクレイピングした大量の画像ファイル等を一括で操作したくなることが多い。 その場合ファイル名も拡張子もバラバラで保存されるため、処理する際にいつも悩む。 毎回調べるのもバカらしいので、サンプルとしてまとめておく。 pytho…

ubuntuからgoogle remote desktopを削除する方法(deja-dup-moniter暴走時の対処法)

deja-dup-moniterが起動直後にPCのメモリを全部使用し始めて、パソコンが全く動かなくなったので調査。 メモリ24GBもあるのに全部使いやがるとは・・・。調べると、ubuntu16.04とgoogle remote desktopの相性が悪いらしく、deja-dup-moniterと合わさると悪さ…

pix2pix(GAN)を使ってモノクロのおそ松くんをカラー画像にしてみた

前半に着色結果 後半にpix2pixの導入方法、学習方法 という構成になっている。手っ取り早く導入したいならば、「作業内容」からみるのがオススメ。 概要 結果 人 人工物 その他 (追記)漫画のカラー化もしてみた 作業内容 torchのインストール pix2pixを導入 …

google翻訳のための英語論文(pdf文書)の文末整形ツール(javascript)

概要 英語論文の整形ツールです。以下フォーマットに入れることで「改行を自動で削除」、「"-"で区切られた英単語を連結」し、機械翻訳に適した形に整形します。 本htmlをGoogleChromeで開き、右クリック→「日本語へ翻訳」とすることで、英語論文をコピペす…

CNN学習時のDropoutの比率(DropoutRatio)についての知見

背景 つくばチャレンジにて、CNN、SlidingWindowを応用して、看板検出を行った。 今回は、学習時のDropout率をどう変えたらいいかについての知見をまとめる。 この辺りの小細工は当たり前に思いつくことだが、あまりまとめられていないように思う。www.robot…

google翻訳が進化しすぎていてやばい

GOOGLE翻訳がDeepLearningで大幅に精度向上したと聞いて、試してみた。 結果としてはかなり使える!!! 英語の苦手な僕にとって、これまで英語論文の購読がストレスのもとだったけれど、これで大分緩和されそう。nlab.itmedia.co.jp SPP-NETの原文を翻訳さ…

【つくばチャレンジ2016】DeepLearningを使ってリアルタイム看板検知をしてみた

つくばチャレンジとは 「つくばチャレンジ」は、つくば市内の遊歩道等の実環境を、移動ロボットに自律走行させる技術チャレンジであり、地域と研究者が協力して行う、人間とロボットが共存する社会の実現のための先端的技術への挑戦です。(つくばチャレンジ…

pickleをjoblibに変えて保存データサイズを圧縮!

経緯 以前のエントリで述べたとおり、Pickleで1.9GB以上のデータを保存しようとすると、エラーが出て保存できない問題があった。 この問題を、joblibを使うことでコードをほとんどいじらずに解決できることがわかったので、まとめておく。www.robotech-note.…

真にコスパのいいGPUはどれか、TFLOPS換算で比較してみた(DeepLearning•機械学習用)[2018/04/25更新 TX2追加]

経緯 友人のPC購入のアドバイスをしていてふと「純粋にTFLOPSと価格だけで比較した場合、どのGPUが一番コスパがいいんだろう?」と疑問に思ったので簡単に調べてみた。 radeonはcuda使えないから論外。GTX900以下、TITAN等は一般的ではないため除外してある…

pythonのpickleでSystemError: error return without exception setが出る原因

pythonで大きなデータをpickleで保存しようとすると、 SystemError: error return without exception setと出て保存ができない。 調べてみると、どうやらpython2系のバグの模様、およそ1.9GB以上のデータを保存しようとするとエラーになる。 これを解決する…

JetsonTK1、TX1にopenCV(cv2も)を導入する方法

openCV導入方法 導入に失敗した場合 参考サイト JetsonTK1にOpenCVを導入するために、いつもどおりopenCVをコンパイルしてみた・・・が、環境が特殊なため、うまく動作しない。www.robotech-note.com いろいろ探していくと、NvidiaがJetson用のOpenCVを用意…

sftp接続でサーバー上のフォルダをマウント(mac,ubuntu)

導入の経緯 macの場合 osxfuse,sshfsのインストール sshfsの実行 ubuntuの場合 感想 (追記) 導入の経緯 以前、サーバー環境の構築で、SCPにてファイル転送を行うことにすると決めた。 それ以来、Filezillaを使ってサーバー上のファイルを見てきた。t-nkb.h…

フォルダ分けされた大量の学習画像を一括で読みこむ方法(python)

chainerのサンプルを一通り試して、いざ自分のデータセットを読み込ませよう!と思ったときにまずつまずくのがここ。 どうやって自分の画像データを読み込ませたらいいの??と最初悩んだので、まとめておく。 学習データのファイル構造 まずは、学習データ…

SSHの接続が切れても継続して学習させる方法(screenを使った実行)

sshでログインしてそのまま学習を実行してしまうと、sshのリンクを切ることができず、ノートパソコンを閉じることができなくなってしまう。 学習途中で通信が切れて、これまでの結果が全部消える、なんてことに・・・・。そこで、基本的にはscreenを使ってセ…

pythonでlistをファイルに保存し、読み込む方法(numpyも同様!)

概要 1行ずつlistを書き出し、読み込みを行う方法 listの書き出し listの読み出し pickleを使用する方法(おすすめ!) pickleを使った保存 pickleを使った読み出し さらに応用、圧縮して保存! 概要 listを一時的にファイルに保存し、読み出したいことが良…

GPUのカタログスペック(TFLOPS)と学習時間の関係(chainerのMNISTサンプルからの考察)

趣旨 学習結果(時間) 考察 結果からの知見 高速なGPUから低速なGPUに移行する場合: 低速なGPUから高速なGPUに移行する場合: AI 趣旨 GPUを交換した場合の学習時間の変化を試算したい。 今回は学習時間の試算を行う指標とするため、chainerのMNIST学習サ…

ubuntu16.04にROSのkinetic,kameをインストール

参考サイト 導入方法 catkinの設定 参考サイト 基本は公式サイト通りでOK bashにはオリジナルの便利コマンドも入れてみた。 どこかの本で読んだコマンドだから、オリジナルでもないけれど・・・。kinetic/Installation/Ubuntu - ROS Wiki 導入方法 # レポジ…

マルレク第三回「パーソナル・アシスタント・システムと 人工知能」に参加してきた。 興味深いトピックまとめ

興味深い言葉 ボイスアシスタント Bengioの意見 各社の人工知能API比較 AIと検索と広告 過去からの検索技術の動向 schema.orgの取り組み 自然言語のグラフ化 まとめ マルレク第三回「パーソナル・アシスタント・システムと 人工知能」に参加してきた。 自然…

openFrameworks,ofxCvを使用する際のコンパイルエラー解決策

openFrameworksにてofxCvを使用しようとすると、以下のエラーが出てコンパイルできない。 error: ‘ofXml’ was not declared in this scope ofXml xml;ofXmlが見つからないとのことなので、ofxCvのヘッダファイルに以下を追記する/OF/addons/ofxCv/src/ofxCv.…

ubuntu16.04にopenCV2.4.13を入れる

OpenCV2.4.13導入 OpenCV3.1.1導入失敗 OpenCVの入手 必要なパッケージの入手 cmake ubuntu16.04にopenCVを導入した。 OpenCV2.4.13導入 先人の知恵を借りて、コマンド3つで完了 $ git clone https://github.com/jayrambhia/Install-OpenCV.git $ cd Instal…

ubuntuのファイルに内部・外部からアクセスする(sshトンネリング、Dropboxを使った共有は調整中)

SAMBAサーバーの構築 SAMBAサーバーに外部からアクセスする(うまくいかなかった) SCPによる接続 ubuntuで内部・外部からファイルにアクセスできるようにしたい。 セキュリティ設定とか面倒だからSSHのポートだけでなんとかしたい。結局以下の方式でアクセス…

virtualenvの仮想環境にapt-getで入れたパッケージ(OpenCv等)を導入する方法

virtualenvの仮想環境を作ってしまうと、apt-get等のpip以外で入れたパッケージはそのまま使用できない。 OpenCvを例にあげて、virtualenvの仮想環境にapt-getで入れたパッケージを使用する方法を記載する。 #基本参考サイトのとおりだが、コマンド等をcv2に…

virtualenv等のよく使うコマンドにエイリアスを作成

virtualenvを有効化するコマンドが長くて、打つのが面倒なのでエイリアス化 $ sudo gedit ~/.bashrc最後の行に以下を追加 alias von='source ~/workspace/chainer/bin/activate' alias voff='deactivate' $ source ~/.bashrc これで、vonでchainerの仮想環境…

ubuntuインストール後に入手したアプリケーション(機械学習・DeepLearning向け)

定番から、少し珍しい物まで。 導入毎に更新。 以下で紹介するうち、apt-getで入れるものを列挙 terminator emacs pitivi atom atom 導入パッケージ git gimp chrome システム負荷インジゲータ Dropbox OpenCV FTPクライアント twitterクライアント python環…

ubuntuに外部からSSHログインできるようにする(ssh server+ddns)

ssh server をインストール ddnsに登録 自動でアドレスを更新しに行くよう設定 追記(2016/10/10) ssh server をインストール $ sudo apt-get install openssh-server $ sudo gedit /etc/ssh/sshd_config以下に変更 PermitRootLogin no Port (任意の番号) $…

ubuntu16.04でDNSサーバーを正しく設定する方法

概要と対策 GUIで設定しても、正しくDNSサーバーが固定されない。 WIFIの接続状況が不安定な場合は見直すと幸せになれる。terminalから、以下を入力 $ sudo gedit /etc/resolvconf/resolv.conf.d/headgeditで以下を追記 # Dynamic resolv.conf(5) file for g…

gtx1070搭載PCにubuntu16.04,cuda,chainerを導入

他のブログでも幾つか紹介されているが、そのままやってもうまくいかなかったため、自分なりのインストール方法を記載する。 (参考サイト) qiita.com 特にGCCのversion設定あたり、非常に参考になりました。 ubuntuのインストール ドライバのインストール GP…