フォルダ分けされた大量の学習画像を一括で読みこむ方法(python)

chainerのサンプルを一通り試して、いざ自分のデータセットを読み込ませよう!と思ったときにまずつまずくのがここ。 どうやって自分の画像データを読み込ませたらいいの??と最初悩んだので、まとめておく。 学習データのファイル構造 まずは、学習データ…

SSHの接続が切れても継続して学習させる方法(screenを使った実行)

sshでログインしてそのまま学習を実行してしまうと、sshのリンクを切ることができず、ノートパソコンを閉じることができなくなってしまう。 学習途中で通信が切れて、これまでの結果が全部消える、なんてことに・・・・。そこで、基本的にはscreenを使ってセ…

pythonでlistをファイルに保存し、読み込む方法(numpyも同様!)

概要 1行ずつlistを書き出し、読み込みを行う方法 listの書き出し listの読み出し pickleを使用する方法(おすすめ!) pickleを使った保存 pickleを使った読み出し さらに応用、圧縮して保存! 概要 listを一時的にファイルに保存し、読み出したいことが良…

GPUのカタログスペック(TFLOPS)と学習時間の関係(chainerのMNISTサンプルからの考察)

趣旨 学習結果(時間) 考察 結果からの知見 高速なGPUから低速なGPUに移行する場合: 低速なGPUから高速なGPUに移行する場合: AI 趣旨 GPUを交換した場合の学習時間の変化を試算したい。 今回は学習時間の試算を行う指標とするため、chainerのMNIST学習サ…

ubuntu16.04にROSのkinetic,kameをインストール

参考サイト 導入方法 catkinの設定 参考サイト 基本は公式サイト通りでOK bashにはオリジナルの便利コマンドも入れてみた。 どこかの本で読んだコマンドだから、オリジナルでもないけれど・・・。kinetic/Installation/Ubuntu - ROS Wiki 導入方法 # レポジ…

マルレク第三回「パーソナル・アシスタント・システムと 人工知能」に参加してきた。 興味深いトピックまとめ

興味深い言葉 ボイスアシスタント Bengioの意見 各社の人工知能API比較 AIと検索と広告 過去からの検索技術の動向 schema.orgの取り組み 自然言語のグラフ化 まとめ マルレク第三回「パーソナル・アシスタント・システムと 人工知能」に参加してきた。 自然…

openFrameworks,ofxCvを使用する際のコンパイルエラー解決策

openFrameworksにてofxCvを使用しようとすると、以下のエラーが出てコンパイルできない。 error: ‘ofXml’ was not declared in this scope ofXml xml;ofXmlが見つからないとのことなので、ofxCvのヘッダファイルに以下を追記する/OF/addons/ofxCv/src/ofxCv.…

ubuntu16.04にopenCV2.4.13を入れる

OpenCV2.4.13導入 OpenCV3.1.1導入失敗 OpenCVの入手 必要なパッケージの入手 cmake ubuntu16.04にopenCVを導入した。 OpenCV2.4.13導入 先人の知恵を借りて、コマンド3つで完了 $ git clone https://github.com/jayrambhia/Install-OpenCV.git $ cd Instal…

ubuntuのファイルに内部・外部からアクセスする(sshトンネリング、Dropboxを使った共有は調整中)

SAMBAサーバーの構築 SAMBAサーバーに外部からアクセスする(うまくいかなかった) SCPによる接続 ubuntuで内部・外部からファイルにアクセスできるようにしたい。 セキュリティ設定とか面倒だからSSHのポートだけでなんとかしたい。結局以下の方式でアクセス…

virtualenvの仮想環境にapt-getで入れたパッケージ(OpenCv等)を導入する方法

virtualenvの仮想環境を作ってしまうと、apt-get等のpip以外で入れたパッケージはそのまま使用できない。 OpenCvを例にあげて、virtualenvの仮想環境にapt-getで入れたパッケージを使用する方法を記載する。 #基本参考サイトのとおりだが、コマンド等をcv2に…

virtualenv等のよく使うコマンドにエイリアスを作成

virtualenvを有効化するコマンドが長くて、打つのが面倒なのでエイリアス化 $ sudo gedit ~/.bashrc最後の行に以下を追加 alias von='source ~/workspace/chainer/bin/activate' alias voff='deactivate' $ source ~/.bashrc これで、vonでchainerの仮想環境…

ubuntuインストール後に入手したアプリケーション(機械学習・DeepLearning向け)

定番から、少し珍しい物まで。 導入毎に更新。 以下で紹介するうち、apt-getで入れるものを列挙 terminator emacs pitivi atom atom 導入パッケージ git gimp chrome システム負荷インジゲータ Dropbox OpenCV FTPクライアント twitterクライアント python環…

ubuntuに外部からSSHログインできるようにする(ssh server+ddns)

ssh server をインストール ddnsに登録 自動でアドレスを更新しに行くよう設定 追記(2016/10/10) ssh server をインストール $ sudo apt-get install openssh-server $ sudo gedit /etc/ssh/sshd_config以下に変更 PermitRootLogin no Port (任意の番号) $…

ubuntu16.04でDNSサーバーを正しく設定する方法

概要と対策 GUIで設定しても、正しくDNSサーバーが固定されない。 WIFIの接続状況が不安定な場合は見直すと幸せになれる。terminalから、以下を入力 $ sudo gedit /etc/resolvconf/resolv.conf.d/headgeditで以下を追記 # Dynamic resolv.conf(5) file for g…

gtx1070搭載PCにubuntu16.04,cuda,chainerを導入

他のブログでも幾つか紹介されているが、そのままやってもうまくいかなかったため、自分なりのインストール方法を記載する。 (参考サイト) qiita.com 特にGCCのversion設定あたり、非常に参考になりました。 ubuntuのインストール ドライバのインストール GP…