経緯 以前のエントリで述べたとおり、Pickleで1.9GB以上のデータを保存しようとすると、エラーが出て保存できない問題があった。 この問題を、joblibを使うことでコードをほとんどいじらずに解決できることがわかったので、まとめておく。www.robotech-note.…

経緯 友人のPC購入のアドバイスをしていてふと「純粋にTFLOPSと価格だけで比較した場合、どのGPUが一番コスパがいいんだろう？」と疑問に思ったので簡単に調べてみた。 radeonはcuda使えないから論外。GTX900以下、TITAN等は一般的ではないため除外してある…

pythonで大きなデータをpickleで保存しようとすると、 SystemError: error return without exception setと出て保存ができない。 調べてみると、どうやらpython2系のバグの模様、およそ1.9GB以上のデータを保存しようとするとエラーになる。 これを解決する…

openCV導入方法 導入に失敗した場合 参考サイト JetsonTK1にOpenCVを導入するために、いつもどおりopenCVをコンパイルしてみた・・・が、環境が特殊なため、うまく動作しない。www.robotech-note.com いろいろ探していくと、NvidiaがJetson用のOpenCVを用意…

導入の経緯 macの場合 osxfuse,sshfsのインストール sshfsの実行 ubuntuの場合 感想 （追記） 導入の経緯 以前、サーバー環境の構築で、SCPにてファイル転送を行うことにすると決めた。 それ以来、Filezillaを使ってサーバー上のファイルを見てきた。t-nkb.h…

chainerのサンプルを一通り試して、いざ自分のデータセットを読み込ませよう！と思ったときにまずつまずくのがここ。 どうやって自分の画像データを読み込ませたらいいの？？と最初悩んだので、まとめておく。 学習データのファイル構造 まずは、学習データ…

sshでログインしてそのまま学習を実行してしまうと、sshのリンクを切ることができず、ノートパソコンを閉じることができなくなってしまう。 学習途中で通信が切れて、これまでの結果が全部消える、なんてことに・・・・。そこで、基本的にはscreenを使ってセ…

概要 1行ずつlistを書き出し、読み込みを行う方法 listの書き出し listの読み出し pickleを使用する方法（おすすめ！） pickleを使った保存 pickleを使った読み出し さらに応用、圧縮して保存！ 概要 listを一時的にファイルに保存し、読み出したいことが良…