python

pickleをjoblibに変えて保存データサイズを圧縮!

経緯 以前のエントリで述べたとおり、Pickleで1.9GB以上のデータを保存しようとすると、エラーが出て保存できない問題があった。 この問題を、joblibを使うことでコードをほとんどいじらずに解決できることがわかったので、まとめておく。www.robotech-note.…

pythonのpickleでSystemError: error return without exception setが出る原因

pythonで大きなデータをpickleで保存しようとすると、 SystemError: error return without exception setと出て保存ができない。 調べてみると、どうやらpython2系のバグの模様、およそ1.9GB以上のデータを保存しようとするとエラーになる。 これを解決する…

JetsonTK1、TX1にopenCV(cv2も)を導入する方法

openCV導入方法 導入に失敗した場合 参考サイト JetsonTK1にOpenCVを導入するために、いつもどおりopenCVをコンパイルしてみた・・・が、環境が特殊なため、うまく動作しない。www.robotech-note.com いろいろ探していくと、NvidiaがJetson用のOpenCVを用意…

フォルダ分けされた大量の学習画像を一括で読みこむ方法(python)

chainerのサンプルを一通り試して、いざ自分のデータセットを読み込ませよう!と思ったときにまずつまずくのがここ。 どうやって自分の画像データを読み込ませたらいいの??と最初悩んだので、まとめておく。 学習データのファイル構造 まずは、学習データ…

pythonでlistをファイルに保存し、読み込む方法(numpyも同様!)

概要 1行ずつlistを書き出し、読み込みを行う方法 listの書き出し listの読み出し pickleを使用する方法(おすすめ!) pickleを使った保存 pickleを使った読み出し さらに応用、圧縮して保存! 概要 listを一時的にファイルに保存し、読み出したいことが良…

virtualenvの仮想環境にapt-getで入れたパッケージ(OpenCv等)を導入する方法

virtualenvの仮想環境を作ってしまうと、apt-get等のpip以外で入れたパッケージはそのまま使用できない。 OpenCvを例にあげて、virtualenvの仮想環境にapt-getで入れたパッケージを使用する方法を記載する。 #基本参考サイトのとおりだが、コマンド等をcv2に…