結局のところM1 MacBook proで 16GB, 2TBのSSDで学習させたら全部うまく行きました。ちなみにeGPUは学習できることはできるけど、徐々に止まっていくという謎挙動。学習用マシンをハイスペックで準備しておけば基本的にはよさそう。
超お手軽で簡単に学習できるけど、ユーザ再度に見えないものが多くありすぎて振る舞いが謎すぎたのでここに忘備録。もともとiseeプロジェクトの物体検出モデルをweightsからcoremlに変換してたんですが、そもそも最初からcreatemlつかってcoremlモデルを生成しちゃえばいいじゃんっていうのと、M1の登場もあったので、今後の事考えると研究室でやっているプロジェクトだったら学習自体もMacでやってもいけるかもと思い始めたんでちょっとやってみたという経緯。結果として多分使えそうだけど、物体検出はyolov2なので精度はおちそう。でも公式の学習だから安心感あり。weightsからh5いってcoremlみたいな流れにならないのでサステイナブルであるのも嬉しい。
watch -n 300 'find . -mmin +5 -maxdepth 1 | xargs -I hogehoge find hogehoge -name "training-*.checkpoint*" -maxdepth 1 | xargs -I hogehoge rm -Rf hogehoge'
a
watch -n 300 'find . -name "*-*-*-*-*" -maxdepth 1 | xargs -I hogehoge find hogehoge -mmin +5 -maxdepth 1 | xargs -I hogehoge rm -Rf hogehoge'