Semantic Segmentation

ここではOpenCVに実装された，領域分割（Semantic Segmentation）に関して使い方を解説します． object detectionでは短径領域（四角い領域）を使って，「どこになにがあるか？」を教えてくれる ものでしたが，segmentationは分割を指し，例えば下記のような出力をします．「どこになにがあるか？」 という問は変わりませんが，これがより詳細になり，「どのあたりになにがあるか？」までがわかるように なります．

https://wiki.tum.de/display/lfdv/Image+Semantic+Segmentation

OpenCVで確認できるセグメンテーションの手法として，下記の2つが利用できるのを確認しました．

• FCN(Fully Conncected Network）:https://github.com/shelhamer/fcn.berkeleyvision.org
  • 一般的な全結合型ネットワークを領域分割に応用したもの．
• Enet：https://github.com/TimoSaemann/ENet
  • 領域分割をリアルタイム処理をするためのアルゴリズム

https://github.com/shelhamer/fcn.berkeleyvision.org に一通りの情報がまとまっています．このページではFCN-32s PASCAL を使ってみます．FCN-32s PASCALへのリンクをたどり次のサイトにいくといろいろデータもらえます．

• fcn32s-heavy-pascal.caffemodel
• fcn32s-heavy-pascal.prototxt
• pascal-classes.txt

$ ./example_dnn_segmentation –classes=pascal-classes.txt –config=fcn8s-heavy-pascal.prototxt –model=fcn8s-heavy-pascal.caffemodel –width=500 –height=500 –rgb –mean=1

高速で動作可能な領域分割です．

• categories.txt
• enet-model-best.net

$ ./example_dnn_segmentation –classes=categories.txt –model=Enet-model-best.net –width=1024 –height=512 –rgb –mean=1