インスタンスセグメンテーションの名前の由来と個体を識別する仕組みを初心者向けに解説

こんにちは。ゆうせいです。

コンピュータビジョンの領域では、画像の中に存在する対象物を機械に認識させるための技術が研究されています。写真の中に何があるかを特定する物体検出や、画像の領域を画素単位で塗り分けるセマンティックセグメンテーションといった手法が発展してきました。これらの手法を統合し、物体の輪郭を捉えながら1つひとつの個体を区別して認識する技術がインスタンスセグメンテーションです。今回は、インスタンスセグメンテーションという名称の由来や処理の流れ、具体的な利点と課題について解説します。

インスタンスセグメンテーションという名称の由来

インスタンスセグメンテーションは、英語の instance(実体、個体)と segmentation(分割)を組み合わせた用語です。

それぞれの単語の意味を分解して確認すると、技術の目指す機能が明確になります。

segmentation(分割)の意味

セグメンテーションは、画像処理において1枚の画像を構成する画素(ピクセル)を特定の境界線に基づいて区画分けする処理を指します。背景と対象物、あるいは異なる対象物同士の境目を画素単位で特定することを意味します。

instance(個体)の意味

インスタンスという単語は、情報科学やオブジェクト指向プログラミングにおいて、共通の設計図から実体化された1つひとつの具体的な存在を指します。画像認識においては、同じ「人」や「車」という共通の分類群に属していても、それぞれ別個の実体として区別される個々の物体を意味します。

画像を画素単位で分割しながら、同一クラスに含まれる1つひとつの個体(インスタンス)を独立して識別することから、インスタンスセグメンテーションと名付けられました。

クラス分けシールと個別番号シールの比喩で理解する

インスタンスセグメンテーションの特徴を理解するために、駐車場に停まっている車にシールを貼って分類する作業を例に考えてみます。

先行技術であるセマンティックセグメンテーションは、車という共通ラベルのシールを用意し、車の形に合わせて隙間なく貼り付ける作業に相当します。2台の車が前後に重なって停まっている場合、全体が1つの大きな車の領域として塗りつぶされるため、駐車場に何台の車があるのかを識別することは困難になります。

これに対してインスタンスセグメンテーションは、車の形に精密に切り抜いたシールの1枚目に「車1」、2枚目に「車2」というように個別の識別番号を記載して貼り付ける作業に相当します。対象物の外形線を画素単位で精密に捉えつつ、独立した存在として別々に数えられる点が特徴です。

インスタンスセグメンテーションの検出プロセス

インスタンスセグメンテーションの代表的な手法であるMask R-CNNでは、物体検出の手法を拡張して個体ごとの領域を推定します。

1. 個体の検出と位置の特定

入力画像から対象物が存在する候補領域を抽出し、畳み込みニューラルネットワークを通じて物体の分類と四角い枠(バウンディングボックス)の座標予測を行います。

2. 画素単位のマスク生成

特定された個別の枠領域に対して、枠内の各画素がその物体に属しているかどうかを二値判定(0または1)する小さな畳み込みネットワーク(FCN)を適用します。

各個体の領域マスク推定において用いられる、画素単位の二値クロスエントロピー損失の計算式

L_{\mathrm{mask}} = - \frac{1}{m^{2}} \sum_{i=1}^{m} \sum_{j=1}^{m} \left[ y_{i, j} \log p_{i, j} + (1 - y_{i, j}) \log (1 - p_{i, j}) \right]

数式内の m x m は抽出された候補領域の解像度を表し、y_{i, j} は正解の画素値、p_{i, j} はモデルが予測した所属確率を表します。この計算を検出された個体ごとに行うことで、重なり合う対象物であっても個別の輪郭を分離して抽出します。

インスタンスセグメンテーションのメリット

インスタンスセグメンテーションを採用することで確認できる具体的な長所には、以下の項目が挙げられます。

  • 個体数の正確な集計:同一種類の物体が密集していたり部分的に重なり合っていたりしても、それぞれを別の実体として認識するため、写っている対象物の数を正確に把握できます。
  • 精密な形状と位置の把握:四角い枠による指定にとどまらず、個々の物体の正確な輪郭線を取得できるため、ロボットアームによる物体のピッキングや障害物の回避を高精度に行えます。
  • 分類と領域抽出の統合処理:物体の種類判定、位置の枠指定、画素ごとの輪郭抽出を単一のネットワーク構造で同時に処理できます。

インスタンスセグメンテーションのデメリット

一方で、インスタンスセグメンテーションを運用する際には以下のような課題も存在します。

  • アノテーションデータの作成負担:モデルの訓練に必要な教師データを用意する際、画像内のすべての物体に対して1画素単位で個別の輪郭を指定する必要があり、多大な作業時間を要します。
  • 高い計算負荷と処理遅延:画像内の検出された物体の数に比例してマスクの生成処理が増加するため、計算資源の消費が大きく、リアルタイムでの動画処理には高性能なハードウェアが求められます。
  • 背景領域の非対応:個体として数えられる物体(車、人、動物など)を対象として設計されているため、道路、空、草地のように輪郭が明確でない連続した背景要素を認識することには適していません。

まとめと次の学習ステップ

インスタンスセグメンテーションは、画素単位での領域分割(セグメンテーション)に、同一分類内の個々の実体を区別する概念(インスタンス)を組み込んだ手法の名称です。物体の精密な輪郭の抽出と個体識別の両立を実現しています。

インスタンスセグメンテーションの理解を深めるための学習ステップは以下の通りです。

  1. 四角い枠で物体の位置と種類を特定するFaster R-CNNの検出フローを確認する。
  2. 領域ごとの画素マスク出力を追加したMask R-CNNのアーキテクチャ構造とRoIAlignの仕組みを整理する。
  3. 背景領域の一括識別を行うセマンティックセグメンテーションと、個体識別を行うインスタンスセグメンテーションを統合したパノプティックセグメンテーションの概念へ学習を進める。
  4. 処理の高速化を目的としたYOLACTなど、1段階で検出とマスク推定を完了させるリアルタイムモデルの動作原理を比較する。

物体検出と領域分割の基礎的な連携関係を順を追って理解することで、ロボット工学や自動運転システムなどで利用される高度な画像認識技術の仕組みを体系的に把握できるようになります。生成モデルの条件付け技術の理解にもスムーズに繋げられます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。