[No.53] もはや死角なし！360度映像を用いた物体検知

1．背景

1.1 画像処理技術、AIの進化

近年、画像処理技術やAIの進化に伴い、さまざまな領域において技術活用が行われています。たとえば、道路を撮影しているカメラを用いて車の状態を画像処理することにより、道路渋滞や駐車違反車などの検出をリアルタイムで行ったり、製造現場においては、製品の大量生産時に発生する不良品を自動で判別したりするシステムなどの開発および実用化が進んできています。

1.2 360度映像が撮影できるカメラ

RICOH社のTHETAシリーズのように、1台のカメラで360度を撮影できるカメラが登場し、死角なく静止画や動画を撮影できる点から、さまざまな領域で活用され始めています。 たとえば、不動産業界では物件情報に360度カメラで撮影した部屋を掲載することで、希望者が内見に行く前に部屋の雰囲気を掴むことができます。顧客が気にするポイントを事前に把握することができるので、来店時に接客する時間の短縮や、実際に内見する物件数の減少による業務効率化にもつながると期待されています。

2．360度映像 × AIの取り組み事例

リアルタイム360度映像を用いて物体検出を行うことにより、人では把握できない死角（後方など）の状況を把握することを目的としています。また、莫大な費用をかけて高精度な装置を作るのではなく、「安価に手軽に実装できる装置」を前提にしています。

＜動画の内容＞

• 360度映像を平面パノラマ映像に変換後、90度ごとに区切り4つの動画に分解してライブストリーミングで表示します。
• 4つの平面動画それぞれで物体の検知を行っており、人数を集計します。
• 集計結果を同時に、数値として出力します（動画右側）。

＜構築手法＞

1. 動画のもとになる360度パノラマ静止画を読み込み、平面画像に分解します。
   ※360度の歪みを抑え、検知精度を上げるために分割します。
2. YOLO[1]を用いて、平面画像に分解した4つの画像それぞれで物体検知を行います。
3. 物体検知で得られた対象物体の集計結果を動画に返します。
4. 1と3を合わせた動画をリアルタイムで表示します。
   ※80種類の物体を検知できますが、今回は人（Person）に限定しています。
5. 約1秒に1回、検知が可能です。
   ※物体検知する対象数や、求められる検知精度などにより変わります。

＜本技術の適用範囲＞

• 検知精度については、以下の2パターンが適しています。
1. 正確な数ではなく、おおよその数が把握できればよい場合
   例）広い敷地内での人の密集度合い比較
2. ほぼ存在しない状態で、1体を検知したい場合
   例）立入禁止エリアへの侵入者検知、鳥獣検知
• 処理速度については、数秒に1回程度で問題ない場合が適しています。

3．まとめ

SOLIZEでは現在、開発を継続しており、「集計結果をVRデバイスに表示」「360度カメラをロボカーに搭載し無線環境下でのリアルタイム検知」を実装中です。

気軽に購入できるデバイスやAIなどを組み合わせることで、低コストでありながら人の身体性を拡張する取り組みを今後も行っていきます。

また、汎用性を目指した作り込みを行うよりも、ケースバイケースに応じたカスタマイズ性を重視した開発を目指しています。

◆◆◆

製造業に限らず、さまざまな方からの「こういうことにも活用できますか？」の声をお待ちしております。お気軽にお問い合わせください。