日本電気株式会社は、映像解析と生成AIを活用し、作業者の模範動作と実際の動作の差異を識別し、作業者のパフォーマンス向上のためのアドバイスを行う技術を開発しました。今回開発した技術は、手指を使った精密な作業から全身を使う作業まで、適切な改善アドバイスを自動表示するもの。本技術を活用することで、製造業、物流業、建設業など様々な業種の作業現場において、無人で作業を習得することが可能となります。
近年、技能労働者の高齢化に伴う指導者不足により、技能の伝承が課題となっています。また、多品種少量生産や労働者の多様化・流動化に伴い、指導教育コストの増大や十分な教育が行えないことによる業務品質の低下が懸念されています。
インストラクターの代わりにAIがアドバイスすることで、さまざまな作業の自己教育を可能にする技術です。これを実現するために、NECは、モデル動作と比較したときの微妙な動きの違いを識別する動画解析技術と、その違いをもとに生成AIがモデル動作に合わせた適切なアドバイスを生成する技術を開発しました。
微妙な動きの違いを検出する映像解析技術では、モデルの動作と実際の動作を比較し、同じ動作をしている箇所を照合します。その際、人の動きだけでなく、物を握ったり持ったりするインタラクションも捉えることで、映像の合成が可能になります。これにより、長さの異なる映像であっても、これまで検出できなかった作業者の微妙な動作の違いを高い精度で検出することが可能になりました。
アドバイスを生成する技術は、映像の違いを検出したセグメントと、股関節や膝の動き、手や指の形などの骨格情報をVLM（Vision and Language Model）※に提供することで、映像の中から改善が必要な作業姿勢や動作を正確に特定し、具体的なテキストアドバイスを生成します。テキストによるアドバイスが映像の関連する部分と一緒に表示されるため、作業者は様々な産業シーンにおいて、監督者なしで商品の丁寧な組み立て、箱詰め、運搬などの作業をマスターすることができ、教育コストの大幅な削減に貢献します。
ソース NEC
