NECの人間系世界モデルで実現する 人の不安に寄り添うフィジカルAI

NECは、2026年3月12日に、人の不安の程度を定量的に推定した上で、不安を高めないよう先回りしてロボットを制御するフィジカルAIの技術を開発したことを発表した。同日に開催されたメディアブリーフィングの様子から、デジタルツインからフィジカルAIに広がる同社の研究開発の取り組みを見ていこう。

AI産業革命の訪れ

　NECは、映像などのセンシング情報から現実世界を深く理解し、モデル化するための最先端のAI技術の研究開発や事業開発を行うビジュアルインテリジェンス研究所を設け、研究成果の実用化を通した新規事業の創出をけん引している。そのNEC ビジュアルインテリジェンス研究所の所長を務める宮野博義氏は、フィジカルAIやデジタルツインにまつわる全体概要の説明を行った。

　宮野氏は冒頭「近年、テクノロジーが社会に与える影響は非常に大きくなっています。特にAI技術はその進化が非常に速く進んでおり、AI産業革命とも言われるようになりました」と語る。

　そのAIの分野において、NECは独自に開発したAIコア技術「cotomi」を含めた先端技術で、AIによる産業変革をリードしている。こうした分野において、NECはグローバルでも高い技術競争力を有しているという。

　需要が高まるAI技術の動向について宮野氏は「広域にわたる活動の解析や、効率化に対するニーズが増加しています。特に産業現場では、工場や倉庫などで人手不足や熟練者不足が深刻化している中で、生産性を維持するためAI活用の需要が高まっています」と語る。こうした安全・効率的な現場にAIを活用することでDXを目指すのがNECの取り組みといえる。

　こうした産業現場に必要とされる変革とは何か。一つ目はデジタルツインを活用した「広域の現場作業の把握」だ。その背景には人手不足が深刻化している一方で人間にしかできない作業が残っていることや、作業の見える化を行うニーズが強い一方で、現場で働く人（作業）のデータ化は進んでいないことが挙げられる。

二つの技術で作業行動をデータ化

　そこでNECが取り組んでいるのが、映像認識AIによる作業行動のデータ化だ。既存の技術では現場ごとに作業行動が多様であったり、広域の作業を複数台のカメラで追い続けてデータ化することが困難であったりという課題が存在したが、NECでは二つの技術によるアプローチで、その課題を解決している。

　一つ目は「ゼロショット行動認識」だ。これはカメラが捉えた映像に対して、作業者の作業内容をテキスト入力するだけで、すぐに多様な作業行動を認識できる技術だ。従来の技術であれば、AIモデルの事前準備に数週間から数カ月の時間や手間が発生していたが、このゼロショット行動認識の技術を活用すれば、事前学習不要で作業行動を認識できるため、即日現場に導入可能だ。NEC ビジュアルインテリジェンス研究所ディレクター岩元浩太氏は「例えばピッキング作業の行動認識をさせる場合、『棚から荷物を取り出している』というように、どんな物に対してどのような動作をしているかという説明文を、自然言語で入力するだけで動作の認識が可能になります。本技術ではVLM（視覚言語モデル）と当社独自の『人とモノの関係性を捉えるAIモデル』を組み合わせることで、複数の作業者やモノが混在する環境でも、テキスト入力のみで正確に多様な作業行動を認識可能にしています」と語る。

　二つ目が「マルチカメラ追跡」だ。本技術は複数カメラをまたいで行動する複数の作業者を、長時間にわたって途切れることなく同定・追跡できる技術だ。広域な現場における作業員ごとの作業行動実績をデータ化できる。「広域現場の作業行動をデータ化する場合、複数台のカメラを設置して人の行動を追い続ける必要がありますが、現場では作業服が同一であるため作業者を見分けることが難しかったり、複数カメラ間で同一作業者の同定を続けることが困難であったりといった課題がありました」と岩元氏は振り返る。

　そこでNECは、これまで培ってきた2Dから3Dへ変換する技術を活用し、事前校正処理無しで人物位置をカメラ映像から共通の3D空間上に投影する手法を開発した。これにより、3D空間上で複数カメラ間をまたがる人物の同定・追跡を可能にしている。また3D空間上での移動軌跡の形状や類似性を用いて人物を同定する独自の追跡方式によって、誤差の影響を受けることなく複数カメラ間にまたがる同一人物を高精度に同定できるという。

　これらゼロショット行動認識とマルチカメラ追跡の技術の一部は「NEC デジタルツインソリューション現場可視化・分析サービス」の拡充版として提供をスタートしている。

人に不安を感じさせないロボット制御の様子。左が従来技術で右が今回発表されたNECの技術の様子だ。従来技術の場合はロボットとすれ違う際に、作業者が不安（Anxiety）を感じていることが分かる。

作業者の視界から見えるロボットの動き。従来技術の場合はロボットが近く不安を覚えるが、今回のNEC技術の場合接触しないよう迂回している動作が分かるため、不安感を覚えにくいようだ。

人の不安に配慮する制御

　産業現場に求められる変革の二つ目が、フィジカルAIを活用した「人が混在する環境へのロボットの導入」だ。労働力減少への対応や現場作業の生産性向上を図るため、産業現場ではロボット導入による自動化が進展している。その一方で、移動するロボットが作業員と共存する現場においては、安全性の確保が課題になっている。NEC ビジュアルインテリジェンス研究所実世界ロボティクス研究グループディレクター金友大氏は「ロボットの安全性というと、人とぶつからないなどの身体的な部分を考えることが多くありますが、近年は身体的だけでなく心理的な側面についても配慮するべきだという指摘が増えています。例えば欧州労働安全衛生機関は『高度なロボティクスによる自動化の労働安全面でのリスクを、物理的な側面だけでなく心理的、組織的な観点でも評価するべき』と指摘しています。また米国の国立労働安全衛生研究所からは、作業員がロボットに対して不安を感じると作業時間が増加するという研究結果も出ています。ロボット導入も主な目的である生産性の向上を実現するには、ロボットを導入することによる心理的な影響を考慮することが重要です」と指摘する。

　そこでNECは、産業現場でロボットと共に働く人に対して不安を感じさせないようにロボットを走行させるフィジカルAIの技術を開発している。本技術は、ロボットと人の相対的な位置・姿勢から、人の動きと不安の程度をリアルタイムに予測するNEC独自の人間系世界モデルを活用することで、人とロボットが混在する環境下において人に不安を与えることなくロボットが走行できるようにするものだ。「従来の技術では、ロボットが人と接近すると人の直前で急停止したり、ロボットが人と接触しないよう大きく迂回したりしていた。しかし、前者の場合はロボットが接近してきたことに対して人が不安を覚えますし、一度停止することから運送効率が低下します。後者の場合は人に不安を抱かせることはありませんが、大きく迂回することから運送効率は大きく低下します」と金友氏は指摘する。

　こうした課題を解決するのが、NECの人間系世界モデルを活用したロボットの制御だ。世界モデルとは「実世界の物理法則やルールを表すモデル」を指す。ロボットに行わせる動作計画を世界モデルで事前検証することで、適切なロボットの動作を行えるようになるのだ。

　NECの人間系世界モデルは実世界における人の動きの予測を可能にするモデルだ。本モデルは、ロボットに搭載されたカメラ映像を活用し、ロボットの挙動や物理的な周囲の状況によって変化する人の動きを予測するモデルと、ロボットの接近によって変化する人の不安の程度をリアルタイムかつ定量的に予測するモデルを組み合わせている。これにより、人の動きと不安度を予測し、人とロボットとの不安を抑えたすれ違いを実現する。作業者が不安を感じやすい大型の搬送ロボットを導入する倉庫や工場のほか、来店者に不安を感じさせないロボットによる清掃や搬送作業を行いたい小売店舗、商業施設などでの導入を見込んでいる。また将来的には介護施設や医療機関など、ロボットと協働することに対する不安感が強い現場への需要も予想されている。

　本フィジカルAIの技術は2027年度中の実用化を目指している。