ホーム > PC-Webzineアーカイブ > 東芝はAIでスポーツ映像を解析

東芝はAIでスポーツ映像を解析

東芝はAIでスポーツ映像を解析

2019年03月08日更新

Sports-Techの成果を産業用途に

#東芝 #映像解析 #ラグビー #ロードレース

AIを利用した映像解析の技術をラグビーやロードレースに適用する東芝は、その成果を産業用途に展開することも視野に入れる。

映像シーンにAIが自動でタグ付け

 コミュニケーションAI「RECAIUS(リカイアス)」やアナリティクスAI「SATLYS(サトリス)」などのAIサービスを提供している東芝は、AIを用いた映像解析をスポーツICTの分野に持ち込んでいる。取り組みの一つがラグビーへの応用だ。実際に東芝のラグビーチームである東芝ブレイブルーパスのアナリストからニーズを聞いて、課題の解決を目指している。

 AIを用いた映像解析にあたって、東芝ブレイブルーパスのアナリストからは以下のようなニーズが挙げられた。

・チームの強化、選手のけが防止
・試合中、練習中の選手位置の特定、手動でやっているプレータグ付けの自動化

 さらに潜在的なニーズとして、次のような要素もあった。

・選手の負担は減らしたい(センサー不要)
・市販カメラで気軽に分析したい
・できるかぎりリアルタイムに分析したい

 これらのニーズに加えて、ラグビーという競技の特性も考慮すべきポイントだった。1チーム15人、両チーム合わせて30人がフィールドを駆け巡る。選手の動きや姿勢はさまざまだ。ぶつかったり密集したりするプレーが多く、選手やボールがほかの選手の影に隠れるケースも少なくない。得点が入ったり反則が起きたりするまでプレーは継続し、その間に攻守は激しく入れ替わる。

 取り組みを主導している東芝 研究開発本部 研究開発センター メディアAIラボラトリー 小林大祐氏は次のように説明する。「当社ではカメラの映像に特化した解析に注力しています。カメラは屋内外のいずれでも利用でき、センサーなどが不要で設備も少なくて済むからです。市販のカメラの映像でも解析できる技術開発を行っています」

 実際の実証実験では、市販のカメラ映像からAIが選手やチーム、走行速度を自動で抽出して、シーンごとに検索などができるようにした。具体的には、フィールドの選手の情報などを3Dから2Dに変換し、さらにフォーメーションから「キックオフ」「キックカウンター」「ターンオーバー」「スクラム」などのシーンを自動で抽出してタグ付けする。それによってアナリストはみたいシーンをいつでも確認できるようになる。従来はこうしたタグ付けはアナリスト自らが手作業で行うなど負担が重かった。それをAIが自動で実行してくれるのだ。「AIが選手のポジショニングなどを学習して自動でプレーの内容を推定し、タグ付けを行います。ラグビーの特色として選手が密集し認識が困難な点が挙げられますが、そうした課題も克服しています。カメラの映像の2次元への変換で、フォーメーションなどが俯瞰的に捉えられるので、ポジションの穴などもアナリストが確認しやすくなります。フォーメーションなどについて選手に伝える際も、すぐに納得してもらえるようになるのです」(小林氏)

東芝が開発しているラグビーの映像解析の画面。実際の映像から2D に変換し、シーンを判断してAI がタグ付けを行っている。

 AIを用いた東芝の映像解析技術は、すでにテレビのスポーツ番組の制作現場で実際に使われ始めている。それが、日本テレビ放送網と共同で開発している画像解析AIだ。ロードレース中継で、カメラ映像に映っている選手を検出・追従し、ユニフォームやゼッケンなどの特徴をもとに所属するチーム名をリアルタイムで認識する技術となる。

「ロードレースなどのテレビ中継では走行しているチームの情報などがリアルタイムで表示されますが、従来は何人ものアルバイトを雇って人手で行っていました。日本テレビ放送網と当社が共同で開発した技術では、それをAIによって自動化させています。チームの認識には、選手の上半身(ユニフォーム)と顔を同時に検出し、両方を追従するハイブリッド方式を採用しています。走行中では顔が見えなくなるケースも少なくないロードレースでも高精度でチームの認識が可能になり、自動でタグ情報を付加できるのです。作業の処理時間は1秒以内で行え、認識精度は98.1%を実現しています。選手間の距離なども自動で認識可能です」(東芝デジタルソリューションズ インダストリアルソリューション事業部 メディア・サービスソリューション営業部 佐藤雄介氏)

 日本テレビ放送網と東芝の試みは、学会や放送業界において高く評価され、「第64回映像情報メディア学会技術振興賞進歩開発賞(現場運用部門)」や「平成30年日本民間放送連盟賞技術部門最優秀」などを受賞した。

(左)東芝デジタルソリューションズ 佐藤雄介 氏
(右)東芝 小林大祐 氏

Sports-Techプロジェクト

 これら、東芝のスポーツICTへの取り組みは、同社のスタートアップ制度において、スポーツから始まる技術革新を提案・採用されたことからスタートした。「このSports-Techプロジェクトは、チーム競技・チーム支援を出発点に、東芝のテクノロジーの集合体による課題解決と、社内外を含めた仲間作り・共創を行いながら、その成果をほかの産業にも展開する目的で進められています。画像認識だけでなく音声認識なども合わせて統合的に開発している成果がすでに出始めているのです」(佐藤氏)

 Sports-Techプロジェクトで蓄積されたノウハウは、「飲食業界における店舗オペレーションKPI観測のAIによる自動化」といった実証実験にもつながっている。これは、店内カメラの映像やスタッフのインカム会話などのデータから、会話ログや顧客、スタッフの動作をAIによって可視化し、業績・生産性と相関の高いKPIを抽出するといった試みだ。

「当社の強みを生かした技術開発で、さまざまな産業に展開していきたいですね」と小林氏と佐藤氏は声をそろえる。

キーワードから記事を探す