ＲＧＢ・サーマルデータ統合

北海道大学のヴァクナマス・シラウイッチ大学院生と江丸貴紀准教授らは、積雪の状況に強い画像識別技術を開発した。サーマルカメラと通常カメラのデータを一緒に画像識別する。夜間の雪道で歩行者検出の精度が平均で１７・８％向上した。夜間は人体と風景でサーマルカメラのコントラストが大きく、識別しやすくなった。

通常のＲＧＢカメラとサーマルカメラで撮影した１５７１枚の画像データセットを作成した。「道」や「雪山」、「建物」など９種類の正解情報を与えている。昼と夜に撮影し、画像面積で「道」が１７・３％、「歩行者」が２・２％含まれる。このデータセットを既存の六つの人工知能（ＡＩ）モデルに学習させた。ＲＧＢ画像データと熱画像データをそれぞれ推定して結果を統合して最終的な答えを出す。

その結果、夜間の歩行者の検出精度が全てのＡＩモデルで向上し、平均で１７・８％の向上だった。識別精度の高いモデルでは物体検出の評価指標「ＩｏＵ」が６５・７％から７７・６％に向上する。ほかにも「車両」や「植樹」などへの熱画像学習の影響を体系的に調べた。

今後、より大規模なデータセットとＡＩモデルを開発する。自動運転の普及に向けて積雪などの厳しい環境での識別性能向上が求められている。夜の雪道はＲＧＢ画像だけの歩行者検出は困難。熱画像を使うと熱源の検出は向上するが、雪山や停止車両の識別精度が落ちるなど影響がある。識別対象ごとに定量的に影響を評価することが求められていた。