横浜市立大学の有働帆乃璃大学院生（研究当時）と越仲孝文教授らは、人工知能（ＡＩ）技術で画像から生成した説明文を用いると画像のみで識別するよりも判定精度が高まることを実証した。災害の分類と被害程度の判定にＡＩを利用した。説明文生成ＡＩが特徴抽出器として働く。人間にも理解しやすく、説明可能なＡＩ技術として活用できる。

画像を分類するＡＩと画像から説明文を作るＡＩを比較する。画像分類ＡＩには地震や洪水などの４種の災害と３段階の被害度のデータを学習させ、どれに該当するか推定させる。説明文生成ＡＩでは画像に写った対象から文章を作り、文章分類ＡＩで推定する。

例えば地震で倒壊しかけているビルの画像から説明文を作ると、「建物の上に群衆、倒壊した建物、燃えている建物、ゾンビゲームの背景、大きな衝撃が加わった建物、地震」などとなる。この説明文から災害の種類を推定すると精度は８５％。画像分類ＡＩでは７０％だった。

画像から単語を直接推定すると「損傷した建物」が答えになる。文章分類ＡＩで地震という抽象度の高い単語に対応させた。

さらに両方の推定結果を比重を変えながら統合し、精度を検証した。すると、それぞれ５割の重要度で推定した場合に８６％と最高になった。統合の増分は小さく、画像分類ＡＩの比重を増やすと精度が下がる。

説明文生成ＡＩには「ＣＬＩＰインテロゲーター」を用いた。画像を文章化する過程で知識を取り出しているため、人間が判定結果を解釈しやすい。