検品AI活用「精度9割」の落とし穴 そもそも「9割」とは何か?
電子機器製造工場からの相談
ほんの数年前を思い返すと、クライアントといえばAIを初めて導入する企業がほとんどだった。だが、ここ最近は、AIの導入を経験済みの企業からの相談も珍しくなくなった。これを裏返してわかりやすく言うと、「失敗した案件」の相談だ。これは、ある電子機器の製造工場のデジタル化推進担当者からの支援要請だった。
「1年ほど前にAIを搭載した検品システムを導入しました。ですが、思ったように精度がでないのです。うちの工場では1日に1万個の製品を製造し、このうち10個ほどの不良品が発生します。AIが完璧でないことは理解しています。なので、100%の不良品検出はできないとしても、せめて9割の目標を達成したいと考えています。当初発注したAIベンダーにもそうお願いしていたのですが・・、やはり9割という精度は現実的ではないのでしょうか。」
確かに9割の精度目標というのは、技術的にはかなり難しいレベルのように聞こえる。だがこの案件には、それ以前の問題が潜んでいる。それは、そもそも「9割」が何を意味しているかであり、伴ってAIでどのような問題を解決すべきかが不明瞭になっていることだ。
失敗パターンから学ぶ 製造業AI導入のカギ 〜AIプロジェクトのリベンジを目指して〜AI開発には必ずPoCがある
「PoC(ポック)死」という言葉がある。PoCとは、Proof of Conceptの略語で「概念実証」と訳される。わかりやすく言えば、「実験的な検証」である。通常のITシステムと違い、AIはやってみないと上手くいくかがわからないという宿命がある。ITシステムは、身近なところでは表計算ソフトがわかりやすい例だが、決まったルールに基づいて、決まった答えを出すため、少なくとも技術的な観点でのリスクは小さい。(もちろん業務に組み込んだ段階で工数が何割減らせるか、みたいな側面ではITシステムもPoCが必要な場合もある。)
一方、AIはどのようなデータを学習させるかで答えが変わってくる。そのため、AI開発ではいきなりビジネス現場に導入するということはできない、というか導入するものがスタート時点では存在しない。本開発の前にテストモデルを作り、PoCという実験を必ず実施することで、AIが役に立つ目処が立ちそうかを事前に検証する手順が必須になる。
PoC死とは、このPoCで失敗した案件、つまり導入を目指して開発したものの、実験段階で“使えない”ことが判明した案件を意味する。この電子機器工場は、PoC死してもおかしくない状態のAIを、現場にまで導入してしまったものであり、より深刻な問題を抱えた状態だったと言える。
余談だが、当社にはこうしたPoC死案件の相談が少なくない。このとき当然ながら感じるのは、PoC死を想像できながら開発を進めた残念なAIベンダーの存在である。依頼する企業にとってみればAIベンダーの見極めはかなり難しいところではあるが、一つ言えるのは、「できます」と言い切るベンダーは怪しいと疑った方が良い。その理由は上に書いた通り、AIはできることが事前にわかるはずがないからだ。
「精度9割」の曖昧さ
さて、話を元の相談の内容に戻そう。工場のデジタル化推進担当者が言っていた「9割」という目標は、なぜ曖昧なのか。
実は当社でAI導入に向けたコンサルティングを行う際、「どれくらいの精度が出ると実用化できそうでしょうか?」と聞くと、大抵返ってくるのがこの「9割」もしくは「8割」という答えである。恐らくそこに理由はなく、「(なんとなく)大体できているレベル」という感覚で「9割」、「ちょっとなら間違えてもいいよ」という感覚で「8割」という数値を連想するのだろうと想像している。しかし、この数字は何を意味するのか、もっと厳密に考える必要がある。比率なのだから、分母と分子があるはずだが、この場合それは何なのか。
ニュースイッチでは、オンラインイベント「失敗パターンから学ぶ 製造業AI導入のカギ 〜AIプロジェクトのリベンジを目指して〜」を開催します。
本セミナーでは、特集「AIは幻想かー導入現場のリアル」の執筆を手がけた、AI開発スタートアップLaboro.AIの代表取締役CTO 藤原弘将氏が、製造業の代表的なAI導入ケースである異常検出、需要予測、故障予知、安全管理、工程スケジューリングをテーマに取り上げ、それぞれのアンチパターンを紹介し、AI導入プロジェクトを成功に導くためのヒントを提供します。
2021/10/20(水) 14:00 ~ 15:30
<<詳しくはこちら>>
参加料:¥7,700(税込)
申し込み締切 2021年10月19日(火)12:00
【次ページ:「良品、不良品、それぞれの判定で9割を目指してほしいのです」とは】