ヒアリングを進めると、まず出てきたのが、「生産数の１万個のうち、正しく判定できる割合」としての９割である。だがこの工場、以前の回で紹介した化粧品メーカー同様、日本企業らしい高い生産品質を保有しており、不良品は1万分の10個と少ない。

つまり、悪知恵を働かせれば、どれが不良品かがわからなくても、とりあえず全てを「良品だ」とAIに判定させてしまえば、良品の9,990個は正解していることになるので、精度はなんと99.9%という高い数値を達成してしまう。しかし、当然これでは意味がないだろう。わざわざAIを導入する意味はなくなってしまう。

次に担当者が言う。「不良品を漏らしてしまっては意味がない。良品、不良品、それぞれの判定で９割を目指してほしいのです」。これは、良品の9割を正しく「良品だ」と判定した上で、それ以外の「不良品」とされた製品の中から９割を正しく「不良品だ」と判定するということだ。専門的には前者を特異度（Specificity：良品を正しく「良品」と判定する確率）、後者を感度（Sensitivity：不良品を正しく「不良品」として判定する確率）または再現率（Recall rate）と呼ぶ。今回のケースのように、不良品が10個、全体の0.1％しかない状態で、この特異度と感度の両方が９割というのは、次のような状態である。

まず、10個の不良品の内、9個は正しく不良品として判定できている。ここまでは良い。一方、良品について、9,990個の良品の内、999個は誤って不良品として判定してしまっているという事になる。見方を変えると、AIが「不良品だ」として判定した1,008個の内、本当の不良品はわずか9個しか無く、正解率は1%未満という事態だ。これではとても使い物にならない。

上記の数値は、AIが「不良品だ」と判定した中で、本当に不良品だった製品の個数を表し、適合率（Precision rate）と呼ばれる。この説明をすると、ここでまた担当者。「では、適合率９割を目指しましょう」。しかしこれは、特異度99.99%、つまり9,990個の良品うちの9,989個を「良品だ」と正しく判定できることが前提になる。

これは技術的に相当難しい。この記事では深入りは避けるが、このレベルを本当に実現しようとすると、そもそもの教師データの質、つまり「今人間が手作業でやっている結果は本当に正しいのか」という点に踏み込む必要がある。これは社内政治が関わる話にもなり、ほとんどの場合上手くいかない。

AIの壁

世の中には「精度９割」などを謳ったAIプロダクトも少なくない。だが、上のやり取りを見ればわかるが、この「９割」が何を指しているかは十分に確認した方が良い。今回のケースの場合、恐らく、担当者が最終的に望んだ適合率９割を実現することは技術的に難しい。

しかし、ビジネス観点での問題としては、技術的なできる・できないではなく、こうした難しさや必要な検討事項を事前に想定した上で、AIの活用余地を考えられていたかどうかだ。後悔先に立たずではあるが、このAI導入プロジェクトが開始する段階でこうした議論をするタイミングはあっただろうし、PoCでそれを検証することもできた。

例えば上の例では、適合率が1%だとしても、人が目検で全数チェックしている現状と比べると、その範囲を狭められるだけで意味がある活用方法もあったかもしれない。しかし、実際にはこうした検討が行われないまま、100%完全自動化の想定で業務オペレーションに組み込まれてしまった。

前AIベンダー側の責任も大きい。恐らく担当者が言う「９割」の意味を正確に把握しないまま、自分が思う「９割」で突き進んでしまったのだろう。PoCの前の段階でこうした基準を精緻化し、目標が達成されたらどうオペレーションを変えていくのか、あらかじめ社内外の関係者で合意をとる動きをしていれば、こうした事態は避けられていたはずだ。

AIだけでなく新しいテクノロジーを導入する際には、どうしても技術や性能、精度に注目が行きがちだが、ビジネスで用いる以上は、どのような問題に対して、どのようなアプローチで挑み、何を達成するのか、こうした要件の決定と共有が先立っていなければいけない。
（文＝株式会社Laboro.AI　代表取締役CTO・藤原弘将／マーケティングディレクター・和田崇）

※記事内でご紹介している相談内容は、企業が特定できないよう実際の内容をヒントに改変したものです。また、特定の企業様を意図して記載するものでもございません。
（2021年05月20日掲載　AIは幻想か―導入現場のリアル＃03　「９割の精度を目指せ」編　再掲）