“第ニのWELQ”は起こさせない!クラウドソーシングの品質を評価

京大が効率化するアルゴリズム開発

  • 1
  • 1
 京都大学大学院情報学研究科の馬場雪乃助教と鹿島久嗣教授らは、インターネット上で仕事を受発注するクラウドソーシングの品質評価を効率化するアルゴリズムを開発した。クラウドソーシングでは作品の製作と評価の両方を外注する。新しいアルゴリズムを使うと評価者を2割減らしても品質を保てた。

 クラウドソーシングは大量の記事やイラスト、データ集などを製作する際に使われ、依頼者が作品を一つひとつ検品できない。そこで成果物の評価作業もインターネット上で発注するが、評価者の力量がわからず、成果物の品質が定まらないという課題があった。

 そこで製作者と評価者の力量、成果物の品質を推計するアルゴリズムを開発した。検索サイトの順位付けなどに使われるHITSアルゴリズムを応用した。成果物と評価のデータを基に、製作者と評価者の力量を仮定して品質を推定、次に品質と評価者力量を仮定して製作者の力量を推定、品質を基に評価者の力量を推定するという3段階の計算を繰り返す。実験的に計算が収束して答えが求まることを確認した。

 画像に説明文をつける仕事では、一つの成果物を5人が評価する精度と、4人が評価した精度が変わらなかった。参加者の力量と品質を推計できれば、能力の高い人にだけ自動で仕事を依頼するなどコストを必要最小限に抑えられる。
              

日刊工業新聞2017年2月1日

COMMENT

WELQ問題で悪名をとどろかせたキュレーションサイト。クラウドソーシングで原稿を安く集めているサイトもありました。馬場先生たちの研究はクラウドソーシングの品質改善につながるかもしれません。記者としては500字で100円以下の記事作成依頼を見つけたときは末恐ろしくなりました。技術開発でクラウドソーシングが健全な労働市場になってくれればと思います。ただ、アルゴリズムに選別される作業者や成果物の気持ちはどんなものなのかとも思ってしまいます。 (日刊工業新聞科学技術部・小寺貴之)

関連する記事はこちら

特集