京都大学大学院情報学研究科の馬場雪乃助教と鹿島久嗣教授らは、インターネット上で仕事を受発注するクラウドソーシングの品質評価を効率化するアルゴリズムを開発した。クラウドソーシングでは作品の製作と評価の両方を外注する。新しいアルゴリズムを使うと評価者を２割減らしても品質を保てた。

　クラウドソーシングは大量の記事やイラスト、データ集などを製作する際に使われ、依頼者が作品を一つひとつ検品できない。そこで成果物の評価作業もインターネット上で発注するが、評価者の力量がわからず、成果物の品質が定まらないという課題があった。

　そこで製作者と評価者の力量、成果物の品質を推計するアルゴリズムを開発した。検索サイトの順位付けなどに使われるＨＩＴＳアルゴリズムを応用した。成果物と評価のデータを基に、製作者と評価者の力量を仮定して品質を推定、次に品質と評価者力量を仮定して製作者の力量を推定、品質を基に評価者の力量を推定するという３段階の計算を繰り返す。実験的に計算が収束して答えが求まることを確認した。

　画像に説明文をつける仕事では、一つの成果物を５人が評価する精度と、４人が評価した精度が変わらなかった。参加者の力量と品質を推計できれば、能力の高い人にだけ自動で仕事を依頼するなどコストを必要最小限に抑えられる。