すごいね!クールラボラトリー[研究者紹介]

准教授 小山 聡
大学院情報科学研究科 情報理工学専攻
複合情報工学講座 知能ソフトウェア研究室
准教授 小山 聡
[プロフィール]
○研究分野/情報学、人工知能
○研究テーマ/機械学習、データマイニング、情報検索
○E-mail/oyama[a]ist.hokudai.ac.jp

人間の確信度を利用した高精度な意思決定を実現
クラウドソーシングの品質管理に貢献

ヒューマンコンピュテーションを促進する
クラウドソーシングの活用

大学院情報科学研究科知能ソフトウェア研究室では、人工知能(AI)とソフトウェア工学(SE)を技術の両輪とし、「より高機能」なソフトウェアを「より簡単・確実」に設計する技術の開発に取り組んでいる。このような研究室は全国的にあまり多くはなく、「異分野の融合による新研究領域の創出」や「幅広く総合的な高等教育」を標榜する情報科学研究科の特徴のひとつとなっている。

同研究室に所属する小山聡准教授は、人工知能と機械学習をテーマに研究を続けている。「機械学習とは、過去の事例や環境からコンピュータが学習し、より良い予測を実現するための技術です。その中でも基礎的なアルゴリズムや、ウェブ検索・データマイニングへの応用について10年ほど研究しています」

機械学習の一般的な手法は、ある例題についてあらかじめ人間が正解を与え、それをベースにコンピュータが学習する「教師付き学習」である。例えば、画像分類などのタスクで「この画像に鳥が写っている、いない」などの解答を与えると、それに従ってコンピュータが画像を分類していく。教師役を研究者自身や学生などが務めることが多いのだが、時間の制約などから十分な量のラベル付き訓練データが確保できないという課題があった。また、いくら機械学習の技術が発達したとしても、全ての誤りをなくすことは難しい。本当に難しい問題については計算機単独では解くことはできず、人間の判断を仰がなければならない場合もある。

「これまでの人工知能研究は、人間がいなくてもすべて機械でできるような賢いコンピュータをつくることが一つの目標でしたが、近年は機械だけでは解けない問題を人間と機械が協力して解く『ヒューマンコンピュテーション』というアプローチが注目されています。ヒューマンコンピュテーションは人間を計算資源として活用する考え方で、インターネットを通じて多数の人に仕事(タスク)を依頼できるWebサービス『クラウドソーシング(解説1)』の登場により、大量の正解データが収集できるようになりました」

ワーカの能力や確信度の正確さを統計的に推定
クラウドソーシングのより信頼性の高い品質管理が可能に

クラウドソーシングは、インターネットを通じて比較的安価にタスクを依頼できることから、画像認識、自然言語処理、情報検索、データベースなど情報科学のさまざまな分野で活用が進んでいる。だが、不特定多数を対象とするため、必ずしもすべての作業者(ワーカ)がタスクに取り組むのに必要な能力や真面目さを備えているとは限らない。したがって、クラウドソーシングではタスクに参加するワーカの能力評価が品質管理に不可欠となる。

「ワーカの能力を評価するにはいくつかの方法がありますが、一番簡単なのは正解が分かっているデータについてテストを行い、その正解率で能力を推定するものです。ワーカに意識させないようにタスクの中にテストを紛れ込ませる方法もあります。これは、教師付き学習に近い手法で、正解が分かっている場合に有効な手段です」

正解が分からない問題の場合は、複数のワーカに同じ内容の作業(ラベル付け)を行ってもらい、その結果を統計的に判断する手法が取られる。もっとも単純な方法は、結果の多数決でラベルの統合を行うことである。しかし、クラウドソーシングではすべてのワーカが同じ誤りの確率を持つとは限らず、能力や誠実さの差が誤りの確率に影響する。小山准教授は統計的手法を用い、ワーカが誤ったラベル付けを行う可能性のある状況下で、真のラベルを推定する方法を研究している。ワーカ自身に自分の作業結果に対する自信の有無を申告させることでラベルの信頼度を自動的に推定する方法を考案し、実験を行った。(解説2)

「自信過剰なワーカが実際には間違っているにも関わらず高い確信度を申告したり、逆に控えめなワーカは正解しているのに低い確信度を申告するかもしれません。また、よく考えずに適当に確信度を申告するワーカが存在する可能性もあります。今回の実験では、ワーカの確信度の平均と正解率の相関関係を調べることで、確信度が真のラベルを推定する際に有用な情報を含んでいることが分かりました。ワーカの申告した自信(確信度)をそのまま信用するのではなく、自己申告の正確さの違いを考慮したモデルを構築した点が最も画期的な部分です」

産学官連携の推進に注力
社会科学、心理学分野の知見にも期待

小山准教授は2012年、東京大学、筑波大学、京都大学、九州大学の研究者とともに「クラウドソーシング研究会」を立ち上げた。コンピュータサイエンスの研究者のみならずクラウドソーシング関連企業も加わり、さまざまな面から研究を行っている。

今後の研究活動については「自分の自信や能力を正直に申告させるインセンティブの研究が重要になってくる」と語り、インセンティブの設計と品質管理の関わりについて、ゲーム理論を専門とする共同研究者と探究中だ。「最も品質の高い作業結果を得るにはどのような報酬設定が適切か、あるいは報酬を変えた時に作業結果の品質がどのように変化するかを予測するといったことを研究してみたいと思います」

また、ヒューマンコンピュテーションやクラウドソーシングには人間が関わってくるため、社会科学や心理学とも関係してくる。例えば、インセンティブの設計は経済学やゲーム理論で扱われてきたし、人間の能力を推定する問題や確信度判断の正確さを測る問題は、これまでも認知心理学や教育心理学で扱われてきた。「境界領域的なテーマなので、コンピュータサイエンスの研究者だけでは解決できない問題が数多くあります。社会科学系、心理学系の知見が活かせる部分もあると思うので、そういう方々との連携を深めていきたいですね。クラウドソーシングに関心はあるがなかなか踏み出せないという企業の方からの相談も受け付けます。私たちの技術が使える部分や協力して解決していく部分など、いろいろ議論できると思います」


解説1 クラウドソーシングとは

クラウドソーシングとは
クラウドソーシングサービスの概念図。インターネットを通して多数の人に容易に仕事を依頼できます。

クラウドソーシング研究会のWebサイト


解説2 クラウドソーシングおける品質管理

クラウドソーシングおける品質管理
クラウドソーシングおける品質管理確信度と実際の正解率の関係。自信過剰な作業者や自信過小な作業者がいるため、品質管理においては作業者の確信度判断の正確さの違いを考慮することが必要です。

人工知能学会での発表原稿