情報検索システム評価用テストコレクション構築プロジェクト NTCIRお問合せNII
NTCIR HOMEへ

NTCIR-8 HOMEへ
NTCIR-8 成果報告会
タスクの概要
・タスクの情報
ACLIA
GeoTime
MOAT
PAT-MN
PAT-MT
PILOT TASK
タスク参加方法の説明
データ
重要な日程
参加者用覚書
お問合せ
メイリングリスト
成果報告会論文集
NTCIR HOMEへ

NTCIR-8 コミュニティQA・パイロットタスク

タスク参加者募集

[CFP PDF version]
[English Page]

NTCIR-8では、「Yahoo!知恵袋コーパス ver.2」(約1億件、 100GB)を使ったパイロットタスクを計画しています。

われわれの日常の生活の中で、Yahoo!知恵袋、はてな、教 えてGooなどのコミュニティQAの重要性はますます高まって います。コミュニティQAサイトには、多様な質問がポスト され、回答されています。また、「ベストアンサー」選定 という形で、回答に対するユーザ自身による(ある種の)適 合性判定を大規模に調査することも可能です。

今回、幸いにも、Yahoo! Japan社から、大規模なYahoo! 知恵袋コーパス ver.2を提供いただける運びとなり、それを 用いたパイロットタスクを以下のように企画しています。

  • 1.タスク:
    • A.メインタスク: ベストアンサーの推定
    • B.サブタスク: 質問タイプ分類
  • 2.データセット:

    Yahoo! 知恵袋*コーパス ver.2**。約1億件。約2600万質問とそれに ついての回答データ7600万件、合計およそ100GB。言語は日本語。

    * Yahoo! 知恵袋
    ** Yahoo! 知恵袋コーパス ver.2のプレスリリース

    • A.メインタスク用データ(案):

      - 訓練用データは、上記の99%以上。どの回答がベストアンサー として選定されたかというデータを含みます。

      - テスト用データは、数千件の質問とそれに対する回答データ。 どの回答がベストアンサーとして選定されたかは除外します。

    • B.サブタスク用のデータ(案):

      - 上記のデータに加え、人手で質問タイプを分析した質問と回答 のセットを訓練用データとして、および、テスト結果を評価する ための正解データとして用意します。

  • 3.タスクの概要とポイント:
    • A.メインタスク:

      メインタスクへの参加は原則として必須です。評価では、質問者 自身が選定したベストアンサーを使用する予定です。

    • B.サブタスク:

      コミュニティQAサイトには多様な質問が寄せられます-- 事実を尋ねる質問や特定のWebサイトを探すための質問など 比較的単純なものから、あることがらについてコミュニティ から助言や意見を求めるものや他の人の経験や考えを尋ねる どちらかといえばある種のアンケート的なものまであります。

      ベストアンサー推定や利用者の質問意図研究の精度の向上の ためには、質問タイプの分類が一つの手がかりになると考え られます。そこで、本パイロットタスクでは、質問タイプの 自動分類を評価し、質問タイプ分類のベストアンサー推定 技術への効果を調べようと考えています。

      質問タイプについては、NTCIRから一つの分類体系を提案し、 みなさんとの協議のあと、その体系に従って、人手で分類 した質問データを訓練用とテストの正解データとして作成 します。

      また、参加チームは、独自の分類体系を提案し、それにした がって人手で質問データを分類し、その分類体系がベスト アンサー推定に及ぼす効果を調べたり、他の分類体系による 効果と比較をすることも歓迎します。

  • 4.タスクオーガナイザ・連絡先:

    石川 大介(いしかわ だいすけ)(NII)
    神門 典子(かんど のりこ) (NII)
    Email: ntcadm-yahoo

    議論用のメーリングリスト:
    ntc-yahoo

    タスク設計は、まだ、十分に詳細化していません。タスク設計、 評価指標、質問タイプ分類についての議論に、ぜひ、ご参加 ください。

    そして、この新しいタスクへの参加を、ぜひ、ご検討ください。

  • 5.参加方法:

    議論用メーリングリストへの参加は、 タスクオーガナイザ(石川大介、神門典子)あてに、 ntcadm-yahoo までメールをお送りください。

    参加者としての登録は、 こちら の参加申込みの手引きをご覧ください.

    手引き確認後,よろしければ こちら のオンラインフォームから登録してください。

    その際、フォーム最下部の「パイロットタスク」を選択し、フォー ム中ほどの「システムの説明」ボックスに、「コミュニティQAタスク」 参加希望と記入してください。

みなさまの参加をお待ちしています!

神門典子、石川大介


ntcir project