タスク概要・参加者募集

第14回 NTCIR (2017 - 2019)
情報アクセス技術研究のためのテストベッドとコミュニティ
カンファレンス: 2019年6月10日(月)~13日(木) 東京 学術総合センター


NTCIR-14 タスク参加のご案内:

Call for Participation [Flyer]

参加申込の手引き

情報アクセス技術向上のための協同的な取り組みに参加してみませんか?

第14回目のNTCIR、NTCIR-14では、共通のデータセットを用いて研究するタスクへの参加チームを募集中です。
情報アクセス技術の評価には、研究者の協同作業の結果として作成される「テストコレクション」に基づく評価が欠かせません。NTCIRは、数多くの研究者の協力の下で、その評価基盤の形成に過去15年以上に渡って取り組み、技術の発展に貢献してきました。そして日々開発される新しい技術に対する評価手法を模索しつつ、活動を進めております。
情報アクセス分野の学生や若手研究者のみなさん,先生方,企業で研究をなさっている方,または情報学に興味のある方々,大規模なテストコレクションを用いた検索、質問応答、自然言語処理に
関心のある研究グループは、どなたでも歓迎します。 どうぞ、奮ってご参加ください。

参加登録はこちらをご覧ください:http://research.nii.ac.jp/ntcir/ntcir-14/howto-ja.html

NTCIRについて

評価タスク

第14回NTCIR(NTCIR-14)タスク選考委員会は、以下の5つのコアタスクと2つのパイロットタスクを選定しました。
タスク紹介スライド(キックオフイベント)を下記のページからご覧いただけます:
タスク紹介スライド(キックオフイベント): http://research.nii.ac.jp/ntcir/ntcir-14/kickoff-ja.html
タスクの詳細・最新情報について、下記のタスク概要および各タスクのウェブサイトをご覧ください。

Lifelog-3    OpenLiveQ-2    QALab-PoliInfo    STC-3    WWW-2    CENTRE    FinNumNEW    

コアタスク

Lifelog Serach Task ("Lifelog-3")

Website: http://ntcir-lifelog.computing.dcu.ie/

PAGE TOP


Open Live Test for Question Retrieval ("OpenLiveQ-2")

"Yahoo!知恵袋の実サービス環境にて評価が行われる質問検索タスク"

Abstract:
Open Live Test for Question Retrieval (OpenLiveQ-2)タスクでは,質問検索システムの評価のために,ヤフー株式会社のコミュニティQ&Aサービスにおけるオープンライブテスト環境を提供します.このタスクでは,より現実的なシステム評価を行う機会を提供し,実検索サービスに特有の問題(e.g. クエリの曖昧性・不明瞭性,多様な適合性基準)に取り組むことを支援します.「クエリと回答付き質問集合が与えられたときに順位付きの質問リストを返す」タスクとなっています.

Website: http://www.openliveq.net/
Contact:

PAGE TOP


Question Answering Lab for Political Information ("QALab-PoliInfo")

"フェイクニュースなどを対象とした地方議会会議録を用いた質問応答タスク"

Abstract:
QALab-PoliInfo(Question Answering Lab for Political Information)タスクでは、現実世界における様々な課題を対象とした質問応答の実現を目指している。近年のフェイクニュースの問題に対して、地方議会会議録を用いて、議員の意見とその文脈(根拠、条件、例示など)を提示する。

Website: https://poliinfo.github.io/
Contact: qalab-admin

PAGE TOP


Short Text Conversation("STC-3")

"Emotional Conversation Generation, Dialogue Quality, and Nugget Detection subtasks using Chinese and English dialogue data"

Abstract:
Following the success of NTCIR-13 STC-2 which attracted 27 research teams, the NTCIR-14 Short Text Conversation Task (STC-3) offers three new subtasks: Chinese Emotional Conversation Generation (CECG), Dialogue Quality (for Chinese and English), and Nugget Detection (for Chinese and English) subtasks. CECG: given a Chinese Weibo post and an emotion category (e.g., anger, disgust, happiness), return an appropriate response that matches the category. Dialogue Quality: given a helpdesk-customer dialogue, estimate the distribution of overall subjective scores (e.g. customer satisfaction, task accomplishment) as rated by multiple assessors. Nugget Detection: given a helpdesk-customer dialogue, estimate, for each utterance, the distribution of multiple assessors' labels over pre-defined classes (e.g. Not-A-Nugget, Regular Nugget, Trigger Nugget, Goal Nugget). A nugget is an utterance that helps the customer advance towards the Problem Solved state.

Website:
http://sakailab.com/ntcir14stc3/
Contact:

PAGE TOP


We Want Web-2 ("WWW-2")

"Ad hoc web search"

Abstract:
NTCIR We Want Web is a classical ad-hoc search task. In this round of WWW, for the Chinese subtask, we will provide an amazing dataset named as Sogou-QCL, which contains weak relevance labels for millions of query-doc pairs. For more information, please visit our website.

Website: http://www.thuir.cn/ntcirwww2
Contact:

PAGE TOP



パイロットタスク

CLEF/NTCIR/TREC REproducibility ("CENTRE")

"Can we replicate/reproduce best practices from CLEF and/or TREC?"

Abstract:
This is a collaboration across CLEF, NTCIR, and TREC. At NTCIR, participants will try to replicate/reproduce best practices from CLEF and/or TREC. At CLEF, participants will try to replicate/reproduce those from NTCIR and/or TREC, and so on. We want improvements that generalise and add up. This task welcomes researchers and students who are interested in ad hoc IR and web search.

Website: http://www.centre-eval.org/ntcir14/
Contact:

PAGE TOP


Fine-Grained Numeral Understanding in Financial Tweet ("FinNum")NEW

"Fine-grained numeral understanding in financial social media data"

Abstract:
Numeral is the crucial part of financial documents. In order to understand the detail of opinions in financial documents, we should not only analyze the text, but also need to assay the numeric information in depth. Because of the informal writing style, analyzing social media data is more challenging than analyzing news and official documents. FinNum is a task for fine-grained numeral understanding in financial social media data - to identify the category of a numeral. For the purpose of understanding the fine-grained numeric information in social media data, we provide the taxonomy for numerals, and classify numerals into 7 categories and further extend several categories into subcategories. Especially, the most important category, Monetary, is categorized into 8 subcategories.

Website: http://nlpfin.com
Contact:

PAGE TOP



Last modified: 2018-07-19