NTCIR-19

NTCIR-19の目的

1997年よりNTCIRプロジェクトでは情報検索、文書要約、情報抽出、質問応答などの情報アクセス技術を促進するための研究活動を推進して参りました。 全体的な目標としては以下の3点を掲げております:

  1. 大規模な情報アクセス技術の評価を可能にする研究基盤の提供
  2. 比較可能な実験結果から得られる知見が相互に共有される研究コミュニティの形成
  3. さまざまな情報アクセス技術の評価方法、および、評価指標の確立

NTCIRにて複数の研究者が協力することで、新しい情報アクセス技術の有効性検証に欠かせない、 大規模なテストコレクションを構築することが可能になります。 また、NTCIRでの協力を通して、研究対象に関する深い洞察が研究者間で共有されることが期待されます。


特にNTCIR-19では情報アクセス技術に関する以下の3つのトピックに重点を置いています:

  1. 検索エージェントのための指示設計(AgenticInstruction)、ライフログコンテンツ検索(Lifelog-7)、事前学習済みモデル検索(ModelRetrieval)、不確実なクエリによる既知アイテム検索(Tip-of-the-Tongue)などの現代的な情報検索タスク
  2. LLM応答の自動評価(AEOLLM-2)、信頼度を考慮したRAG(R2C2)、科学文献における主張検証(SciClaimEval)などの応答評価タスク
  3. eコマース、農業、人間の価値観、金融、医学、コンプライアンスなどの専門分野における深層自然言語処理タスク(CAMEO、DAGRI、FEHU、FinArg-3、HIDDEN-RAD2、MedNLP-CALL、RegCom)

これまでの方向性を継続することに加え、NTCIR-19ではエージェントAIに関連するタスクがさらに追加されています。大規模言語モデルを自律的な情報アクセスエージェントとしてどのように誘導、調整、評価できるかを探究します。
研究活動の促進のため、そして、研究を楽しむためにNTCIRへの参加を検討されているすべての研究グループにとって、 NTCIR-19が実り多き機会となることを心より願っております。

Page Top