NTCIR Workshop 3 テキスト自動要約タスク
Text Summarization Challenge2 (TSC)

第3回NTCIRworkshopは 終了しました

最新のNTCIRworkshopは をご覧下さい

last update August 1, 2001

オーガナイザ (アルファベット順)

福島孝博(追手門学院大学 文学部)

難波英嗣(日本学術振興会 特別研究員)

奥村 学(東京工業大学 精密工学研究所)

連絡先: TSC実行委員会(tsc-adm)

使用文書

毎日新聞９８, ９９年版

タスク概要と評価法

タスクは、以下の課題A, Bで構成される。

[課題A: single]

要約対象となるテキストと，要約の長さが与えられ，参加者は，それを元に要
約をplain textで作成し提出する．

[課題B: multi]

いくつかの種類のテキスト集合を対象とし，それらのテキスト集合の要約を
plain textで作成し提出する．この際，テキスト集合を用意するのに用いた情
報(クエリ等)および要約の長さも合わせて，システムに与える．


評価方法は，課題A, Bともに共通で，人間の評価者に，原文および，人間の要
約，システムの要約，ベースラインシステムの要約の4つを提示し，原文の重
要な内容をどの程度要約がカバーしているか，要約の読み易さの2つの評価基
準で，要約を順序付けてもらう主観評価と，内容，可読性に関して，システム
の要約を評価者に添削してもらい，その度合を指標とする「システムの要約に
対する修正の度合」の2つを用いる．

TSCのＷＷＷサイト

TSCのタスクの内容など最新の情報については， http://lr-www.pi.titech.ac.jp/tsc/　を参照されたい．