NTCIR-14 QA Lab-PoliInfo (Question Answering Lab for Political Information)
QA Lab-PoliInfo has the following tasks:
- Segmentation task
- Summarization task
- Classification task
- aims to find primary information corresponding to the given secondary information.
- aims to generate brief texts considering argument structure such as questions and answers.
- aims to find pros and cons of a political topic and present their fact-checkable reasons.
Reference
When you use the test collection, please refer to the following paper:Yasutomo Kimura1, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine and Kentaro Inui: Overview of the NTCIR-14 QA Lab-PoliInfo Task, In Proceedings of the 14th NTCIR Conference on Evaluation of Information Access Technologies (NTCIR-14), pp. 289-315, 2019. [PDF]
Dry run | Formal run | |||||
---|---|---|---|---|---|---|
Dataset | Segmentation | Summarization | Classification | Segmentation | Summarization | Classification |
Training | 67 set | 67 set | 344 set | 298 set | 598 set | 10201 set |
Test | 50 set | 50 set | 344 set | 83 set | 146 set | 3412 set |
[
{
"ID":"Segmentation-2018-JA-FormalSample-00001",
"Prefecture":"東京都",
"Date":"23-6-23",
"Meeting":"平成23年_第2回定例会",
"MainTopic":"東京の防災力向上は待ったなし<br>被災地復興には総合的取組を",
"SubTopic":"都政運営",
"QuestionSpeaker":"村上英子(自民党)",
"QuestionSummary":"〔1〕国難のもとにおける東京の役割について所見を。〔2〕「10年後の東京」計画改定の視点は。〔3〕都民への責任果たし得る財政運営を。〔4〕被災地復興支援と首都東京の防災力向上に今後どう取り組むのか、所見を。",
"AnswerSpeaker":"知事本局長",
"AnswerSummary":" 〔2〕高度防災機能備えた都市へ取組強化等で安全・安心社会をつくり、節電意識徹底等で環境と経済が両立した都市実現等。",
"QuestionStartingLine":763,
"QuestionEndingLine":793,
"AnswerStartingLine":1240,
"AnswerEndingLine":1243
}
]
[
{
"ID":"Summarization-2018-JA-FormalSample-00001",
"Prefecture":"東京都",
"Date":"23-6-23",
"Meeting":"平成23年_第2回定例会",
"Speaker":"村上英子(自民党)",
"MainTopic":"東京の防災力向上は待ったなし<br>被災地復興には総合的取組を",
"SubTopic":"都政運営",
"StartingLine":763,
"EndingLine":793,
"Summary":"〔1〕国難のもとにおける東京の役割について所見を。〔2〕「10年後の東京」計画改定の視点は。〔3〕都民への責任果たし得る財政運営を。〔4〕被災地復興支援と首都東京の防災力向上に今後どう取り組むのか、所見を。",
"Length":"150字以内",
"Source":"初めに、東日本大震災で亡くなられた方々のご冥福を心からお祈り申し上げ、被災された皆様にお見舞いを申し上げます。\\n改めて申し上げるまでもなく、政治の役割は、国民の生命、財産を守り、その生涯を安全に安心して暮らせるようにすることです。\\n未曾有の大震災にあって、我が都議会自由民主党は、一日も早い復旧、復興に全力を尽くしてまいります。\\n今回の大震災は、東北地方だけではなく、東日本全体に甚大な被害をもたらしました。\\nこうした事態にあって、菅政権の対応は、誤った政治主導により後手後手に回っており、極めて遺憾としかいいようがありません。\\n瓦れき撤去がおくれ、義援金も行き渡らない国とは対照的に、東京は、まさに獅子奮迅の働きをしています。\\nハイパーレスキュー隊の活躍で、日本は救われました。\\n警察官が大切なご遺体を遺族にお返しするために、捜索活動を今なお続けていることに深く敬意をあらわします。\\n都民から多大な義援物資、義援金も集まり、多くのボランティアが活躍しています。\\n避難を余儀なくされた被災者の方々を受け入れ、地域ぐるみで応援しています。\\nまさに国家にも匹敵する物的、人的な支援であり、これぞ首都であると思います。\\n知事に、国難のもとにおける東京の役割について、所見をお伺いいたします。\\n我々は、科学技術によって自然を従え、暑さ寒さをしのぎ、便利で快適な生活を当然と思ってきました。\\nしかし、電気がとまればすべてがとまって身動きができなくなった今回の事態に、かの物理学者、寺田寅彦が書いた「天災と国防」という論文の一節、文明が進めば進むほど、天然の暴威による災害が激烈の度を増すという一文が思い出されます。\\n大都市ほど、災害対策を、あらゆる角度から徹底してやらなければならないというのが、大きな教訓であると思います。\\n東京の弱点を徹底補強しなければ、首都として日本を牽引し続けることはできません。\\n先般、公表された都政運営の新たな戦略では、中長期的な都政運営の道筋を明らかにするため、「十年後の東京」計画を改定することが示されました。\\nどのような視点を持って改定に当たるのかお伺いいたします。\\n次に、財政運営について伺います。\\n今般の大震災は、都政を取り巻く環境に根本的な変化をもたらしました。\\nこのような中、今回、都は速やかに緊急対策を取りまとめ、震災からの本格的な復興に向けた一歩を歩み出しました。\\n財源探しに終始し、なかなか本格的な復興に向けた道筋を示すことができない国とは極めて対照的です。\\nしかしながら、首都東京を高度の防災機能を備えた都市としていくためには、中長期にわたる継続的な取り組みが必要であり、今後、これらの事業が本格化すれば、相当規模の財政支出が見込まれると考えます。\\n一方で、今回の震災による経済活動への影響が、歳入の根幹である都税収入の動向に今後どのように及ぶのか、注視していく必要があります。\\nまた、昨今の国における税制の抜本改革の検討の中では、都がこれまで繰り返し主張してきた法人事業税の暫定措置撤廃については、議論すらなされておらず、これに対しても都は強く主張していく必要があります。\\nこのように、都財政を取り巻く環境が大きく変化する中にあっても、今般取りまとめた緊急対策を着実に実行するとともに、今後も引き続き、都民に対する責任を果たし得る財政運営を図っていくべきと考えますが、所見を伺います。\\n次に、被災地の復興支援と首都東京の防災対策について伺います。\\n被災地の一刻も早い復旧、復興は、まさに国を挙げて取り組むべき課題であり、首都である東京は、全国からの支援の先頭に立ってさまざまな取り組みを行うことが求められています。\\n一方、都内でも、帰宅困難者の発生といった直接的な被害に加え、計画停電による生産活動の制約、雇用や景気の悪化など連鎖的な被害も生じています。\\n一千三百万都民の安全・安心の確保はもとより、日本全体への影響の大きさを考えると、東京の防災力向上は待ったなしです。\\nそこで、今回の大震災が突きつけた被災地の復興支援と首都東京の防災力向上という二つの課題に、今後どのように取り組むのか、知事の所見をお伺いいたします。\\n"
}
]
[
{
"ID":"Classification-2018-JA-FormalSample-00001",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"豊洲は、新市場移転により千客万来施設ができるなど、今後、観光客の集客が大いに期待できるエリアであります。",
"Relevance":1,"Fact-checkability":1,"Stance":1,"Class":1
},
{
"ID":"Classification-2018-JA-FormalSample-00002",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。",
"Relevance":1,"Fact-checkability":1,"Stance":2,"Class":2
},
{
"ID":"Classification-2018-JA-FormalSample-00003",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"新銀行東京や築地市場の移転問題は非の立場です。",
"Relevance":1,"Fact-checkability":0,"Stance":2,"Class":0
},
{
"ID":"Classification-2018-JA-FormalSample-00004",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"このような中、東京都はこの八月三十日に、豊洲の土壌汚染対策工事として、ゼネコン系の三つのJVと合計約五百四十二億円の契約を交わしています。",
"Relevance":0,"Fact-checkability":1,"Stance":0,"Class":0
},
{
"ID":"Classification-2018-JA-FormalSample-00005",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"豊洲新市場への移転を希望する事業者の不安を払拭すべく、移転資金や運転資金、移転後の新たな事業展開に必要な資金の手当てなど、経営支援策を講じてまいります。",
"Relevance":1,"Fact-checkability":0,"Stance":0,"Class":0
},
{
"ID":"Classification-2018-JA-FormalSample-00006",
"Topic":"築地市場を豊洲に移転するべきである",
"Utterance":"お正月五日の築地の初競りで史上最高となる一億五千五百四十万で落札された大間マグロはブランド化成功の代表例であります",
"Relevance":0,"Fact-checkability":0,"Stance":0,"Class":0
}
]
The test collection and data are available from the following site:
Reference
- The terms of use [PDF]
- NTCIR-14 QA Lab-PoliInfo Task Overview : Overview of the NTCIR-14 QA Lab-PoliInfo Task [PDF]
- NTCIR-14 QA Lab-PoliInfo website
Contact us: ntc-secretariat