|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
NTCIR Project提出結果アーカイブ利用手続き・覚書
［English］ |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 分類 | コレクション | タスク | タスクデータ | 提出結果 | ||||||||
| 課題/質問 | 適合判定 | |||||||||||
| 言語 | # | # runs |
# groups |
|||||||||
| ACLIA | NTCIR-7 ACLIA |
CCLQA (Task Overview) |
CCLQA: | QA | C E J |
CS-CS: 100 CT-CT: 100 EN-CS: 100 EN-CT: 100 EN-JA: 100 JA-JA: 100 |
Binary decision *5 | total: 40 CS-CS:14 CT-CT: 3 EN-CS:10 EN-JA:6 JA-JA:7 |
9 | |||
| Question Analysis: | total: 10 CS-CS:6 CT-CT: 0 EN-CS:2 EN-JA:1 JA-JA:1 |
|||||||||||
| IR4QA+ CCLQA |
total: 78(113) CS-CS: 22(42) CT-CT:0 EN-CS: 20(32) EN-JA: 22(11) JA-JA: 14(28) *8 |
|||||||||||
| IR for QA (Task Overview) | IR4QA | IR | CS-CS: 97 CT-CT: 95 EN-CS: 97 EN-CT: 95 EN-JA: 98 JA-JA: 98 |
3段階 | total: 91(93) *9 CS-CS:22 CT-CT: 19 EN-CS: 18(20) *9 EN-CT: 7 EN-JA:11 JA-JA:14 |
12 | ||||||
| NTCIR-8 ACLIA |
CCLQA (Task Overview) | CCLQA | QA | C E J |
CS-CS: CT-CT: EN-CS: EN-CT: EN-JA: JA-JA: 100 for each language pair |
2段階 *5 |
total:19 CS-CS:6 CT-CT:3 EN-CS:1 EN-CT:3 EN-JA:3 JA-JA:3 |
6 | ||||
| Question Analysis: | total:7 CS-CS:3 CT-CT:0 EN-CS:2 EN-CT:0 EN-JA:1 JA-JA:1 |
|||||||||||
| IR4QA+CCLQA | total:21 CS-CS:0 CT-CT:3 EN-CS:0 EN-CT:9 EN-JA:4 JA-JA:5 |
|||||||||||
| IR for QA (Task Overview) | IR4QA | IR | CS-CS: CT-CT: EN-CS: EN-CT: EN-JA: JA-JA: 100* for each language pair *2 |
3段階 | total:84 CS-CS:20 CT-CT:5 EN-CS:28 EN-CT:14 EN-JA:9 JA-JA:8 |
12 | ||||||
| CLIR on News | NTCIR-5 CLIR (Task Overview) |
IR | Ct E J K |
50 *2 |
4段階 | total:379 SLIR:201 BLIR:153 MLIR: 25 |
24 | |||||
| NTCIR-6 CLIR (Task Overview) |
STAGE1 | IR | Ct E J K |
50 (selected from NTCIR-3,4) *2 |
4段階 | total:151 SLIR:94 BLIR: 55 MLIR: 2 |
20 | |||||
| STAGE2 | total:494 *6 SLIR:234 BLIR: 260 |
19 | ||||||||||
| CLQA | NTCIR-5 CLQA (Task Overview) |
QA | C E J |
smpl:300, test:200 *3 |
3段階 *4 |
total: 42(47) CC7(7) CE7(8) EC:8(7) EJ:12(14) JE:8(11) *7 |
13 | |||||
| NTCIR-6 CLQA (Task Overview) |
QA | C E J |
C-E/C-C/E-C/E-E: 150 J-E/J-J/E-J: 200 |
3 grades *4 |
total: 52(41) CC14(13) CE0(1) EC:14(10) EE:3(1) EJ:12(8) JE:1(1) JJ:8(7) *7 |
12 | ||||||
| CQA | NTCIR-8 CQA Test Collection and Task/ System Evaluation (Task Overview) |
answer quality ranking | J | 質問: 1500 回答: 7443 (ベストアンサー + 人手評価) |
2段階 および 4段階 |
10 | 3 | |||||
| INTENT | NTCIR-9 INTENT (Task Overview) (Task Website) |
Subtopic mining | Cs J |
100 for each language | - | Cs: 42 J: 14 *15 |
Cs: 13 J: 5 |
|||||
| Document Ranking | Cs J |
5段階（per Intent) | Cs: 25 J: 18 *15 |
Cs: 7 J: 4 |
||||||||
| One Click | NTCIR-9 1CLICK (Task Oveview) (Task Website) |
One Click Access | J | 60 | 2段階 *5 |
10 (Open: 6 Oracle: 4) |
3 | |||||
| Opinion | NTCIR-6 OPINION (Task Overview) |
IE/ analysis |
Ct | 32 (selected from NTCIR -3,-4,-5 CLIR) |
2 types, 3 metrics |
意見性: 7 適合性: 4 極性: 5 |
5 | |||||
| E | 意見性 :9 適合性: 6 極性: 7 |
6 | ||||||||||
| J | 意見性: 5 適合性: 3 極性: 3 |
3 | ||||||||||
| NTCIR-7 MOAT (Task Overview) |
Cs | 16 | 2 types, 3 metrics |
意見性: 18 適合性: 12 極性: 8 保有者: 12 対象: 5 |
9 | |||||||
| Ct | 17 | 意見性: 15 適合性: 12 極性: 12 保有者: 8 対象: 5 |
7 | |||||||||
| E | 17 | 意見性: 22 適合性: 12 極性: 14 保有者: 4 対象: 2 |
9 | |||||||||
| J | 22 | 意見性: 12 適合性: 6 極性: 8 |
8 | |||||||||
| NTCIR-8 MOAT (Task Overview) |
Cs | 19 | 2 types, 3 metrics |
意見性: 12 適合性: 4 極性: 6 保有者: 8 対象: 6 |
6 | |||||||
| Ct | 20 | 意見性: 15 適合性: 5 極性: 12 保有者: 8 対象: 6 |
7 | |||||||||
| E | 20 | 意見性: 18 適合性: 7 極性: 6 保有者: 3 対象: 2 |
8 | |||||||||
| J | 20 | 意見性: 7 適合性: 4 極性: 4 |
3 | |||||||||
| cross- lingual |
- | 5 | 2 | |||||||||
| Patent | NTCIR-5 PATENT Retrieval/ Classi fication (Task Overview) |
文書検索 | IR |
E J |
1,223 | 4 3 1 段階 |
84 | 10 | ||||
| パッセージ検索 | IR |
356 | 33 | 4 | ||||||||
| 分類 | 分類 | テーマ分類 | 2,008 | 31 | 4 | |||||||
| Fターム分類 | 500 | 18 | 3 | |||||||||
| NTCIR-6 PATENT Retrieval/ Classi fication (Task Overview) |
英語検索 | IR |
E J |
3,221 | 3 | 11 | 5 | |||||
| 日本語検索 | IR |
2,908 | 4 | 22 | 5 | |||||||
| 分類 | 分類 | 21,606 | 1 | 43 | 6 | |||||||
| Patent Mining |
NTCIR-8 PAT-MN (Task Overview) |
Subtask of Research Paper Classifi- cation |
Mining | E | English | 624 | 1 | 24 | 3 | |||
| Cross-lingual (J2E) |
644 | 9 | 1 | |||||||||
| J |
Japanese |
644 |
71 |
4 |
||||||||
| Cross-lingual (E2J) |
624 | 0 | 0 | |||||||||
| Subtask of Technical Trend Map Creation | Mining | E | English | 1000 | 1 | 13 | 4 | |||||
| J | Japanese | 1000 |
27 |
5 |
||||||||
| Patent Tranlation |
NTCIR-7 PAT-MT (Task Overview) |
Intrinsic | MT | E | 1381文*11 | E J |
訓練データ: 1,798,571 文対 |
- | EJ: 24 JE: 34 |
15 | ||
| J | 1381文 *12 |
- | ||||||||||
| Extrinsic | E | 124請求項 | 3段階 | 20 | 12 | |||||||
| NTCIR-8 PAT-MT (Task Overview) (Translation Subtask) |
Intrinsic | MT | E | 1119 文 *13 |
E J |
訓練データ: 3,186,284 文対 |
- | EJ: 22 | 6 | |||
| J | 1251文 *14 |
- | JE: 21 | 7 | ||||||||
| Extrinsic | E | 91請求項 | 3段階 | EJ: 11 | 6 | |||||||
| NTCIR-9 PatentMT (Task Overview) (Task Website) |
C to E | MT | C | 2000 文 *16 |
C-E | 訓練データ: 約100万文対 |
- | 74 | 18 | |||
| E to J | E | 2000 文 *17 |
E-J | 訓練データ: 3,186,284 文対 |
27 | 9 | ||||||
| J to E | J | 2000 文 *18 |
29 | 12 | ||||||||
| RITE | NTCIR-9 RITE (Task Overview) (Task Website) |
Binary-class | Recognizing Textual Entailment | Cs Ct J |
Cs: 407 Ct: 900 J: 500 *19 |
2種類 (Y/N) |
Cs: 31 Ct: 22 J: 24 |
Cs: 12 Ct: 9 J: 8 |
||||
| Multi-class | Cs Ct J |
Cs: 407 Ct: 900 J: 440 *20 |
5種類 （F/R/B/C/I) |
Cs: 27 Ct: 22 J: 10 |
Cs: 11 Ct: 9 J: 4 |
|||||||
| RITE4QA | Cs Ct J |
Cs: 682 Ct: 682 J: 964 |
2種類 (Y/N) |
Cs: 17 Ct: 16 J: 13 |
Cs: 7 Ct: 6 J: 5 |
|||||||
| Entrance Exam | J | 442 *21 |
2種類 (Y/N) |
16 | 6 | |||||||
| SpokenDoc | NTCIR-9 SpokenDoc (Task Overview) (Task Website) |
Spoken Term Detection | IR for Spoken Documents | J | CORE: 50 query terns ALL: 50 query terns |
- | CORE: 13 ALL: 5 |
CORE:7 ALL: 2 |
||||
| Spoken Document Retrieval | 86 query topics | 2段階 | Lecture Retrieval: 11 Passage Retrieval: 10 |
6Lecture Retrieval: 4 Passage Retrieval: 3 |
||||||||
| WEB | NTCIR-5 WEB (Task Overview) |
IR | J *1 | 269+847 | 3段階 | 44 | 6 | |||||
C:中国語 (Ct:繁体字 Cs: 簡体字） E:英語 J:日本語 K:韓国語
*1: 英訳あり
*2: 該当する適合文書が十分存在しないため、フォーマルランではいくつかのトピックを除外
*3: 中国語文書に対して300+200質問、日本語・英語文書に対して300+200質問
*4: Right, Unsupported, Wrong
*5: ナゲットの含有
*6: NTCIR-3テストコレクションに対する提出結果:162, NTCIR-4に対して:166, NTCIR-5に対して:166
*7: official runs (unofficial runs)
*8: obligatory runs (optional runs)
*9: One team submitted seven EN-CS runs but the sixth and the seventh runs
were not used for pooling and are excluded from the analyses.
*10: gakkai サブファイル: 1997-1999 kakenサブファイル: 1986-1997
*11: 参照訳(J)：1381文, 人手判定: 100文 ×5システム ×3判定者
*12: 参照訳(E): 1381文+300文×2 判定者, 人手判定: 100文 ×15システム ×3判定者
*13: 参照訳(J)：1119文
*14: 参照訳(E)：1251文+300文×3 翻訳者
*15: 提出結果（日本語）の一部は、公式の評価結果のためのプールに含まれませんでした。詳細はこちら。
*16: 参照訳(E): 2000文, 人手判定: 100文 ×(adequacy: 23システム, acceptabiity: 13システム) ×3判定者,
開発データ(C-E): 2000文対
*17: 参照訳(J): 2000文, 人手判定: 100文 ×(adequacy:17システム, acceptabiity: 11システム) ×3判定者, 開発データ(E-J): 2000文対
*18: 参照訳(E): 2000文, 人手判定: 100文 ×(adequacy: 19システム, acceptabiity: 14システム) ×3判定者, 開発データ(J-E): 2000文対
*19: Cs: 開発データ 407文対, テストデータ 407文対, Ct: 開発データ 421文対, テストデータ 900文対, J: 開発データ 500文対,
テストデータ 500文対
*20: Cs: 開発データ 407文対, テストデータ 407文対, Ct: 開発データ 421文対, テストデータ 900文対, J: 開発データ 440文対,
テストデータ 440文対
*21: 開発データ 449文対, テストデータ 442文対
提出結果アーカイブの研究目的利用-提出結果アーカイブの利用を希望される場合は、まず利用申込書をご記入の上、E-mailで、 ntc-secretariat
宛 ご送付ください。特にデータの利用目的については、覚書(例）の内容を参照の上、具体的・詳細に利用申込書にご記入ください。ご不明の点や特段のご要望がございましたら、NTCIRプロジェクトリーダー神門典子ntc-adminまでご相談ください。
申込み方法 --- 提出結果アーカイブの申込み方法は次の通りです。
NIIから配布するものはいずれも無料です。
「覚書」送付先
- まず、「提出結果アーカイブ利用申込書」をもれなく記入の上、E-mailで、 ntc-secretariat
- NIIにおける審査によって利用が承認されましたら、ご連絡を差し上げますので、利用許諾に関する「覚書」を郵送にて、下記の住所にご送付ください。詳細は審査承認後にご連絡いたします。
〒101-8430
東京都千代田区一ツ橋2-1-2
国立情報学研究所
NTCIR事務局 (1309号室) 宛
Phone: 03-4212-2750
FAX: 03-4212-2751
研究活動報告/発表論文報告
提出結果アーカイブ利用者は、「研究活動報告書」の提出と「発表論文報告」をしてください。
「研究活動報告書」は、覚書有効期限の一ヶ月前までに、E-mailで、 ntc-report
宛 に送付してください。「発表論文」の報告は、論文発表の都度、「NTCIR関連発表論文報告ページ」をご参照の上ntc-secretariat
宛 に送付してください。メーリングリスト
新しいテストコレクションの公開等は、NTCIR
より e-mail にてお知らせします。ご関心のあるかたは、NTCIR mailing list （「NTCIR一般メイリングリスト」） にご登録ください。
現在進行中のNTCIR ワークショップについては、こちらを御覧下さい。
http://research.nii.ac.jp/ntcir/workshop/index-ja.html
[NTCIR home] [Test Collection]
Last modified:2015-12-07
ntc-admin