QALab PoliInfo2

NTCIR-15 QA Lab-PoliInfo-2 では、政治課題を解決する上で適切な情報を提示することを目的とした、3つのタスク(Stance Classification task, Dialog Summarization task, Entity Linking task)を行います。

Tasks

NTCIR15 QA Lab-PoliInfo2 では、議会会議録を用いて、3つのタスクを設計しました。図に議会会議録と3つのタスクの関係を示します。 2020年3月18日NLP2020 F3-2 「NTCIR-15 QA Lab-PoliInfo2 のタスク設計」(発表スライドPDF)  

Stance classification task

Stance classification taskは、政治家の発言から、政治家の立場を推定することを目的としています。 PoliInfo2 では、東京都議会における議員の発言を対象として、会派の各議案に対する賛成・反対の立場を推定します。 入力は、都議会会議録(定例会/委員会)、出題ファイル(発言者の会派、会派に対する賛否を埋める欄などが含まれる)であり、出力は、各議案に対する会派の立場(賛成 or 反対)です。

Dialog summarization task

Dialog summarization taskは、地方議会における対話の構造を考慮しながら、自動要約することを目的としています。 PoliInfo2 では、対話の構造として、議会における「議員の質問」と「知事側の答弁」の対話構造を踏まえつつ、自動要約を行います。 入力は、都議会会議録(定例会)と出題ファイル(発言者名、要約文字数など)であり、出力は人手で作成された「都議会だより」と同じ構造の要約結果です。

Entity linking task

Entity linking task は、政治家の発言に含まれる政治用語を対象として、表記揺れや曖昧性の問題を解決しながら、発言の根拠となる記事や一次情報と結びつけることを目的としています。 PoliInfo2 では、政治用語の一つである「法律名」の Entity linking を行います。 入力は、議員の発言であり、出力は、「法律名」のメンション抽出と、そのメンションと法律名リスト、あるいは、Wikipediaと結びつけることです。

Leader board

Dialog Summarization task

ID Team Name Comment JSON Datetime ROUGE-1-R
内容語のマクロ平均

Stance Classification task

ID Team Name Comment JSON Datetime Accuracy
120 rnyk フォーマットエラーに対応するため 2020-05-27 09:04:01 0.9493
124 wer99 会議録をルールベースで処理して使用、処理時のバグを修正 2020-05-27 18:44:17 0.9416
125 akbl 定例会の議事録のみをルールベース上で使用 2020-06-03 22:03:39 0.9467

Entity Linking task

ID Team Name Comment JSON Datetime End to End
(メンション抽出+曖昧性解消)のF値
108 HUHKA download 2020-05-13 16:24:12 0.4049

Schedule

2019年 09月09日 オーガナイザーミーティング@ 福岡大学
2019年 09月30日 NTCIR-15 キックオフイベント (NII, 東京)
2019年10月18日(金) 第一回説明会 @NII
2019年12月10日(火) 第二回説明会 @NII
2019年12月15日 タスク参加登録開始
2020年 02月15日 データセット配布開始*
2020年 03月16日 開催中止 第三回説明会 13:00-13:45 @茨城大学水戸キャンパス NLP2020会場
2019年 04月23日 第1回オンライン説明会
2019年 04月30日 タスク参加登録締切 7月12日まで延長
2020年 05月07日 Dry Run 開始 ※目的:参加者からエラーを報告してもらう
2019年 05月27日 第2回オンライン説明会
2020年 06月30日 Dry Run 終了 ※目的:参加者からエラーを報告してもらう
2020年 07月01-12日 Leader Boardの一時停止期間(データの修正期間)
2019年 07月12日 タスク参加登録締切
2020年 07月13日 本テスト開始
2020年 07月31日 本テスト終了
2020年 08月01日 - 07日 参加者による評価期間
2020年 08月08日 - 14日 評価結果の集計期間
2020年 08月15日 評価結果の参加者への返送
2020年 08月下旬 第四回説明会(報告会)
2020年 09月01日 タスク概要論文一部公開
2020年 09月--日 NTCIR-15タスク参加者論文(ドラフト) 提出締切
2020年11月01日 NTCIR-15タスク参加者論文・タスク概要論文 提出最終締切
2020年12月9-11日 NTCIR-15 カンファレンス & EVIA 2020 (NII, 東京)

Team

Organizers

Kenichi Yokote
HITACH
Keiichi Takamaru
Utsunomiya Kyowa University, Japan
Yuzu Uchida
Hokkai-Gakuen University, Japan
Hokuto Ototake
Fukuoka University, Japan
Hideyuki Shibuki
National Institute of Informatics, Japan
Sasaki Minoru
Ibaraki University
Yasuhiro Ogawa
Nagoya University
Akiba Tomoyoshi
Toyohashi University of Technology
Yoshioka Masaharu
Hokkaido University
Teruko Mitamura
Carnegie Mellon University, USA
Madoka Ishioroshi
National Institute of Informatics, Japan
Yasutomo Kimura
Otaru University of Commerce

Adviser

Satoshi Sekine
RIKEN
Noriko Kando
National Institute of Informatics
Kenji Araki
Hokkaido University
Tatsunori Mori
YOKOHAMA National University