より効果的な論文執筆を目指してー査読者の視点に立った論文執筆ー

より効果的な論文執筆を目指して
ー査読者の視点に立った論文執筆ー
東北大学大学院情報科学研究科
鈴木潤
2023.03.04
https://onsite.gakkai-web.net/ipsj/abstract/html/event/B-4.html
情報処理学会第85回全国大会 13:20-14:10
セッション：論文必勝法基調講演

情報処理学会第85回全国大会セッション：論文必勝法基調講演 ||| より効果的な論文執筆を目指してー査読者の視点に立った論文執筆ー ||| 2023.03.04
本講演の目的
l 論文執筆に対する (よくある) 気持ち
l ツライ，時間がかかる，“タイパ”悪い
=> 正直，自分 (著者) にとっては全てわかっているこ
とをまとめるのは楽しくない?
l 論文執筆負荷を低減したい
l 知見の共有
l ポイントをおさえて効率向上
(今回の講演では)
! 主に査読者との「対話」に関する話題を中心に

本講演の目的
l 試験に向けては試験対策をしますよね？
l 合格するまで何度も試験を受ける => 効率が悪い
l 過去問を解く
l 合格に向けた/良い点を取る方法を学ぶ
e.g., 大学受験, 資格試験，就活の筆記試験など
! 本講演の立ち位置
（少し別の観点で．．．）

本講演の目的
l 試験に向けては試験対策をしますよね？
l 合格するまで何度も試験を受ける => 効率が悪い
l 過去問を解く
l 合格に向けた/良い点を取る方法を学ぶ
l 可能な限り効率的に
=> 敢えて試験対策と考える
e.g., 大学受験, 資格試験，就活の筆記試験など
! 本講演の立ち位置
（少し別の観点で．．．）

想定聴衆
l 対象
l これから論文を投稿していきたいと思っている人
l 既に投稿 (and 採録) しているが査読プロセスの全
体像があまり把握できていない人
l さらに効率よく論文を書きたいと思っている人
l 学生や若手の論文執筆指導の参考情報が欲しい人
l 対象外
l 何度も「採録あり」な人
l 何度も査読者になっている人
l 何度も「採録あり」な人が身近（共著者）にいる人
l 論文を投稿することに興味がない人

自己紹介
l 名前：鈴木潤
日本電信電話株式会社
コミュニケーション科学基礎研究所（京都）
東北大学大学院情報科学研究科
東北大学データ駆動科学・AI教育研究センター
大学院情報科学研究科
人工知能基礎学講座 (協力講座) 教授
l 2001.4-2018.3
l 2018.4-2020.6
l 2020.7- 現在
専門分野：人工知能，機械学習，自然言語処理
Google LLC (Visiting Researcher)
l 2020.4-2022.04
l 主に言語 (記号) データに適した機械学習 (深層学習を含む) に関して
新しい学習方式を構築する研究に従事
l 大規模データに対する機械学習法を考案するのが好き (モデル圧縮/
高速化などの効率性の向上なども含む)
l 最近は生成系AIに関するタスク (機械翻訳，文章構成，文書要約，対
話) を題材とすることが多い

[余談] 他にもっと適切な人がいるよね?? 話
l おまえだれ？しらんけど
=> もっとめちゃめちゃ論文通しまくっ
ている人の話が聞きたい!!

l おまえだれ？しらんけど
l ちょうどよい
l あまりに「できる人」すぎると方法を真似できない
l 試行錯誤しながらやっているレベルの人の話がのほ
うがお役立ち情報が多い (と思う)
l 論文の査読経験が多い
=> もっとめちゃめちゃ論文通しまくっ
ている人の話が聞きたい!!

l じつは，情報処理学会の論文誌の査読はほとん
どしたことないんですよね．．．?!!!
=> アカンですやん．．．

l じつは，情報処理学会の論文誌の査読はほとん
どしたことないんですよね．．．?!!!
l 国際会議や海外論文誌の査読は経験豊富
l 論文誌 Computational Linguistics 編集委員
l (ACL Rolling Review EiC team)
l 国際会議 reviewer / area chair
• 毎年 ACL, EMNLP, AAAI, IJCAI, NeurIPS, ICML, ICLR
• Area chair (meta-reviewer) 合計10回以上
l IEEE / ACM 系の論文誌
=> アカンですやん．．．

[参考]
l (似た内容で) 5回目の講演．．．
l 今回は「査読者とのやり取り」に特化
l 現状分析 / 研究の見つけ方などは以下を参考
2019.8.26
NLP若手の会
YANS2019 招待講演
2019.11.15
第4回統計・機械学習
若手シンポジウム
2019.11.23
IJCAI2020に向けた論
文書き方セミナー
https://www.slideshare.net/JunSuzuki21/
2020.06.10
JSAI-2020 チュートリ
アル講演

[参考] 一応のお断り
l 良い研究国際会議/論文誌に採録される研究
l 採録されていなくても良い研究はたくさんある
l 採録されることが研究の真の目的ではない
ただし．．．
l 伝えなければどんなに良い研究をしても存在し
ないものと同じ

概要
l 導入：
l [事実確認] 査読プロセス
l [分析] 査読者の気持ち
l [考え方紹介] 論文執筆の基本方針
l [テクニック紹介] 査読者からの照会対応 /
Author response の取り組み方

典型的な論文査読手順 [論文誌]
l [著者] 論文投稿
l [EiC] Editorの決定
l [Editor] 査読者の決定
l [査読者] 査読
l [Editor] 採否判定
l (条件付き採録/再投稿)
l [著者] 論文修正/回答書作成/投稿
l [査読者] 再査読/回答書の内容精査
l [Editor] 採否判定
l [EiC] 最終決定
・登場人物
[著者] 論文を{書いた/投稿した}人
[査読者] 投稿した論文を読んで審査す
る人
2, 3人程度が割り当てられる
[Editor]査読者の査読結果から採否を
判断条件付き採録の時に査読
者の出した採録条件から最終的
な採録条件を決定
[EiC] 採録/返戻時に最終的な決定を下
す機関

典型的な論文査読手順 [国際会議]
l [著者] 論文投稿
l [PC] 分野 (Area Chair) 毎に論文割り振り
l [査読者] Bidding
l [PC] 査読者に論文割り振り
l [査読者] 査読
l [著者] Author response / Rebuttal
l [査読者,AC] 議論
l [AC] 論文の一次評価 / ランキング
l [PC] 最終決定
・登場人物
[著者] 論文を{書いた/投稿した}人
[査読者] 投稿した論文を読んで審
査する人
一本の論文に最低3人程度が
割り当てられる
一人の査読者に3〜10本程度
が割り当てられる
[AC] 同一分野の論文に対して査読
結果をみて一次評価をする人
/査読者のまとめ役
一人のACに数十本の論文が
割り当てられる
[PC] 論文の最終的な採否を決定る
する人
2，3人

査読プロセス
l 著者と査読者の対話?
l 著者と査読者のディベートバトル?

査読時に査読者がすること
l コメントを書く
l [Summary]
l [STRENGTH / REASON to ACCEPT]
l [WEAKNESS / REASON to REJECT]
l [QUESTIONS FOR THE AUTHORS]
l 採否の判定基準を選択
l 論文誌：採録，条件付き採録，返戻 (再投稿推奨/推
奨なし)
l 国際会議：スコア付け

査読の現状分析
l 査読にかかる時間的コスト高
l First review: 真面目にやると1論文に最低でも1日
• 参考文献の精査
• Weaknessや質問の根拠を用意
l Rebuttal対応: 終了まで断続的にコスト発生
• Discussionのための根拠さがし
l 基本無償（ボランティア）
l コスパ最低ランク
l 回答期日が決まっている
l 特に国際会議論文の査読期間は短い

査読の現状分析
l 査読者の気持ち
l [一般論] 時間かかる/ 報酬ない
l 稀にキレられて精神的ショックをうけたりする
l 締切ツライ
! 積極的に頑張る気持ちは薄い (と思っておく)
[参考] http://stats.aclrollingreview.org/iterations/2021/november/

査読の真実?
l 実は不採録の条件を出す方が査読は大変
=> (逆に言うと) 採録にするのは超簡単!?
l 採録のコメント例：
• めっちゃいいですね〜
(以上)
l 不採録のコメント例：
• 提案法は文献xxの方法と
同じと見なせる [根拠]
• 実験条件が公平ではない
[根拠]
• 数式の導出が間違ってい
て信頼性に欠ける [根拠]

[余談] なぜ沢山査読しまくっていたか ??
l 自分なりの試験対策
l 当時は試験対策を教えてくれる人がいなかった
l 最新の研究成果を先取り (国際会議)
l Bidding などで title と abstract だけからでも研究
動向がわかる (こともある)
l 自分の研究テーマとの被りをいち早く察知

まとめ：査読者の気持ち
l 査読は非常に高コスト
l できるだけ楽におわらせたい?
これらの事実を加味してどうするか？

論文執筆の基本方針
(査読者目線を考慮して)

論文執筆時の基本方針
l 論文は伝わらなければ意味がない
=> 読み手 (査読者) の気持ちを常に考えて書く
! 注意点：研究の基本方針論文執筆時の基本方針
研究そのものをする時に査読者の気持ちを考えなくて良い

着眼点
l 査読者
=> 近い研究をしている (同分野の) 研究者

着眼点
l 査読者
=> 近い研究をしている (同分野の) 研究者
l 査読者 (同分野の研究者) の気持ち
l 査読コスト高 / 無報酬 / コスパ (タイパ) 悪い仕事
l 他人の論文を積極的に採録にしようと頑張ってくれ
るわけではない
! 一度読むだけで内容が理解できる論文が望ましい
(読み手/査読者の負荷が低い論文が望ましい)
(前述の通り)

読み手に対する負荷
l 負荷が低い論文
l 読み直しが発生しない / 気持ちよく読める
l 読み手の負荷があがる要因
l 「察してもらう」を前提とした曖昧な記述
l 書き手の暗黙の前提に根差した記述
l エラーを含む数式やアルゴリズム
l Introduction (論文の目的) の内容が不明瞭
l 図表の数値が何を表しているかパッとわからない
l 未定義の用語や記号の使用
l 用語の統一が不十分

主なチェック項目
l 基本的な方針：読者の負荷が高い論文はネガ
ティブ評価！
=> 初見の人がスラスラ読めるか？が基準
l 説明なしに新概念を当たり前のよう書いていないか
• 読者は著者のもつ知識/前提条件を共有していない
l 専門用語の統一
• 同じ事象を様々な言い方で表記すると読み手は混乱
l 文単位での論理の飛躍はないか
• 文と文の繋がりを重視
l 一文で複数の事象を表現しようとしていないか
• 基本読みにくい文になる => 複数の文に分割する

[参考] Introduction 重要
l Introduction (論文の目的) の内容が不明瞭
l Introductionの出来が悪ければ「どんなに他の内容
が良くても落ちる」と思っておく
=> Introductionが意味不明だと読む気がなくなる
l 研究内容が同じでも採否に大きく直結
! Introduction だけはどんなことがあっても指導教員/共著者に絶
対確認してもらいコメント/修正案をもらう
( => 可能であれば abstractも．．．)
(ConclusionはIntroductionがきっちり書けていればかけるはず，
という気持ち)
(why)

さらなる考慮点
l [前提]
l 査読者
=> 近い研究をしている (同分野) 研究者
=> 積極性は低い
l 査読者 (同分野の研究者) が{喜ぶ/驚く}こと
=> 好意的に論文を査読してくれる可能性向上
• 手法：こんなことできるんだ，へー
• 結果：これがあれば自分(査読者)の研究が進む/助かる
• 関連研究の網羅性 (<= ためになる)
• 面白い分析結果
同分野の研究者が欲していることを考え無理のない範囲で取り入れる

[参考] 最難関国際会議の査読者マインド
l 基本落とす方向で査読
l 採択率20%前後 (30%以下) => 70-80%は不採録
l ツッコミポイントを粗探し
例：[簡単ポイント] 参考文献足りない / 新規性ない / 数式間
違っている / 実験結果が主張をサポートしない / …
l わかりやすいツッコミポイントがある論文はそれを
理由にすぐ不採録
l 防御力が大事
l 隙のない論文，ツッコミどころが少ない論文
l 全ての投稿論文より優れている必要はない
• 例 (採択率20%の場合) 投稿数：5000 => 採録数 1000

まとめ：論文執筆の基本方針
l 論文執筆時の基本方針
論文は伝わらなければ意味がない
=> 読み手 (査読者) の気持ちを常に考えて書く
l 読み手 (査読者) の認知負荷が低い論文
l 読み手 (査読者) が喜ぶ要素があるとなお良い

査読者からの照会対応 / Author
response の取り組み方

査読者からの照会対応の基本
l 基本姿勢/心得
l Reviewerは神様です！
• 基本的に全てのコメントは一旦真摯に受け止める
l (論文誌の場合) 全ての照会事項/疑問に答える
• (国際会議の場合) 文字数制限などがあるので取捨選択する
l 感情的になっては絶対ダメ
• 査読者と冷静に対話
l やるべきこと
l ある意味で査読者と著者の提示する根拠の確らしさ
のバトル?
! 論理的な回答かつ根拠を示す
根拠：参考文献 / 統計情報 / 客観的事実

[参考] 査読結果がきたらすぐにやること
l 手順 (例)
l positive, negative, 意味不明 (具体的な対応方法が不明/不明瞭)
の要領で査読コメントに色付け
• マーカーの色の分布で全体の傾向を掴む
– 採録してあげようと思っているか
落としにかかっているのか
– 後述の各照会項目のランキング作成の
見積りに利用
• 基本的に negative が照会事項に相当
l ランキング作成 (2軸)
• 重要度 (致命度?)
• 回答の簡単さ/難しさ

[参考] 査読結果がきたらすぐにやること
l ランキング結果により場合分け
l すぐに答えられる (①②)
• 回答をパッとメモ書きして終了
l 重要かつ回答が難しい (③)
• 共著者と相談の上方針を決定
l 重要ではないかつ回答が難しい (④)
• 論文には反映させないことも検討
(回答文のみですますことを考える)
l 判別不能 / 分類が微妙なもの
• 個別に対応
回答が難しい
回答が容易
重要
重要で
はない
① ②
③
④

あるある事例1
l 意味不明 (具体的な対応方法が不明/不明瞭) な照会
l 書いてある照会事項が抽象的でどう対応したらよい
かわからない
l 具体的にどのように修正すべき (と査読者が考えて
いるか) 書いてない
l 複数の解釈があり得る
l 対応策
l 「自分はこう解釈した」と明確に述べる
l その上でその解釈に従って回答
ある意味でおいしいと言う見方も ??

あるある事例2
l 査読者の主観/独断に基づく照会
l 「手法の新規性がない」とだけ記載 (根拠が示され
ていない)
l 対応策
l 査読者の指摘に対して根拠/客観的事実 (参考文献情
報や統計など) を提示して反論すればよい

あるある事例3
l (主にマイナー論文誌などに掲載されている論
文の) 参考文献が抜けているという指摘
l 特にタイトルやアブストからは関連研究であること
が推測できないものも多い
l 対応策
l 本来は参照されているべき
• ただし昨今の論文数に対して完全網羅は難しい状況
l シンプルに不手際を認めて追記

やってはいけないこと
l 答えない/ごまかす
l 指摘されていないことまで勝手に修正
l そもそも論文が間違っていたことを認めることに
l 本来，取り下げ/再投稿すべき案件

[参考] 意見を述べてみる
l 回答した結果どうなった (と思っている) のか
も具体的に書く
l 「これで全ての疑問点は解決したはず」
l 「このことから照会事項であるxxに関する懸念点は
解消されたと考える」
l ただし，これはあまりやりすぎると逆効果
l => 査読者は神様
l => 査読者コストが上がる

困った時のテクニック1
l 追加実験したくない！
l 正直その実験はいらないのでは... ？
l 時間 and/or お金がかかりすぎる
l (面倒なのでやりたくない．．．)
l 対応策
l 追加実験しない理由を超丁寧に書く
• ある意味で査読者との根比べ?

困った時のテクニック2
l 理不尽に感じる条件を出された時
l 論文の論旨に直接関係ない指摘
• 例：「提案法は効率が悪い」
=> 効率の議論はしていない，良いと主張もしていない
l 査読者の主観であって客観的な事実/根拠がない
l 対応策
l 最終手段的に編集委員 (meta-reviewer)を味方につける
• 理不尽である理由をきっちり説明して相談
– （マトモな編集者かどうかによるけど．．．）
• 採録条件から外してもらう

まとめ：査読者からの照会対応
l 全てのコメントは一旦真摯に受け止める
l 対応方法を紹介
l 色付け => ランキング => 分類して回答
l よくある事例の紹介
l 困った時のテクニック紹介

全体のまとめ
l 論文執筆の関して知見やテクニックを共有
l 主に査読者の視点に立って
l 査読者の気持ち
l 査読は非常に高コスト
l できるだけ楽におわらせたい?
l 論文執筆の基本方針
l 読み手 (査読者) の負荷が低くなるように心がける
l 防御力を高める(ツッコミどころをなくす)
l 査読者からの照会対応の取り組み方
l 根拠/客観的な事実がキモ

論文執筆時の細かいテクニック

推敲重要
l 初稿 => 投稿版ではない
l 初稿版では慣れた人でも落ちる可能性が高い
l 何度も推敲
l 初稿が書き終わってから最低でも5回できれば10回
ぐらい？
l 最後は音読
l 自分がスラスラ読めない論文は他の人では絶対に読
めない (高負荷) と思うこと

数式(notation)重要
l 数式・notationにはこだわる，そして，絶対に
間違えないようにする
l => 数式を間違えている論文は内容も間違えている
可能性があると疑われる

[参考] 数式
l DLbook notation (ICLR推奨)
https://github.com/goodfeli/dlbook̲notation/
https://github.com/ICLR/Master-Template/blob/master/iclr2020/iclr2020̲conference.pdf
書き方に迷う（あるいは自分のスタイルがな
い）場合はこの法則を真似るとよい

参考文献重要
l 参考文献をきちんと入れる．参考文献のセク
ションを軽視しない
=> 間違えると「わかってない」と思われる
l 関連研究との関係を明確化
l 研究の立ち位置を明確化
l 対象/非対象の研究を明確化
l サーベイを (何度でも) きっちりやる
l 最低でも研究開始時，執筆開始時，投稿直前

概略図重要
l 直感的にわかりやすい図
l 典型的な読者の負荷を下げる方法の一つ
l 特に取り組む課題を示す概要図
l 見やすい文字サイズや色

フリオチ (内容の一貫性) 重要
l 何を目的とした論文なのか
l Introductionで述べる
l 主張(claim) / 貢献(contribution)を明確に述べる
l 論文全体で示したい内容を正確に記載できてい
るか？
l 実験/分析は主張/貢献をサポートしているか？
l 仮説の回収など

より効果的な論文執筆を目指してー査読者の視点に立った論文執筆ー

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à より効果的な論文執筆を目指してー査読者の視点に立った論文執筆ー

Similaire à より効果的な論文執筆を目指してー査読者の視点に立った論文執筆ー (20)

Dernier

Dernier (11)