Contenu connexe
Similaire à 研究室における研究・実装ノウハウの共有 (20)
Plus de Naoaki Okazaki (11)
研究室における研究・実装ノウハウの共有
- 2. 研究Tips @ 乾・岡崎研 総合研究会
NLP2016 WS 岡崎直観 「研究室における研究・実装ノウハウの共有」
http://www.cl.ecei.tohoku.ac.jp/index.php?Research%20Seminar
2
- 5. 3
研究Tips @総合研究会
✦ 各人にとってすでに「常識」や「いつもの手順」となっている、
ごく小さな Tips が、誰か他の人の研究の質や研究のスピードを
跳ね上げるかもしれない
✦ ひとり5分程度（スライド3枚程度で十分）
✦ 手元の Tips を総合研究会でどんどんシェアしましょう!!
• Qiita や Blog に小さなエントリを投稿するついでに…
• Twitter に小さなノウハウを投稿するついでに…
✦ 学生も発表しましょう!!
• 実際、この研究室で周りの学生から教えてもらった便利 Tips
たくさんある
- 8. • 論文を書くことは 論文を読むことから.
• 「よくある」を掴む 問題点に気づく
持論を補強する 新たに理解の壁を越える
• 研究の方向決定がスムーズになる
• 自然な拡張、自然な仮説、自然な検証
• パレートの法則を意識
時間の8割で 2割の論文を (精読)
時間の2割で 8割の論文を (乱読/速読)
1 論文を読む
2
- 9. • 論文の“まとめ”メモはなくてもいい派
• ワンポイントのひらめきメモで良い
• 雑読は「引き出しを作る」よりも
「見たことある・当たり前 の感覚を
身につける」イメージ
• けど論文のまとめは対外アピールにも？
• かつてブログにまとめていたので
PFIのインターン応募時にURL提出した
(影響は不明) http://hytae.hatenablog.com/
• “Deep Learningの教材まとめ” も はてブ300越え
1 論文を記録する
3
- 11. 研究の基本形
• 以下全てに端的・明白に答える
• ③目的: 研究を一言で説明すると？
• ②新規性: なぜその研究が必要なのか？
• ①背景: 実社会・NLP研究の中での位置付け
• ④挑戦: 研究におけるチャレンジは何か？
• ⑤鍵: 研究が上手くいく仕掛けは何か？
• ⑥実証: ④と⑤の仮説を検証できたか？
• ⑦知見: 研究で分かったことは何か？
• ①～⑦の答えを並べるとイントロが完成
2015-04-02 2015研究の進め方 14
- 12. 実践例 (1/2)
• ③目的: 研究を一言で説明すると？
• 関係パタンの意味ベクトルを構成的に計算
• ②新規性: なぜその研究が必要なのか？
• 関係パタンを「単語」とみなす従来手法では，統計量が不足
• 関係パタンもZipf則に従っているから
• 関係パタンは単語の組み合わせなので，意味をなす関係パタンがロング
テールに含まれるから
• 学習データに現れない関係パタンの意味を計算できない
• 語構成が似ている関係パタン同士であっても，意味ベクトルの学
習を独立にやるのは効率が悪そう
• ①背景: 実社会・NLP研究の中での位置付け
• 関係知識は推論などの知的な意味処理を行うために不可欠
• 関係の意味は関係パタンのベクトルでモデル化できる
• Open IEでは関係パタンの意味ベクトルから同じ関係を表すパタン
を集約したい
• 弱教師あり学習（bootstrap）でも，シードの関係事例を結ぶ関係
パタンの意味を表す高品質なベクトルがほしい
2015-04-02 2015研究の進め方 15
- 13. 実践例 (2/2)
• ④挑戦: 研究におけるチャレンジは何か？
• 関係パタンの内容語が似ていても，意味が遠くなるこ
とがあるため，ベクトルの平均では失敗する
• ⑤鍵: 研究が上手くいく仕掛けは何か？
• 関係パタンの意味の構成的な計算
• RNNに基づく動詞の意味のモデル化
• 教師なしの意味ベクトル学習（Skip-gramの拡張）
• ⑥実証: ④と⑤の仮説を検証できたか？
• 関係パタンの意味ベクトルを応用する３つのタスクで
提案手法の優位性を示した
• ⑦知見: 研究で分かったことは何か？
• 動詞のベクトルを闇雲に加算するのはダメ
• RNNの行列により意味の変換がモデル化できた
2015-04-02 2015研究の進め方 16
- 14. 研究の構築プロセスは様々
• 実用志向型
• とりあえず: ③目的→⑥実証
• 後付けする: ②新規性→①背景→④挑戦→⑤鍵
• 先行研究追試型
• 流れ: ②新規性→④挑戦→⑤鍵→⑥実証→⑦知見
• ①背景はすでに先行研究が開拓済み
• 仮説検証型
• 把握: ①背景, ②新規性, ③目的, ④挑戦, ⑤鍵
• ⑥実証の後，⑦知見をまとめる
• 陥りやすい失敗
• 苦し紛れの言い訳になる（←日頃の議論が大切）
• ④挑戦: トリビアルな問題・手法になってしまう
• ⑥実証: 先行研究がタスクの鬼すぎて強い
• ⑦知見: 結局何が分かったことになるのか不明
2015-04-02 2015研究の進め方 17
- 17. Bitbucket (& Issue Tracker) の活用
• バージョン管理
• 修正前のコード・論文を失わないために
• 多人数での共同編集
• 締切直前に手分けして論文を書けるように
• 情報交換・情報共有
• Qiita Teamの代替（無料）として
• https://bitbucket.org/cl-tohoku/internal/wiki/ka/Home
• 論文の修正
• GitとIssue Trackerの連携技
• 係・委員のお仕事の管理にも？
2015-11-06 研究プロセス再考 10
- 23. その他のTips
• 田: 戦うためのプログラミング
• 佐々木: pandas, Seaborn, Bokehの紹介
• 高橋: Jupyter Notebook で生産性を加速させる Tips
• 鈴木: 辞書の話
• 横井: 英語論文を書くときに便利なコロケーション
確認ツール
• 松林: 研究の管理
• 水本: 初めてのNLP年次大会
• 水野: チャンスをつかむ方法
• 乾: 君たちは何のために研究するのか
• 佐藤: 生きて行く上で悩んだら
• 井之上: 学習者の質問で楽しく研究する
NLP2016 WS 岡崎直観 「研究室における研究・実装ノウハウの共有」 7
- 24. NLP2016 WS 岡崎直観 「研究室における研究・実装ノウハウの共有」
http://www.cl.ecei.tohoku.ac.jp/nlp100/
5
