Solving Quantitative Reasoning Problems with Language Models

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
北海道大学大学院情報科学院情報理工学部門
複合情報工学分野調和系工学研究室
博士後期課程 3年吉田拓海
論文紹介ゼミ
Solving Quantitative Reasoning Problems
with Language Models

論文情報
著者
発表
Arxiv (2022-07-01)
https://arxiv.org/abs/2206.14858 (arxiv)
https://ai.googleblog.com/2022/06/minerva-solving-quantitative-
reasoning.html (Google AI blog)
概要
大規模言語モデル(PaLM)を数学・科学関連の高品質データセット
で追加学習させ定量的推論タスクにおいて高性能を達成

2
論文の概要
PaLMを数学・科学データでfinetuneしたMinervaを発表

3
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
ポーランドの試験
MATHでのfinetune
基本演算
Performance Analysis
モデルの誤りについて
False Positive について
Memorization
Conclusions and Discussion
まとめ

4
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

5
Introduction
大規模言語モデルは様々なNLPタスクで優れた性能を達成
常識的推論(common-sense reasoning)
質問応答(question answering)
要約(summarization)
etc
定量的推論(quantitative reasoning)が必要なタスクには苦戦
[Hendrycks et al., 2021; Cobbe et al., 2021]
例：数学，科学，工学の問題を解く
[Hendrycks et al., 2021] Hendrycks, D., Burns, C., Kadavath, S., Arora, A., Basart, S., Tang, E., Song, D., and
Steinhardt, J. (2021). Measuring mathematical problem solving with the math dataset.
[Cobbe et al., 2021] Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek,
J., Hilton, J., Nakano, R., Hesse, C., and Schulman, J. (2021). Training verifiers to solve math word problems.

6
Introduction
従来研究
大規模言語モデルがドメイン固有のデータセット
で学習した後に数学やプログラミングの問題で高い性能を示す
[Chen et al., 2021; Austin et al., 2021; Drori et al., 2021]
Codex (GitHub Copilot) [Chen et al., 2021]
GPTをコードデータセットでfinetune
Codexでプログラムを生成し数学の問題を解く[Drori et al., 2021]
本研究
外部ツールに依存せずに自己完結で解を出力する
定量的推論問題にこのアプローチを適用する
[Chen et al., 2021] Chen, M., et al. (2021). Evaluating large language models trained on code.
[Austin et al., 2021] Austin, J., et al. (2021). Program synthesis with large language models. arXiv preprint
arXiv:2108.07732.
[Drori et al., 2021] Drori, I., et al. (2021). A neural network solves, explains, and generates university math
problems by program synthesis and few-shot learning at human level.

7
Minerva
Minerva
PaLMのfinetune [Chowdhery et al., 2022]
Chain-of-thought [Wei et al., 2022]
複数の解のサンプリングによる多数決[Wang et al., 2022]
数学・科学関連データセット
(385B tokens)
論文の新規性
finetune
[Chowdhery et al., 2022] Chowdhery, A., et al. (2022). Palm: Scaling language modeling with pathways.
[Wei et al., 2022] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Chi, E., Le, Q., and Zhou, D. (2022). Chain of thought prompting elicits reasoning in large language models.
[Wang et al., 2022] Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., and Zhou, D. (2022). Self-consistency improves chain of thought reasoning in language
models.
(画像引用) Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance. Google AI Blog. Published April 4, 2022. Accessed July 24, 2022.
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
(画像引用) Minerva: Solving Quantitative Reasoning Problems with Language Models. Google AI Blog. Published June 30, 2022. Accessed July 24, 2022.
https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html

8
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

9
Pathways [Dean J, 2021]
Googleの提案する次世代AIアーキテクチャ
現在のAIの欠点とPathwaysによる改善（※予定）
現在のAIは通常1つのタスクしか実行できない
Pathwaysでは1つのモデルで何千，何百万ものタスクが実行可能
現在のAIは1つの感覚に焦点を当てる
Pathwaysでは複数の感覚を可能にする
現在のAIは密で非効率的
Pathwaysは疎で効率的
[Dean J, 2021] Dean J. Introducing Pathways: A next-generation AI architecture. Google. Published October 28, 2021.
Accessed July 23, 2022. https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/
(動画引用) Google. Pathways. YouTube. Published online October 28, 2021. Accessed July 23, 2022.
https://www.youtube.com/watch?v=Nf-d9CcEZ2w&ab_channel=Google

10
PaLM [Chowdhery et al., 2022]
780B tokens の高品質テキストデータセットに対して
540B params のTransformer言語モデル(PaLM)を学習
[Chowdhery et al., 2022]Chowdhery, A., et al. (2022).
Palm: Scaling language modeling with pathways.
図表は[Chowdhery et al., 2022]から引用
English NLPタスクの性能
28/29タスクでSOTA(Few-shot)
より挑戦的なBIG-Benchにおける性能
人間の平均スコアを達成

11
PaLM (Chain of thought prompting)
思考の連鎖によって多段階の推論を要するタスクの性能向上
説明も生成可能
[Chowdhery et al., 2022]Chowdhery, A., et al. (2022). Palm: Scaling language modeling with pathways.
図は[Chowdhery et al., 2022]から引用

12
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

13
Training Dataset
Dataset
385B tokens のデータセット
参考：PaLMの事前学習データセットが780B tokens
LATEX記号などの数学表記を保持
Training
サイズが異なる3つのモデルを学習
540Bモデルは8B, 62Bと比較して学習不足であるが
それでも優れた性能を達成

14
Evaluation Datasets
MATH [Hendrycks et al., 2021]
Middle school, high schoolの数学問題
数学があまり好きではないCSの博士学生で40%程度
国際数学オリンピックの金メダリストで90%程度
GSM8k [Cobbe et al., 2021]
Middle schoolの数学問題
優秀なmiddle school studentであれば全ての問題を解けるとのこと
MMLU-STEM
MMLU dataset[Hendrycks et al., 2020]のサブセット
Sience, technology, engineering, mathematics(STEM)に焦点
Amazon Mechanical Turkの専門外の人間は34.5%（MMLU）
[Hendrycks et al., 2021] Hendrycks, D., Burns, C., Kadavath, S., Arora, A., Basart, S., Tang, E., Song, D., and
Steinhardt, J. (2021). Measuring mathematical problem solving with the math dataset.
[Cobbe et al., 2021] Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek,
J., Hilton, J., Nakano, R., Hesse, C., and Schulman, J. (2021). Training verifiers to solve math word problems.
[Hendrycks et al., 2020] Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., and Steinhardt,
J. (2020). Measuring massive multitask language understanding. CoRR, abs/2009.03300.

15
Evaluation Datasets
学部レベルのSTEM問題を収集
MITが提供するOpenCourseWareから自動検証可能な問題を収集

16
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

17
Results
全タスクでSOTAを達成
比較対象 (published SOTA)
a: GPT-2
b: PaLM540B, maj1@40
c: Chinchilla
maj1@k: 多数決

18
Minervaの応答例 1/3 MATH 代数

19
Minervaの応答例 2/3 MMLU 物理

20
Minervaの応答例 3/3 MATH Precalculs(微積)

21
Results ポーランドの全国数学試験
2022年5月に実施されたポーランドの数学試験で評価
毎年約27万人のhigh-school studentsが受験
結果
Minerva 62B：2021年の全国平均57%を達成
Minerva 540B：65%を達成

22
Results MATHデータセットでのfine-tune
Minervaはfine-tuneの効果はない
教師無し訓練データセットの品質と多様性が向上するにつれて
標準的なfine-tuneな有用性が減少することを示唆

23
Results 基本演算
Minerva 540Bの性能を調査
モデルに与えるprompt (右図)
10桁の足し算で80％以上，18桁の足し算で20％以上の精度を達成

24
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

25
Performance Analysis (Model Mistakes)
Minerva 8Bと62Bで信頼度の高い解答216個を比較
8Bが正解で62Bが不正解：15 samples
8Bが不正解で62Bが正解：201 samples
6つのモデルの誤りパターン
Incorrect reasoning : 推論のミス
Incorrect calculation : 記号や数値の計算ミス
Uses incorrect fact : 誤った事実や方程式の使用
Misunderstood question : 問題へのアプローチの間違い
Answer too short : 正当な理由がない
Hallucinated math objects : 根拠のない概念・記号のでっち上げ

26
Performance Analysis (False Positives)
False Positive
最終的な解は正しいが推論が不完全・不正確な例
Minerva 62B の False Positive Rate を手動で調査
MATHデータセットからランダムに100問選択
（難易度毎に20問）
Minerva の解は温度0でサンプリング
難易度が高くなるにつれFalse Positive Rateは高くなるが
全体としては低い(8%)

27
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

28
Memorization
暗記による解答の度合いを評価するために3つの分析を実施
Train data と Eval data の重複を調査
Eval data の問題を一部変更し，モデルの精度の変化を調査
Ground Truth と生成された解の間の一致を調査
（全てMATHデータセットに対して実施）
結果まとめ
モデルの性能が暗記に起因するという証拠は見つからなかった

29
Memorization
手順
62Bモデルが正解した問題から多数決スコアの高い100問を選択
問題・解答と数学WebpageデータのBLEUスコアを計算
スコアの高い250の文書を手動で検査
結果
重複はなかった

30
Memorization
手順
62Bモデルが正解した20問をランダムに選択
選択した問題に手動で変更を加える
問題中の文言を変更（framing）
問題中の数値を変更
変更前後の精度の比較
結果
変更前後の精度に相関あり

31
Memorization
手順
62Bモデルによって問題ごとに256の解をサンプリング
生成解とGTのBLEUスコアが閾値以上の解を削除して精度を再計算
結果
精度は低いBLEUスコアまで頑健
モデル性能がGTに類似した出力
に起因するものではない

32
目次
Introduction
Minerva
Pathways
PaLM
Chain-of-thought
Dataset
Training dataset
Eval dataset
MATH, GSM8k, MMLU
OCW
Results
Eval dataset
MATHでのfinetune
基本演算
Memorization
まとめ

33
Limitations
モデルの解の正しさを自動で検証できない
形式的アプローチと対照的
外部ツールにアクセスすることができない
複雑な数値計算を必要とするタスクの実行に限界がある
大量のデータで学習させるため，
モデルが獲得する具体的な能力を制御できない
Social Impact
定量的推論タスクを解くNNは社会的に大きな影響を与える
Minervaはその一歩であるが，まだまだ先は長い
モデルの性能は人間の能力を大きく下回るうえ
その出力の正しさを検証することもできない
これらの問題が解決されれば，広くポジティブな影響となる

34
まとめ
Minervaを発表
PaLMを高品質な数学・科学データセットでFinetune
Arxiv preprint server と数学関連のWebpage からデータ収集
Chain-of-thought promptによって解の導出過程を出力
複数の解をサンプリングして多数決によって最終的な解を決定
MATH, GSM8k, MMLU-STEM においてSOTA達成
Few-shot設定
外部ツール使用無し

Solving Quantitative Reasoning Problems with Language Models

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Solving Quantitative Reasoning Problems with Language Models

Similaire à Solving Quantitative Reasoning Problems with Language Models (20)

Plus de harmonylab

Plus de harmonylab (20)

Dernier

Dernier (11)

Solving Quantitative Reasoning Problems with Language Models