このウェビナーでは、5月にリリースされたホワイトペーパー「LLMをゼロからトレーニングするためのベストプラクティス」(https://wandb.ai/site/llm-whitepaper-japan) の概要をレビューするとともに、オープンソースLLMモデルのファインチューニングおよびプロンプトエンジニアリングの開発における、学習・検証・デプロイワークフローをwandbを使ってどのように構築できるのかを実例を交えて紹介しました。また、また技術デモにおいてはLLMを追加の日本語データで追加学習したプロジェクトや、LangChainを使ったアプリケーション開発の事例を見ながら、W&Bを使ったLLM開発ワークフローの構築方法をレビューしました。本資料はその後半部分の資料です、

1. 1
Weights & Biases
LLMモデル開発ウェビナー

2. 山本 祐也 (Yuya YAMAMOTO)
● 機械学習エンジニア
- Customer Success@W&B
● Kaggle Competitions Grandmaster
○ ID: nejumi

3. ● LLMの発展
● LLMのFine tuning
● W&Bを用いたOpen-CALMの日本語instruction tuning

4. ChatGPT, Dall-Eなどの
学習済み生成AI
AIによるタスクの自動化
生成系言語モデルの
ビジネスアプリ開発
フレームワーク
ソフトウェアプロセスの自
動化AI
対話型AIキャラクター
の開発
AIモデルの開発・
公開プラットフォーム
オープンソースの
画像生成AI他
AIによる
コンテンツ・広告の生成

5. 巨大言語モデルと
の関わり方
独自のデータを使って
ファンデーションモデル
をカスタマイズ
● モデルの追加学習や
ファイン・チューニング
非常に大量のデータ、
技術的専門性、計算リ
ソースを使い、現在より
もさらに複雑で精度の
高いファンデーションモ
デルを開発
基盤モデルを
カスタマイズ
自社でLLMを
ゼロから構築
すでに公開されている
学習済み・チューニング
済みモデルをそのまま
使う
● プロンプトで対話
● APIを使いアプリケー
ションに組込む
基盤モデルを
そのまま使う

6. LLMs are
evolving
rapidly

7. オープン
ソースの
LLMも増え
ている
https://github.com/eugeneyan/open-llms

8. 主要なモデルと
パラメータ数推移
LLMは非常に大きい(語彙)
● 効率的な学習方法が求
められる

10. Fine tuning
● Full parameter fine tuning:
全パラメータをチューニングする
● Parameter efficient fine tuning
○ Adapter tuning:
新しい「アダプター」層をモデルの既存の各層に挿入
し、それらをチューニングする
○ Prefex tuning:
タスク個別に学習可能なパラメーター(Prefix)を入力に
付与する
● Instruction tuning:
指示文を用いた教師あり学習を行う。ゼロショット性能
が飛躍的に向上
● RLHF:
Instruction tuningの強化学習を用いた拡張と言え、人
間の意図（真実性etc.）により沿うように学習

11. Parameter Efficient
Fine-tunings - LoRA
(Low-Rank
Adaptation)

12. Finetuned Language Models are Zero-Shot Learners

13. Finetuned Language Models are Zero-Shot Learners

14. https://arxiv.org/abs/2304.07854
Instruction Tuningと
Full-parameter tuning
/ LoRA

15. LLMのチューニングに
W&Bを使う

16. 実際にやってみよう

17. Open-CALM
LangChain
Instruction Tuning
(LoRA)
ベンチマークプロンプト
に対する応答を随時確認
WandbTracer()
LangChain連携
Hugging Face連携
report_to="wandb"
Instruction Data: kunishou/databricks-dolly-15k-ja
kunishou/hh-rlhf-49k-ja
基盤モデル: cyberagent/open-calm-7b
回答品質をリアルタイム
にスコアリング
LLMの全応答履歴
学習中のモデルの回
答品質スコア
（+コメント）
Validation loss,
GPU Usage,
その他

18. 必要なライブラリのインストールとインポートを済ませ
ておく
大体いつも必要なもの
● PyTorch
● Hugging FaceのTransformers, datasets
● Wandb
● LangChain
よく使いそうなもの
● PEFT
● DeepSpeed
● bitsandbytes
その他、ご自身で使うものや実行中に必要になったものを適宜インストールしてください

19. 実験のトラッキング開始

20. データをAlpaca形式に変換しておく
元のJSON形式
Alpaca形式
https://github.com/tatsu-lab/stanford_alpaca
● Instructionデータの形式はStanford Alpacaフォーマットに従って変換しておくと良い。
● Input（コンテクスト情報）が空の場合とそうでない場合で指示文がわずかに異なる点に注意。

21. 学習中のモデルの出力品質を直接モニタリングする
ためのコールバックを用意しておく
● 学習中のモデルを一定ステップごとに取り
出して、LangChainにセットして実際に人間
の指示に従う応答をするかを逐次モニタリ
ングしていく。
● 出力品質はChatGPTに採点させて、この
結果もwandbでモニタリングする。
● LangChainのwandb連携は
WandbTracer()のたった一行でOK

22. 実際にWeights & Biasesのダッシュボード上で見
てみよう

23. Thank you!