LLM Webinar - シバタアキラ to share.pdf
•
0 j'aime•369 vues
このウェビナーでは、5月にリリースされたホワイトペーパー「LLMをゼロからトレーニングするためのベストプラクティス」(https://wandb.ai/site/llm-whitepaper-japan) の概要をレビューするとともに、オープンソースLLMモデルのファインチューニングおよびプロンプトエンジニアリングの開発における、学習・検証・デプロイワークフローをwandbを使ってどのように構築できるのかを実例を交えて紹介します。 最先端の大規模言語モデルの開発チームのほとんどがW&Bを利用しています。この無料ホワイトペーパーでは、私たちがこれまでに蓄積してきたLLM開発のノウハウをご共有します。具体的には、下記のようなテーマが含まれます： - 学習済みLLMモデルの構築と購入の比較 - スケーリング法則 - データセットの収集 - データセットの前処理 - 事前学習のステップ - モデル評価 - バイアスと有害性 - インストラクションチューニング - 人間のフィードバックによる強化学習
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à LLM Webinar - シバタアキラ to share.pdf
Similaire à LLM Webinar - シバタアキラ to share.pdf (20)
Plus de Akira Shibata
Plus de Akira Shibata (20)
LLM Webinar - シバタアキラ to share.pdf
- 1. 1 1 May 2023 Weights & Biases LLMモデル開発ウェビナー
- 2. 2 Speakers Today シバタ アキラ カントリーマネージャー Weights & Biases 機械学習エンジニア Weights & Biases 山本 祐也 Grandmaster
- 4. 4 W&B日本展開について 2023年3月 日本法人を設立。東京-京橋を拠点とし、 MLエンジニアやサポートエンジニアを含 むカスタマー・サクセスチームが発足。 4月 JDLA協会正会員に 5月 AI Expoに出展 6月 人工知能学会大会をスポンサー MLエンジニアのためのミートアップを毎月開催 (https://wandb.connpass.com)
- 5. 5 ML is transforming every industry TRIではコンピュータビジョンを使って 完全自動運転車の開発を進めてい ます 「W&Bは早いペースで最先端の開発 を大規模に行うチームにはなくては ならないインフラです。」 Adrien Gaidon Toyota Research Institute OpenAIは深層学習と自然言語処理を 使って、超高性能なチャットボットを開発 しています 「W&Bは、一人の研究者のインサイトを チームに波及させ、一台のマシンに閉じ 込めず、何千台にスケールさせることが できます。」 WOJCIECH ZAREMBA Co-founder of OpenAI Genentechは深層学習を使って感染 病に有効な新しい抗生物質を 探しています 「W&Bのおかげで、私たちは意味の ある科学研究により多くの時間を費 やすことができます。」 Stephen Ra Machine Learning Lead 機械学習はあらゆるインダストリーを変革しています
- 7. 7 AIは3つの要因でスケールする（どんどん賢くなる） The Pre-Deep Learning Era (pre-2010, training compute doubled every 20 months), the Deep Learning Era (2010-15, doubling every 6 months), and the Large-Scale Era (2016-present, a 100-1000x jump, then doubling every 10 months). LLMの実現に繋がった Transformer研究の発表 (2017) データ（量x質） アルゴリズム 計算量 Source: Statistica
- 8. 事前学習 教師あり ファインチューニング 報酬モデル 強化学習（RLHF） インターネットから収集 スクレイピングされた膨大なテキスト 何兆にも及ぶ単語数 質は低いが、量は多い 課題に対する答え方の訓練 理想的な回答を人間が作成 10~10万のプロンプト・答えのペア 量は少ないが、質は高い （モデルで生成する手法も） 結果の評価 10万〜100万の比較結果 人間が結果を見比べて評価 量は少ないが、質は高い プロンプト 1万〜10万のプロンプト 人間によって書かれたプロンプト 量は少ないが、質は高い 何億円もの計算コスト 何千ものGPU 何週間〜何ヶ月に及ぶ学習 例：GPT, LLaMA, PaLM 数百ドルで計算できる手法も 1~100 GPU 数時間から数日の学習 例：Vicuna-13B 計算コストよりも、データにコスト 1~100 GPU 数時間から数日の学習 まだ十分に確立されていない 1~100 GPU 数時間から数日の学習 例：ChatGPT, Claude, Bard デプロイして使うことのできるモデル 深層学習：Transformer 次のトークンを予測する学習方法で、何百億 ものパラメーターを計算 深層学習：Transformer 次のトークンを予測す学習でモデルの全ても しくは一部のパラメーターを再計算 二値分類 人間がより高く評価する結果を学習し、プロ ンプトの答えを評価 強化学習 結果の評価を最大化するようにモデルを変 更 基盤モデル SFTモデル RMモデル RLモデル What is ChatGPT doing...and why does it work? https://www.youtube.com/watch?v=bZQun8Y4L2A ステージ データセット アルゴリズム モデル 計算方法・ コスト 基盤モデルが インプット SFTモデル がインプット SFTとRMモデル がインプット チャット型GPTモデルの作り方まとめ