LLM 言語モデルにおける思考連鎖推論の自己整合性の向上 (Self-Consistency Improves Chain of Thought Reasoning in Language Models)
要旨 (Abstract):大規模な事前学習済み言語モデルと思考連鎖プロンプティング(chain-of-thought prompting)を組み合わせることで、複雑な推論タスクにおいて励みになる結果が得られています。本論文では、新しいデコ...
llm
LLM 
LLM CodeGemma – Googleが開発したコード特化の大規模言語モデル
CodeGemmaの概要CodeGemmaとは？Googleが開発したコード特化の大規模言語モデル(LLM)Gemmaモデルをベースに、追加で5000億トークンの英語データ、数学、コードを学習コードの補完や生成に特化し、論理的・数学的な推論...
LLM LLama 3のSFTTrainer＋Weights & Biasesでファインチューニング
はじめにLLama 3は、Meta社が開発した大規模言語モデルです。高性能でありながら、一般的なGPUでも扱えるサイズのモデルが提供されています。このモデルをファインチューニングすることで、様々なタスクに適用できます。本記事では、Huggi...
LLM Meta社の新しいオープンソースLLMモデル「Llama 3」がリリースされました
Meta社が、オープンソースの大規模言語モデル（LLM）ファミリー「Llama」の最新版である「Llama 3」を2024年4月18日にリリースしました。Llama 3モデルはHugging Faceからアクセス可能で、Hugging Fa...
LLM SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
LLM Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
LLM OpenToM: AIが人の心を読む能力をテストするための新しいベンチマーク
OpenToM: 大規模言語モデルのTheory-of-Mind推論能力を評価する包括的ベンチマークOpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reaso...
LLM 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング
はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
LLM PytorchとWandbを使ったモデル学習の基本
機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト...
AI 日本語版：OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text～高品質な数学関連のウェブテキストを集めたオープンデータセット～
はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...