LLM SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
LLaMA 2
LLM 
LLM Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
AI 日本語版：OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text～高品質な数学関連のウェブテキストを集めたオープンデータセット～
はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...
AI DeepSeek-Mathリポジトリの概要
DeepSeek-Mathは、大規模言語モデルDeepSeekをベースに、数学関連タスクで高い性能を発揮するように追加学習したモデルです。このリポジトリでは、以下のモデルが公開されています。DeepSeekMath-Base: ベースモデル...
LLM Local RAGをWindowsのOllama for Windows (Preview)で動かしてみた
最近、Windowsで動作するOllama for Windows (Preview)を使って、Local RAG（Retrieval Augmented Generation）を体験してみました。この記事では、そのプロセスと私の体験をステ...
音楽生成 M2UGenのざっくり論文解説
全体ざっくり解説はじめにMLLMsは、テキスト、視覚、オーディオ、3Dなどの多様なモダリティをつなぐ役割を果たしています。これらのモデルは、人間の意図を理解し、画像や音楽などの出力を生成するために使用されていますが、理解と生成を統合する研究...