LLM SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
CUDA
LLM 
LLM Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
LLM 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング
はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
LLM PytorchとWandbを使ったモデル学習の基本
機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト...
AI 日本語版：OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text～高品質な数学関連のウェブテキストを集めたオープンデータセット～
はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...
AI DeepSeek-Mathリポジトリの概要
DeepSeek-Mathは、大規模言語モデルDeepSeekをベースに、数学関連タスクで高い性能を発揮するように追加学習したモデルです。このリポジトリでは、以下のモデルが公開されています。DeepSeekMath-Base: ベースモデル...
LLM RAGシステムの検索に新たな知見！日本語版 The Power of Noise: Redefining Retrieval for RAG Systems
ろんJアイスブレイク1 ： 名無し専門家 ：2024/04/02(火) 12:34:56.78 ID:IR56この論文は、Retrieval-Augmented Generation (RAG) システムにおける検索の役割について興味深い洞...
AGI ろんJ 実況～論文をなんJ風に解説＆実況～
論文は難しそうで読むのが億劫だと感じたことはありませんか？でもそんな人でも、「ろんJ」を使えば論文の内容が面白おかしく理解できるかもしれません。「ろんJ」は、アップロードした論文の内容を、あの有名な２ちゃんねるの「なんでも実況J」（通称：な...
AI Claude での関数呼び出し入門
こんにちは！この記事では、Claude を使って外部の関数を呼び出す方法について、初心者向けに丁寧に解説します。関数呼び出しを使うと、Claude の機能を拡張し、より多様なタスクを実行できるようになります。こちらの記事もおすすめなんJ ア...
LLM AnyGPTをDockerで簡単に実行する方法
はじめにAnyGPTは、音声、テキスト、画像、音楽など様々なモダリティを統一的に処理できるマルチモーダル言語モデルです。この記事では、Dockerを使ってAnyGPTを簡単に実行する方法を初心者向けに解説します。AnyGPTとはAnyGPT...