Transformer

LLM

SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説

この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
LLM

Supervised Fine-tuning Trainer (SFT) 入門

Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
LLM

OpenToM: AIが人の心を読む能力をテストするための新しいベンチマーク

OpenToM: 大規模言語モデルのTheory-of-Mind推論能力を評価する包括的ベンチマークOpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reaso...
LLM

🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング

はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
LLM

PytorchとWandbを使ったモデル学習の基本

機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト...
AI

日本語版:OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text~高品質な数学関連のウェブテキストを集めたオープンデータセット~

はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...
AI

DeepSeek-Mathリポジトリの概要

DeepSeek-Mathは、大規模言語モデルDeepSeekをベースに、数学関連タスクで高い性能を発揮するように追加学習したモデルです。このリポジトリでは、以下のモデルが公開されています。DeepSeekMath-Base: ベースモデル...
AI

musicgen-songstarter-v0.2 入門ガイド

はじめにmusicgen-songstarter-v0.2 は、テキストから音楽を生成することができる機械学習モデルです。このモデルを使うことで、音楽制作のアイデア出しや、既存の音楽サンプルをリミックスすることができます。musicgen-...
AI

Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法

Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この...
AGI

OSWorld: オープンエンドなタスクのためのマルチモーダルエージェントのベンチマーク

はじめにOSWorldは、実際のコンピュータ環境でオープンエンドなタスクを実行するマルチモーダルエージェントのベンチマークです。このリポジトリでは、環境、ベンチマーク、プロジェクトページが提供されています。主な特徴は以下の通りです:実際のデ...