チュートリアル

競技プログラミング

Kaggle「AI Mathematical Olympiad」に挑戦!ファインチューニング済みGemma Instruct 2Bモデルで数学問題を解き明かせ

こんにちは!この記事では、Kaggleの「AI Mathematical Olympiad」コンペティションに向けて、ファインチューニング済みのGemma Instruct 2Bモデルを使用する方法を解説します。初心者の方でも完璧に理解でき...
AI・機械学習

KerasとJAXを使ってGemmaモデルをTPU分散学習する方法

概要Gemmaは、軽量でありながら最先端の性能を持つオープンモデルのファミリーで、Googleの研究と技術を基に構築されています。Gemmaは特定のニーズに合わせてさらにファインチューニングすることができます。しかし、Gemmaのような大規...
大規模言語モデル

LLama 3のSFTTrainer+Weights & Biasesでファインチューニング

はじめにLLama 3は、Meta社が開発した大規模言語モデルです。高性能でありながら、一般的なGPUでも扱えるサイズのモデルが提供されています。このモデルをファインチューニングすることで、様々なタスクに適用できます。本記事では、Huggi...
AI・機械学習

SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説

この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
AI・機械学習

🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング

はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
チュートリアル

PytorchとWandbを使ったモデル学習の基本

機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト...
チュートリアル

Google ColabでKaggleデータセットをダウンロードする方法

Google Colabは無料で利用できるクラウドベースのJupyter Notebook環境です。Colabを使うと、ブラウザ上でPythonコードを実行し、機械学習モデルの構築やデータ分析を手軽に行えます。ここでは、Google Col...
チュートリアル

musicgen-songstarter-v0.2 入門ガイド

はじめにmusicgen-songstarter-v0.2 は、テキストから音楽を生成することができる機械学習モデルです。このモデルを使うことで、音楽制作のアイデア出しや、既存の音楽サンプルをリミックスすることができます。musicgen-...
DevOps

Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法

Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この...