AI・機械学習 kagglehub を使った大規模言語モデル gemma のファインチューニングとモデル共有
はじめにこんにちは。この記事では、Kaggle の新機能である Kaggle Models を使って、大規模言語モデル gemma をファインチューニングし、コミュニティで共有する方法を初心者向けに解説します。Kaggle Models で...
チュートリアル
AI・機械学習 
チュートリアル LLama 3のSFTTrainer＋Weights & Biasesでファインチューニング
はじめにLLama 3は、Meta社が開発した大規模言語モデルです。高性能でありながら、一般的なGPUでも扱えるサイズのモデルが提供されています。このモデルをファインチューニングすることで、様々なタスクに適用できます。本記事では、Huggi...
AI・機械学習 SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
AI・機械学習 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング
はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
チュートリアル PytorchとWandbを使ったモデル学習の基本
機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト...
Google Colab Google ColabでKaggleデータセットをダウンロードする方法
Google Colabは無料で利用できるクラウドベースのJupyter Notebook環境です。Colabを使うと、ブラウザ上でPythonコードを実行し、機械学習モデルの構築やデータ分析を手軽に行えます。ここでは、Google Col...
AI音楽生成 musicgen-songstarter-v0.2 入門ガイド
はじめにmusicgen-songstarter-v0.2 は、テキストから音楽を生成することができる機械学習モデルです。このモデルを使うことで、音楽制作のアイデア出しや、既存の音楽サンプルをリミックスすることができます。musicgen-...
DevOps Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法
Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この...
チュートリアル AutoCodeRover入門 – 自動プログラム修正ツールを動かしてみよう！
こんにちは！皆さんは、プログラミングのバグ修正や機能追加に苦労したことはありませんか？そんな悩みを解決してくれる夢のようなツール「AutoCodeRover」を、今回はDocker Composeを使って手軽に動かす方法を紹介します。こちら...
AI・機械学習 C4AI Command-R Google Colab L4で動かしてみた
はじめに本記事では、Cohere For AIが開発した35億パラメータの大規模言語モデルであるC4AI Command-Rを使用して、Google Colab L4で実装する方法について解説します。Command-Rは、推論、要約、質問応...