はじめに
Google Colabは、ブラウザ上でPythonを実行できる無料のサービスです。これを使って、LLaMA-Factoryを動かしてみましょう。LLaMA-Factoryは、大規模言語モデル（LLM）のファインチューニングを容易にするツールです。LLMのファインチューニングは複雑な作業で、通常は多くの計算リソースと専門知識が必要です。しかし、LLaMA-Factoryを使用することで、このプロセスを簡素化し、迅速に実行することができます。
こちらの記事を参考にしております。
Google Colab で LLaMA-Factory を試す｜npaka
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory 「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニ...
note.com
LLMファインチューニングの概要
LLMファインチューニングは、事前学習済みのモデルを特定のタスクやデータセットに適応させるプロセスです。これには、基本モデルの選択、トレーニングデータセットの準備、ファインチューニング、評価、そして実用化のステップが含まれます。ファインチューニングは、低い計算コストで特定のタスクに迅速に適応させることが可能で、事前学習済みモデルが既に広範囲の一般的な言語知識を持っているため、通常は優れたパフォーマンスを発揮します。
Web UI 起動コマンド
- まず、下記のコマンドをGoogle Colabに貼り付けて実行します。これにより、必要なプログラムがインストールされます。
#@title パッケージのインストール
!git clone https://github.com/Sunwood-ai-labs/LLaMA-Factory.git
%cd LLaMA-Factory
!pip install -r requirements_full.txt
!pip install bitsandbytes- 次に、以下のコマンドを実行してWeb UIを起動します。
#@title WebUI起動
!CUDA_VISIBLE_DEVICES=0 CUDA_LAUNCH_BLOCKING=1 python src/train_web.pyパラメータ設定
LLaMA-Factoryで使用するモデルと学習の設定方法を説明します。
下記のパラメータに設定します。
モデルの設定:
モデルの設定:
- Model name:
LLaMA-7B(LLaMA-7Bモデルを使用します) - Model path:
elyza/ELYZA-japanese-Llama-2-7b-instruct(モデルのID) - Quantization bit:
4(モデルの量子化ビット数、ここでは4ビット) - Prompt template:
llama2_ja(テンプレートの種類)
学習の設定:
- Dataset:
gozaru_ja(使用するデータセット) - Cutoff length:
512(一度に処理するデータの長さ) - Learning rate:
2e-4(学習率、学習の速さ) - Max samples:
10000(学習に使用する最大サンプル数) - Compute type:
fp16(計算の型) - Batch size:
20(一度に処理するデータの量、無料枠では20が限界) - Maximum gradient norm:
0.3(勾配の最大値)
学習方法
Preview commandでコマンドを確認してからStartで学習スタートできます。
大まかな処理時間も表示されます
これらの設定を行うことで、LLaMA-Factoryを使用してAIモデルの学習を始めることができます。LLMのファインチューニングを効率的に行いたい方は、ぜひこの手順に従ってみてください。
推論方法
Refresh adaptersを押して更新してから学習されたモデルを選択して、
下のChatタブのLoad modelから推論できます。
ノートブック
Google Colaboratory
colab.research.google.com
リポジトリ
GitHub - Sunwood-ai-labs/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM)
Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM) - GitHub - Sunwood-ai-labs/LLaMA-Factory: Easy-to-use LLM fine-tuning fra...
github.com
参考サイト
Google Colab で LLaMA-Factory を試す｜npaka
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory 「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニ...
note.com
Fine-Tuning Large Language Models with LLaMA Factory
Streamlining the Art of Language Model Fine-Tuning with LLaMA Factory
medium.com
GitHub - hiyouga/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM)
Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM) - GitHub - hiyouga/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (...
github.com
コメント