Google Colab上でGemma 2 GGUFモデル(gemma-2-9b-it-Q4_K_M.gguf)を使用する方法

はじめに
Gemma 2モデルとは
環境準備
モデルのダウンロード
モデルの実行
結果の解釈
📒ノートブック
まとめ
1. 関連

はじめに

この記事では、Google Colab上でGemma 2モデルを使用する方法について、初心者の方にも分かりやすく解説します。Gemma 2は、Googleが開発した軽量で高性能な言語モデルです。

Gemma 2モデルとは

Gemma 2は、Googleが開発した最新の言語モデルファミリーです。以下の特徴があります：

軽量で高性能
テキスト生成タスクに適している
デコーダーのみのアーキテクチャを採用
英語モデルが利用可能
事前学習済みモデルと指示調整済みモデルが提供されている

Gemma 2は、質問応答、要約、推論などのタスクに適しています。また、比較的小規模なモデルであるため、ノートPCやデスクトップPCなど、リソースが限られた環境でも利用可能です。

環境準備

まず、必要なライブラリとツールをインストールします。以下のコードを順番に実行してください。

# llama.cppリポジトリをクローン
!git clone https://github.com/ggerganov/llama.cpp.git

# クローンしたディレクトリに移動
%cd llama.cpp

# makeコマンドでビルド
!make -j

# Hugging Face CLIをインストール
!pip install -U "huggingface_hub[cli]"

このコードブロックでは以下の処理を行っています：

git cloneコマンドで、llama.cppリポジトリをクローンします。
%cdコマンドで、クローンしたディレクトリに移動します。
makeコマンドで、必要なツールをビルドします。
pip installコマンドで、Hugging Face CLIをインストールします。

モデルのダウンロード

次に、Gemma 2モデルをダウンロードします。以下のコードを実行してください。

# Hugging Face CLIを使用してモデルをダウンロード
!huggingface-cli download bartowski/gemma-2-9b-it-GGUF --include "gemma-2-9b-it-Q4_K_M.gguf" --local-dir ./

このコマンドは、Hugging Face CLIを使用して、指定されたモデル（gemma-2-9b-it-Q4_K_M.gguf）をダウンロードします。--local-dir ./オプションは、カレントディレクトリにモデルを保存することを指定しています。

モデルの実行

モデルのダウンロードが完了したら、以下のコードでモデルを実行します。

# モデルを実行し、日本の文化について質問
!./llama-cli -m 'gemma-2-9b-it-Q4_K_M.gguf' -p "<start_of_turn>user\n日本の文化を１０個教えて。<end_of_turn>\n<start_of_turn>model\n" -n 128

このコマンドの各部分を解説します：

./llama-cli: llama.cppのコマンドラインインターフェースを使用
-m 'gemma-2-9b-it-Q4_K_M.gguf': 使用するモデルファイルを指定
-p "...": プロンプトを指定。ここでは「日本の文化を10個教えて」という質問を投げかけています
-n 128: 生成するトークン（単語や文字）の最大数を128に設定

結果の解釈

モデルの実行結果は、プロンプトに対する回答として表示されます。日本の文化に関する10個の項目が列挙される形で出力されるはずです。

出力例：

user
日本の文化を１０個教えて。
model
日本の文化を10個紹介しますね！

1. **茶道 (Sadō):** 茶を立てる、味わう、そして心を落ち着かせるための伝統的な儀式。繊細な動作と精神的な側面が特徴です。
2. **書道 (Shodō):** 美しい文字を書く芸術。筆と墨を使って、心を込めて文字を表現します。
3. **華道 (Kadō):** 花を活ける芸術。季節の花を組み合わせて、空間を美しく彩ります。

実際の出力は、モデルの学習状態や乱数の影響により、この例と異なる場合があります。