前回の記事では、Ollamaを使ってモデルファイルを作成する方法を紹介しました。今回は、その手順に従って日本語の大規模言語モデル「nekomata-14b」をインポートし、実際に使用する方法を解説します。
Ollama モデルファイル
注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説...
hamaruki.com
2024.05.28
GGUFモデルのダウンロードURL
rinna/nekomata-14b-gguf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Modelfileの作成
まず、nekomata-14bモデルをインポートするためのModelfileを作成します。以下の内容を Modelfile という名前のファイルに保存してください。
FROM ./nekomata-14b.Q4_K_M.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER num_predict 256
PARAMETER repeat_penalty 1.05
PARAMETER stop "<|endoftext|>"
TEMPLATE """{{ if .System }}<|system|>
{{ .System }}
<|endoftext|>{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}
<|endoftext|>{{ end }}<|assistant|>
{{ .Response }}<|endoftext|>"""
SYSTEM """あなたはユーザーからの指示に従い、可能な限り最善の回答を提供するAIアシスタントです。ユーザーの質問に丁寧かつ簡潔に回答してください。"""このModelfileでは、以下の設定を行っています。
FROM: インポートするnekomata-14bモデルファイルのパスを指定PARAMETER: 各種パラメータの設定 (temperature, top_p, num_predict, repeat_penalty, stop)TEMPLATE: プロンプトのテンプレートSYSTEM: システムメッセージの設定
モデルの作成
作成したModelfileを使って、ollama create コマンドでモデルを作成します。
ollama create nekomata-14b -f ./Modelfilenekomata-14b の部分は任意のモデル名に変更可能です。
モデルの実行
作成したモデルを ollama run コマンドで実行します。
ollama run nekomata-14bこれで、nekomata-14bモデルを使ったチャットが開始されます。例えば以下のように入力すると、
>>> 今日のご飯を提案してモデルからは次のような回答が得られます。
本日のメニューは、鶏肉の照り焼き、野菜炒め、そしてご飯です。お好みの組み合わせでどうぞ以上の手順で、日本語の大規模言語モデルnekomata-14bをOllamaにインポートし、実際に使用することができました。Modelfileのパラメータを調整することで、モデルの振る舞いをカスタマイズできるので、用途に応じて最適な設定を探ってみてください。
コメント