nekomata-14bモデルのollamaへのインポートと使用方法

未分類

前回の記事では、Ollamaを使ってモデルファイルを作成する方法を紹介しました。今回は、その手順に従って日本語の大規模言語モデル「nekomata-14b」をインポートし、実際に使用する方法を解説します。

Ollama モデルファイル
注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説...

GGUFモデルのダウンロードURL

rinna/nekomata-14b-gguf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Modelfileの作成

まず、nekomata-14bモデルをインポートするためのModelfileを作成します。以下の内容を Modelfile という名前のファイルに保存してください。

FROM ./nekomata-14b.Q4_K_M.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.95 
PARAMETER num_predict 256
PARAMETER repeat_penalty 1.05
PARAMETER stop "<|endoftext|>"

TEMPLATE """{{ if .System }}<|system|>
{{ .System }}
<|endoftext|>{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}
<|endoftext|>{{ end }}<|assistant|>  
{{ .Response }}<|endoftext|>"""

SYSTEM """あなたはユーザーからの指示に従い、可能な限り最善の回答を提供するAIアシスタントです。ユーザーの質問に丁寧かつ簡潔に回答してください。"""

このModelfileでは、以下の設定を行っています。

  • FROM: インポートするnekomata-14bモデルファイルのパスを指定
  • PARAMETER: 各種パラメータの設定 (temperature, top_p, num_predict, repeat_penalty, stop)
  • TEMPLATE: プロンプトのテンプレート
  • SYSTEM: システムメッセージの設定

モデルの作成

作成したModelfileを使って、ollama create コマンドでモデルを作成します。

ollama create nekomata-14b -f ./Modelfile

nekomata-14b の部分は任意のモデル名に変更可能です。

モデルの実行

作成したモデルを ollama run コマンドで実行します。

ollama run nekomata-14b

これで、nekomata-14bモデルを使ったチャットが開始されます。例えば以下のように入力すると、

>>> 今日のご飯を提案して

モデルからは次のような回答が得られます。

本日のメニューは、鶏肉の照り焼き、野菜炒め、そしてご飯です。お好みの組み合わせでどうぞ

以上の手順で、日本語の大規模言語モデルnekomata-14bをOllamaにインポートし、実際に使用することができました。Modelfileのパラメータを調整することで、モデルの振る舞いをカスタマイズできるので、用途に応じて最適な設定を探ってみてください。

コメント

タイトルとURLをコピーしました