GoogleColabとAPIキーを使ってNemotron-4-340B-Instructモデルを利用する方法（Google Colabノート付）

はじめに
事前準備
1. GoogleColabのセットアップ
2. OpenAIライブラリのインストール
APIキーの取得と設定
1. NVIDIA NIMでのAPIキー取得方法
2. APIキーの設定方法
OpenAIクライアントの作成
Nemotron-4-340B-Instructモデルの使用方法
生成されたテキストの取得と表示
まとめ
ノートブック
参考サイト
1. 関連

はじめに

Nemotron-4-340B-Instructは、NVIDIA社が開発した大規模言語モデル(LLM)です。このモデルは、英語でのチャットやタスク指向の対話に最適化されています。本記事では、GoogleColabを使ってAPIキーでNemotron-4-340B-Instructモデルを利用する方法について、初心者向けに丁寧に解説します。また、無料で利用できる画像のクレジット情報も記載します。

GoogleColabを使う利点は以下の通りです。

Webブラウザ上で実行可能なため、環境構築が不要
無料でGPUを利用できる
Pythonのコードを簡単に共有できる

事前準備

GoogleColabのセットアップ

GoogleColabにアクセスします。
Googleアカウントでログインします。
新しいノートブックを作成します。

OpenAIライブラリのインストール

以下のコードをセルに貼り付けて実行し、OpenAIライブラリをインストールします。

!pip install openai

APIキーの取得と設定

NVIDIA NIMでのAPIキー取得方法

NVIDIA NIMにアクセスし、アカウントを作成します。
APIキーを取得します。

APIキーの設定方法

以下のコードをセルに貼り付けて実行し、APIキーを設定します。'API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC'の部分は、取得したAPIキーに置き換えてください。

from google.colab import userdata
API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC = userdata.get('API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC')

OpenAIクライアントの作成

以下のコードをセルに貼り付けて実行し、OpenAIクライアントを作成します。

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC
)

Nemotron-4-340B-Instructモデルの使用方法

chat.completions.createメソッドを使って、Nemotron-4-340B-Instructモデルを利用します。以下のコードをセルに貼り付けて実行してください。

completion = client.chat.completions.create(
  model="nvidia/nemotron-4-340b-instruct",
  messages=[{"role":"user","content":"今日のあなたの架空の予定を教えて"}],
  temperature=0.2,
  top_p=0.7,
  max_tokens=1024,
  stream=True
)

model: 使用するモデルを指定します。ここでは"nvidia/nemotron-4-340b-instruct"を指定しています。
messages: ユーザーの入力メッセージを指定します。"role"は"user"で固定です。"content"にユーザーの入力内容を指定します。
temperature: 生成されるテキストのランダム性を制御するパラメータです。0から1の間の値を指定します。値が小さいほど、より確定的な出力になります。
top_p: 生成されるテキストの多様性を制御するパラメータです。0から1の間の値を指定します。値が大きいほど、より多様な出力になります。
max_tokens: 生成されるテキストの最大トークン数を指定します。
stream: Trueに設定すると、生成されたテキストがストリーミングで出力されます。

生成されたテキストの取得と表示

以下のコードをセルに貼り付けて実行し、生成されたテキストを取得して表示します。

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

まとめ

本記事では、GoogleColabを使ってAPIキーでNemotron-4-340B-Instructモデルを利用する方法について、初心者向けに丁寧に解説しました。また、無料で利用できる画像のクレジット情報も記載しました。
Nemotron-4-340B-Instructモデルを活用することで、英語でのチャットやタスク指向の対話を実現できます。ぜひ、このモデルを使って様々なアプリケーションを開発してみてください。