WindowsでNVIDIA ChatWithRTX Demoを動かしてみた

今日のデジタル時代では、AI技術が日常生活のあらゆる面で重要な役割を果たしています。NVIDIAは、Chat with RTXという革新的なデモアプリを通じて、この技術の進化に一層貢献しています。この記事では、Chat with RTXの概要、特徴、そしてそれがいかにしてあなたのPC体験を変革するかを詳細に解説します。

Chat with RTXとは？

Chat with RTXは、GPT大規模言語モデル（LLM）を個人のコンテンツ—ドキュメント、ノート、ビデオなど—に接続し、カスタマイズすることを可能にするデモアプリです。このアプリは、検索強化生成（RAG）、TensorRT-LLM、およびRTXアクセラレーションを利用して、コンテキストに即した回答を迅速に提供します。全てがローカルのWindows RTX PCまたはワークステーション上で動作するため、速くて安全な結果を得られます。

こちらの記事もおすすめ

【Dockerでワンパン】PokéLLMonを動かしてみる

PokéLLMonは、ポケモンバトルのゲームにおいて、人間並みのパフォーマンスを実現する最初のLLM（Large Language Model）を体現したエージェントです。この記事では、PokéLLMonを実際に動かすための手順を初心者向け...

AIエージェント達の仮想ソフトウェア開発会社【ChatDev】公式Wikiの日本語版作ってみた

Quick Start元のWIKIInstall ChatDev(ChatDev のインストール ):設置説明書に記載されているクイックスタートセクションを参照してください。Start building software in one c...

Chat with RTXの魅力

ダウンロードとシステム要件

Chat with RTXを始めるには、アプリをダウンロードしてインストールするだけです。対応するプラットフォームはWindowsで、NVIDIA GeForce™ RTX 30または40シリーズGPU、またはNVIDIA RTX™ AmpereまたはAda世代GPU（最低8GBのVRAM必要）が必要です。その他の要件には、16GB以上のRAM、Windows 11、およびドライバー535.11以降が含まれます。

ノート、ドキュメント、ビデオとのチャット

Chat with RTXは、テキスト、PDF、DOC/DOCX、XMLなど、さまざまなファイル形式をサポートしています。アプリケーションをファイルが含まれているフォルダに指定するだけで、数秒でライブラリにロードされます。さらに、YouTubeプレイリストのURLを提供すると、アプリはプレイリスト内のビデオのトランスクリプションをロードし、それらがカバーするコンテンツに関するクエリを可能にします。

開発者向けのChat with RTX

Chat with RTXのテクノロジーデモは、GitHubから入手可能なTensorRT-LLM RAG開発者リファレンスプロジェクトから構築されています。開発者はこのリファレンスを使用して、RTX用のRAGベースのアプリケーションを開発し、TensorRT-LLMで加速することができます。

GitHub - NVIDIA/TensorRT-LLM: TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and build TensorRT engines that contain state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that execute those TensorRT engines.

TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and build TensorRT engines that contain state-of-the-art optim...

GitHub - NVIDIA/trt-llm-rag-windows: A developer reference project for creating Retrieval Augmented Generation (RAG) chatbots on Windows using TensorRT-LLM

A developer reference project for creating Retrieval Augmented Generation (RAG) chatbots on Windows using TensorRT-LLM - NVIDIA/trt-llm-rag-windows

AIのさらなる進化、RTX上での高速化

GeForce RTX™およびNVIDIA RTX™ GPU上での次世代AIパフォーマンスを手に入れましょう。創造性と生産性の向上から、驚異的な速さのゲーミングまで、Windows PC上でのAIパワーの究極形がRTXにあります。

NVIDIAによるジェネレーティブAIの普及

2024年1月8日、NVIDIAはTensor Core GPU、LLM、RTX PCおよびワークステーション用のツールを搭載したGeForce RTX™ SUPERデスクトップGPUを発表しました。これにより、開発者と消費者の両方にRTXアクセラレートされた新しいNVIDIA RTX™ AIソフトウェアとツールが提供されます。

ChatWithRTXのインストール

ダウンロード

下記サイトからダウンロードします。35GBあるのでローカルの空き容量と回線速度を確認しましょう。ダウンロードに3時間くらいかかりました。

Chat with RTX Now Free to Download | NVIDIA Blog

New tech demo gives anyone with an NVIDIA RTX GPU the power of a personalized GPT chatbot, running locally on their Windows PC.

ファイルの確認

Chat with RTXをインストールする前に、ダウンロードしたファイルを確認します。
「setup.exe」という実行ファイルが含まれているはずです。

インストーラの起動

「setup.exe」をダブルクリックして、インストールプロセスを開始します。

インストールの初めに、システムチェックが行われます。これにより、お使いのシステムがChat with RTXの要件を満たしているかが確認されます。

次に、NVIDIAのソフトウェアライセンス契約に同意する必要があります。内容をよく読み、「AGREE AND CONTINUE」を選択します。

インストールオプション

カスタムインストールオプションを選択できます。必要なコンポーネントを選択し、「NEXT」をクリックします。

インストール場所の選択

インストールする場所を選択します。デフォルトの場所を使用するか、「BROWSE」をクリックして別の場所を指定できます。

「NEXT」をクリックしてインストールを進めます。プロセスが完了するまで待ちます。

今回は設定を特に変更せずにCドライブに保存されるようにしました。

インストールの問題

インストール中に問題が発生し、エラーメッセージが表示されましたが、インストールオプションの「Perform a clean installation」のチェックボックスを選択して再度インストールしたら無事にインストールできました。

インストールの完了

インストールが正常に完了した場合、すべてのコンポーネントが「Installed」としてリストされ、「Launch the "Chat with RTX" application」のチェックボックスをオンにしてから「CLOSE」をクリックするとアプリケーションが起動します。

ChatWithRTXの起動

コマンドプロンプトの起動

インストールが完了したら、コマンドプロンプトが表示されます。これは、アプリケーションが正しく設定されていることを示しています。ここでは、インストールされているモデルや設定が表示されます。

Pythonの依存関係

Chat with RTXを使用するには、Pythonがシステムにインストールされている必要があります。インストーラがPythonのインストールを求める場合は、「許可」を選択して続行します。

必要ファイルのダウンロード

Pythonを許可したら自動で必要なファイルが一式インストールされます。

質問してみる

RTX3060でも快適に応答してくれます。

まとめ

NVIDIAのChat with RTXは、AI技術を活用して個人のPC体験を変革するための強力なツールです。簡単なダウンロードとインストールで、あなた専用のカスタマイズされたチャットボットを持つことができます。開発者にとっては、新しいRAGベースのアプリケーションを開発するための貴重なリソースとなり得ます。AIの進化に興味があるなら、Chat with RTXは間違いなく試してみる価値があります。