LLM 【完全解説】A100(40GB + RAM併用)環境でOllama（gpt-oss GGUF版）を動かし、OpenAI互換APIを構築する方法
本記事では、A100(40GB) GPU 環境を活用し、OllamaのGGUF量子化版 gpt-oss 20b / 120b モデルを動かして、OpenAI互換APIとして利用する方法を初心者でも分かるように解説します。GGUF量子化により...
Ollama
LLM 
チュートリアル Google ColabでGemma + DeepEval QA評価システム構築ガイド
Google Colabの無料環境でGemma3nモデルを使い、DeepEvalによる高度なLLM as a Judge評価を実現する完全ガイドです。複雑な設定は不要で、環境変数変更だけでプロフェッショナルなQA評価システムが構築できます。...
Python開発 🚀 LightRAG: シンプルかつ高速なRAGフレームワーク(GoogleColab付)
LightRAG公式ページ | arXiv:2410.05779 | LearnOpenCVでの紹介LightRAGは、テキストやナレッジグラフ、ベクターストアを活用して効率的なRAGワークフローを可能にするフレームワークです。ここでは、G...
LLM Ollamaとllama3.1 8bで始める関数呼び出し機能の実装チュートリアル
はじめに近年、ローカル環境でLLMを動作させる需要が高まっています。その中で、Ollamaは手軽に使えるオープンソースのLLMプラットフォームとして注目を集めています。本記事では、Ollamaを使用した関数呼び出し（Function Cal...
ソフトウェア開発 マルチモデル K/V Context量子化 Ollamaベンチマークの コード解説
コードの全体構造ベンチマークツールは以下の主要なコンポーネントで構成されています：OllamaClientクラス：APIとの通信を管理ベンチマーク実行機能：複数モデルのテスト実行結果集計機能：モデル間の比較分析ロギング機能：詳細な実行ログの...
LLM OllamaのK/V Context量子化の実践的検証と実装
はじめにOllamaにおけるK/V context cache量子化は、VRAM使用量を大幅に削減できる革新的な技術です。本記事では、実際の検証結果を基に、その効果と実用性について詳しく解説します。また、検証に使用したスクリプトのセットアッ...
LLM OllamaのK/V Context量子化で実現するVRAM削減とモデル性能向上
はじめに：K/V Context量子化とはOllamaに革新的な機能、K/V context cache量子化が実装されました。この技術により、LLM（大規模言語モデル）のVRAM使用量を大幅に削減しながら、より大きなコンテキストサイズやモ...
Python開発 WikipediaデータからLlama 3.1用Q&Aデータセット生成ツールの解説（ Google Colabノートブック付）
はじめにこのツールは、Wikipediaの記事からLlama 3.1のファインチューニング用Q&Aデータセットを自動生成するためのものです。生成されたデータセットは、Llama 3.1の会話形式に準拠しており、高品質な学習データとして活用で...
Python開発 LiteLLMを活用してOllamaをGoogle Colabで効率的に運用する方法 (📒ノートブック付)
はじめにローカルLLMの運用において、OllamaとLiteLLMの組み合わせは非常に強力なソリューションとなっています。本記事では、Google Colab環境でこれらのツールを効率的に統合する方法を解説します。OllamaとはOllam...
Python開発 x.inferをGoogle Colabで試してみた！（Googleノートブック付）
はじめに最近、新しい画像認識モデルが次々とリリースされていますよね。例えばGPT-4V やClaude 3 など、画像認識の性能は日々進化しています。でも、こんな悩みはありませんか？🤔 新しいモデルを試したいけど、セットアップが面倒😅 異な...