LLM 【完全解説】A100(40GB + RAM併用)環境でOllama（gpt-oss GGUF版）を動かし、OpenAI互換APIを構築する方法
本記事では、A100(40GB) GPU 環境を活用し、OllamaのGGUF量子化版 gpt-oss 20b / 120b モデルを動かして、OpenAI互換APIとして利用する方法を初心者でも分かるように解説します。GGUF量子化により...
LLM
LLM 
チュートリアル Google ColabでGemma + DeepEval QA評価システム構築ガイド
Google Colabの無料環境でGemma3nモデルを使い、DeepEvalによる高度なLLM as a Judge評価を実現する完全ガイドです。複雑な設定は不要で、環境変数変更だけでプロフェッショナルなQA評価システムが構築できます。...
開発環境 🦙 Llama.cpp Docker Compose セットアップガイド
WindowsでLlama.cppを簡単に動かすためのDocker Composeセットアップです。APIサーバーによる運用が可能です。WindowsのDocker環境✖llama.cpp ✖ Gemma3nでlogprobs出力できた！！...
AI評価 llama.cpp × Gemma3nでlogprobs出力！詳細な確率分析（GoogleColab📒ノートブック付）
このノートブックでは、llama.cppでGemma3nを動かし、トークンの生成確率（logprobs）を詳細に分析する方法を解説します。このノートブックでできることGemma3nの修正済みGGUFを使用（Google公式版は動作しません！...
モデル利用 HuggingFaceからGemma3nをダウンロードしてllama.cppで動かす（Google Colab📒ノートブック付）
HuggingFaceからGemma3nの修正済みGGUFファイルをダウンロードして、llama.cppで実行する効率的な方法です。GraphGen JP ✖ gemma3n でファインチューニングしてみる7⃣無事に、Unsloth版のGe...
LLM OpenHands CLIでカスタムOpenAI互換モデル（Litellm）を設定する方法
OpenHandsでは、OpenAI、Anthropic、その他のLLMプロバイダーだけでなく、カスタムのOpenAI互換APIエンドポイントも使用できます。この記事では、CLIの/settingsコマンドを使用してLitellmのカスタム...
API連携 Recline プロジェクトの概要と改造に向けた準備
はじめにこのドキュメントでは、recline プロジェクトの構造を詳しく解説し、改造を行う際の参考になる情報を提供します。ディレクトリ構造recline プロジェクトは、以下のディレクトリ構造を持っています。C:\Prj\recline├─...
LLM ai-gradioでGroqを試してみた！高速なLLMをGradioで簡単に使用
はじめに最近、AI開発のエコシステムで注目を集めているGroqが、ai-gradioライブラリでサポートされるようになりました。今回は、このai-gradioを使ってGroqの高速なLLMを試してみたので、その経験を共有したいと思います。a...
LLM 【連載】pydantic-ai徹底解説 (2) ツール呼び出しと依存性注入
前回は pydantic-ai を用いてシンプルにLLMへ問い合わせる方法を紹介しました。今回は、pydantic-ai の強力な機能である「ツール呼び出し(Function Tools)」と「依存性注入(DI)」を用いて、LLM に外部デ...
LLM 【連載】pydantic-ai徹底解説 (1) はじめての pydantic-ai（GoogleColab付）
今回は Python で LLM(大規模言語モデル)を活用するための強力なフレームワーク「pydantic-ai」を紹介します。pydantic-ai は、Pydantic を活用した構造化レスポンスや型安全性、エージェント(Agent)・...