開発環境 🦙 Llama.cpp Docker Compose セットアップガイド WindowsでLlama.cppを簡単に動かすためのDocker Composeセットアップです。APIサーバーによる運用が可能です。WindowsのDocker環境✖llama.cpp ✖ Gemma3nでlogprobs出力できた!!... 2025.07.12 開発環境LLMWindows
開発環境 llama.cpp × Gemma3nでlogprobs出力!詳細な確率分析(GoogleColab📒ノートブック付) このノートブックでは、llama.cppでGemma3nを動かし、トークンの生成確率(logprobs)を詳細に分析する方法を解説します。このノートブックでできることGemma3nの修正済みGGUFを使用(Google公式版は動作しません!... 2025.07.12 開発環境AI・機械学習LLMAI評価
チュートリアル HuggingFaceからGemma3nをダウンロードしてllama.cppで動かす(Google Colab📒ノートブック付) HuggingFaceからGemma3nの修正済みGGUFファイルをダウンロードして、llama.cppで実行する効率的な方法です。GraphGen JP ✖ gemma3n でファインチューニングしてみる7⃣無事に、Unsloth版のGe... 2025.07.12 チュートリアル開発環境LLMモデル利用
AI開発ツール OpenHands CLIでカスタムOpenAI互換モデル(Litellm)を設定する方法 OpenHandsでは、OpenAI、Anthropic、その他のLLMプロバイダーだけでなく、カスタムのOpenAI互換APIエンドポイントも使用できます。この記事では、CLIの/settingsコマンドを使用してLitellmのカスタム... 2025.06.20 AI開発ツールCLILLM
VS Code Recline プロジェクトの概要と改造に向けた準備 はじめにこのドキュメントでは、recline プロジェクトの構造を詳しく解説し、改造を行う際の参考になる情報を提供します。ディレクトリ構造recline プロジェクトは、以下のディレクトリ構造を持っています。C:\Prj\recline├─... 2025.01.15 VS CodeLLM開発ツールAPI連携
LLM ai-gradioでGroqを試してみた!高速なLLMをGradioで簡単に使用 はじめに最近、AI開発のエコシステムで注目を集めているGroqが、ai-gradioライブラリでサポートされるようになりました。今回は、このai-gradioを使ってGroqの高速なLLMを試してみたので、その経験を共有したいと思います。a... 2025.01.05 LLMAI開発ツール
LLM 【連載】pydantic-ai徹底解説 (2) ツール呼び出しと依存性注入 前回は pydantic-ai を用いてシンプルにLLMへ問い合わせる方法を紹介しました。今回は、pydantic-ai の強力な機能である「ツール呼び出し(Function Tools)」と「依存性注入(DI)」を用いて、LLM に外部デ... 2024.12.08 LLMAIツールPython開発
LLM 【連載】pydantic-ai徹底解説 (1) はじめての pydantic-ai(GoogleColab付) 今回は Python で LLM(大規模言語モデル)を活用するための強力なフレームワーク「pydantic-ai」を紹介します。pydantic-ai は、Pydantic を活用した構造化レスポンスや型安全性、エージェント(Agent)・... 2024.12.07 LLMAI開発Python開発
LLM Ollamaとllama3.1 8bで始める関数呼び出し機能の実装チュートリアル はじめに近年、ローカル環境でLLMを動作させる需要が高まっています。その中で、Ollamaは手軽に使えるオープンソースのLLMプラットフォームとして注目を集めています。本記事では、Ollamaを使用した関数呼び出し(Function Cal... 2024.12.05 LLMAIツールプログラミング
LLM OllamaのK/V Context量子化の実践的検証と実装 はじめにOllamaにおけるK/V context cache量子化は、VRAM使用量を大幅に削減できる革新的な技術です。本記事では、実際の検証結果を基に、その効果と実用性について詳しく解説します。また、検証に使用したスクリプトのセットアッ... 2024.12.05 LLM開発ツール