開発環境 🦙 Llama.cpp Docker Compose セットアップガイド
WindowsでLlama.cppを簡単に動かすためのDocker Composeセットアップです。APIサーバーによる運用が可能です。WindowsのDocker環境✖llama.cpp ✖ Gemma3nでlogprobs出力できた！！...
GGUF
開発環境 
AI評価 llama.cpp × Gemma3nでlogprobs出力！詳細な確率分析（GoogleColab📒ノートブック付）
このノートブックでは、llama.cppでGemma3nを動かし、トークンの生成確率（logprobs）を詳細に分析する方法を解説します。このノートブックでできることGemma3nの修正済みGGUFを使用（Google公式版は動作しません！...
チュートリアル HuggingFaceからGemma3nをダウンロードしてllama.cppで動かす（Google Colab📒ノートブック付）
HuggingFaceからGemma3nの修正済みGGUFファイルをダウンロードして、llama.cppで実行する効率的な方法です。GraphGen JP ✖ gemma3n でファインチューニングしてみる7⃣無事に、Unsloth版のGe...
AI・機械学習 Google Colab上でQLoRAを作成してGGUFに変換してみた
はじめにこのコードは、Google Colab（無料版でOK）上でQLoRA (Quantized Low-Rank Adaptation)を使用して大規模言語モデルを訓練し、その後GGUF形式に変換するためのものです。それぞれの部分につい...