開発環境 🦙 Llama.cpp Docker Compose セットアップガイド
WindowsでLlama.cppを簡単に動かすためのDocker Composeセットアップです。APIサーバーによる運用が可能です。WindowsのDocker環境✖llama.cpp ✖ Gemma3nでlogprobs出力できた！！...
llama.cpp
開発環境 
AI評価 llama.cpp × Gemma3nでlogprobs出力！詳細な確率分析（GoogleColab📒ノートブック付）
このノートブックでは、llama.cppでGemma3nを動かし、トークンの生成確率（logprobs）を詳細に分析する方法を解説します。このノートブックでできることGemma3nの修正済みGGUFを使用（Google公式版は動作しません！...
チュートリアル HuggingFaceからGemma3nをダウンロードしてllama.cppで動かす（Google Colab📒ノートブック付）
HuggingFaceからGemma3nの修正済みGGUFファイルをダウンロードして、llama.cppで実行する効率的な方法です。GraphGen JP ✖ gemma3n でファインチューニングしてみる7⃣無事に、Unsloth版のGe...
チュートリアル llama.cppをDocker-composeでビルドから構築する方法
はじめにllama.cppとはllama.cppは、Meta（旧Facebook）が開発したLLaMA（Large Language Model Meta AI）モデルを、C/C++で実装したオープンソースプロジェクトです。このプロジェクト...
チュートリアル LLaMA.cppをDockerで使う方法：初心者向け完全ガイド
はじめにこんにちは！今回は、LLaMA.cppをDockerで使用する方法について、初心者の方にも分かりやすく解説していきます。AI技術の進歩により、大規模言語モデル（LLM）を手軽に使えるようになりました。その中でもLLaMA.cppは、...
Python開発 Llama.cpp + WandBで始める日本語AI評価：Gemmaモデル（gemma-2-9b-it-Q4_K_M.gguf）のELYZA-tasks-100パフォーマンス分析
はじめにこんにちは！この記事では、Google Colab上でGemmaモデル（gemma-2-9b-it-Q4_K_M.gguf）を使用して、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語...
AI開発 Llama.cpp + WandBで始める日本語AI評価：KARAKURI-LMモデル（karakuri-lm-8x7b-instruct-v0.1-Q4_K_M.gguf）のELYZA-tasks-100パフォーマンス分析
はじめにこんにちは！今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-Q4_K_M.ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は...
AI・機械学習 Llama.cpp + WandBで始める日本語AI評価：karakuri-lm-8x7b-instruct-v0.1-ggufモデルのELYZA-tasks-100パフォーマンス分析
はじめにこんにちは！今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語モ...
日本語AI llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動してELYZA-tasks-100の推論結果をWandBに送信する方法
はじめにこんにちは！今回は、llama.cppを使って「Umievo-itr012-Gleipnir-7B」モデルをサーバーとして起動し、ELYZA-tasks-100の推論結果をWandB（Weights and Biases）に送信する...
AI・機械学習 llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)
はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...