AI評価 llama.cpp × Gemma3nでlogprobs出力！詳細な確率分析（GoogleColab📒ノートブック付）
このノートブックでは、llama.cppでGemma3nを動かし、トークンの生成確率（logprobs）を詳細に分析する方法を解説します。このノートブックでできることGemma3nの修正済みGGUFを使用（Google公式版は動作しません！...
推論
AI評価 
チュートリアル HuggingFaceからGemma3nをダウンロードしてllama.cppで動かす（Google Colab📒ノートブック付）
HuggingFaceからGemma3nの修正済みGGUFファイルをダウンロードして、llama.cppで実行する効率的な方法です。GraphGen JP ✖ gemma3n でファインチューニングしてみる7⃣無事に、Unsloth版のGe...
機械学習 🤖 UnslothによるLLM-JPモデルの高速推論実装ガイド(Google Colab📒ノートブック付)
デモ動画LLama3.2 3Bファインチューニング実験 | 25Unslothの推論の実験！取り敢えずはLLM-JPでやってみた！ pic.twitter.com/N8ZdE06M1a— Maki@Sunwood AI Labs. (@h...
AIエージェント開発 phidata Agents クックブック (日本語版)
この記事は、phidataのAgentsサンプル集を日本語化し、実践的なチュートリアルとして再構成したものです。AIエージェントの基本から応用まで、ステップバイステップで学ぶことができます。📚 学習コンテンツ基礎編: AIエージェントの基本...
AI・機械学習 vLLMとPagedAttentionについて語るスレ
はじめに大規模言語モデル（LLM）の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
大規模言語モデル vLLMとPagedAttention：LLM推論の革新的技術
vLLMとPagedAttention：LLM推論の革新的技術はじめに大規模言語モデル（LLM）の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttenti...
機械学習 Abstraction and Reasoning Corpus (ARC) チャレンジ 2024 入門ガイド
はじめにAbstraction and Reasoning Corpus (ARC) チャレンジは、人工知能の抽象化と推論能力を測るための興味深いコンペティションです。このガイドでは、ARCチャレンジ2024のデータセットを可視化し、基本的...
AI・機械学習 AutoRound: 大規模言語モデルのための高度な量子化アルゴリズム
近年の大規模言語モデル (LLM) の進化は目覚ましいものですが、その性能と引き換えに、莫大な計算資源とメモリが必要となる点が課題となっています。AutoRoundは、この課題を解決するべく開発された、LLMのための高度な量子化アルゴリズム...
AI・機械学習 llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)
はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...