開発ツール OllamaのK/V Context量子化の実践的検証と実装
はじめにOllamaにおけるK/V context cache量子化は、VRAM使用量を大幅に削減できる革新的な技術です。本記事では、実際の検証結果を基に、その効果と実用性について詳しく解説します。また、検証に使用したスクリプトのセットアッ...
LLM
開発ツール 
LLM OllamaのK/V Context量子化で実現するVRAM削減とモデル性能向上
はじめに：K/V Context量子化とはOllamaに革新的な機能、K/V context cache量子化が実装されました。この技術により、LLM（大規模言語モデル）のVRAM使用量を大幅に削減しながら、より大きなコンテキストサイズやモ...
LLM 🦙 Unslothで作成したLLaMA 3.2ベースのファインチューニングモデルを使った高速推論ガイド（GoogleColab📒ノートブック付）
📦 必要なライブラリのインストール%%capture!pip install unsloth# 最新のUnslothナイトリービルドを取得!pip uninstall unsloth -y && pip install --upgrade ...
機械学習 🤖 UnslothによるLLM-JPモデルの高速推論実装ガイド(Google Colab📒ノートブック付)
デモ動画LLama3.2 3Bファインチューニング実験 | 25Unslothの推論の実験！取り敢えずはLLM-JPでやってみた！ pic.twitter.com/N8ZdE06M1a— Maki@Sunwood AI Labs. (@h...
自然言語処理 数行でできる！LangChainを使用してYouTube字幕を取得する方法
このノートブックでは、LangChainを使用してYouTube動画から字幕を取得する方法を説明します。LangChainのYouTubeLoaderを使用することで、簡単に字幕データを取得することができます。Youtubeの字幕取得もla...
Google Colab LiteLLMを活用してOllamaをGoogle Colabで効率的に運用する方法 (📒ノートブック付)
はじめにローカルLLMの運用において、OllamaとLiteLLMの組み合わせは非常に強力なソリューションとなっています。本記事では、Google Colab環境でこれらのツールを効率的に統合する方法を解説します。OllamaとはOllam...
チュートリアル llama.cppをDocker-composeでビルドから構築する方法
はじめにllama.cppとはllama.cppは、Meta（旧Facebook）が開発したLLaMA（Large Language Model Meta AI）モデルを、C/C++で実装したオープンソースプロジェクトです。このプロジェクト...
LLM Google Colab上でGemma 2 GGUFモデル(gemma-2-9b-it-Q4_K_M.gguf)を使用する方法
はじめにこの記事では、Google Colab上でGemma 2モデルを使用する方法について、初心者の方にも分かりやすく解説します。Gemma 2は、Googleが開発した軽量で高性能な言語モデルです。Gemma 2モデルとはGemma 2...
LLM Gemma 2モデルを使用した最先端の自然言語処理：初心者のための完全ガイド
はじめにこんにちは！この記事では、Googleが開発した最新の言語モデル「Gemma 2」の使用方法について、初心者の方でも理解できるように丁寧に解説していきます。Gemma 2は、Googleの最先端AI技術を結集して作られた軽量かつ高性...
ソフトウェア開発 AIエージェント達の仮想ソフトウェア開発会社【ChatDev】を日本語対応のローカルLLMで動かしてみた【LMStudio】
はじめにAI技術が急速に進化する中で、AGIっぽいAIが注目を集めています。その中心となるのが、AIエージェント達が協力して動作する仮想ソフトウェア開発会社「ChatDev」です。この記事では、ChatDevを日本語環境で設定し、ローカルの...