LLM OllamaのK/V Context量子化で実現するVRAM削減とモデル性能向上
はじめに：K/V Context量子化とはOllamaに革新的な機能、K/V context cache量子化が実装されました。この技術により、LLM（大規模言語モデル）のVRAM使用量を大幅に削減しながら、より大きなコンテキストサイズやモ...
大規模言語モデル
LLM 
Python開発 🦙 Unslothで作成したLLaMA 3.2ベースのファインチューニングモデルを使った高速推論ガイド（GoogleColab📒ノートブック付）
📦 必要なライブラリのインストール%%capture!pip install unsloth# 最新のUnslothナイトリービルドを取得!pip uninstall unsloth -y && pip install --upgrade ...
LLM 🤖 UnslothによるLLM-JPモデルの高速推論実装ガイド(Google Colab📒ノートブック付)
デモ動画LLama3.2 3Bファインチューニング実験 | 25Unslothの推論の実験！取り敢えずはLLM-JPでやってみた！ pic.twitter.com/N8ZdE06M1a— Maki@Sunwood AI Labs. (@h...
機械学習 Llama 3.2 Vision Finetuning Unsloth Radiography （📒Googgle colabノートブック付）
はじめにこのノートブックでは、医療画像分析のための大規模言語ビジョンモデル(Vision Language Model: VLM)のファインチューニングを行います。具体的には、Llama 3.2 11Bモデルを使用して、X線画像、CTスキャ...
ソフトウェア開発 LLM評価システム (LLMs as a Judge)：📒Goolgeノートブック付
はじめにこのノートブックでは、LLM（大規模言語モデル）の回答品質を自動的に評価するためのシステムを実装します。このシステムは、質問、模範解答、LLMの回答を比較し、4段階のスケールで評価を行います。目的LLMの回答品質を定量的に評価する評...
Python開発 LiteLLMを活用してOllamaをGoogle Colabで効率的に運用する方法 (📒ノートブック付)
はじめにローカルLLMの運用において、OllamaとLiteLLMの組み合わせは非常に強力なソリューションとなっています。本記事では、Google Colab環境でこれらのツールを効率的に統合する方法を解説します。OllamaとはOllam...
AIアプリケーション開発 Anthropic Claude の Computer Use Demo を解剖する：仮想世界を操るAIエージェント
この記事では、Anthropic社の提供するcomputer-use-demo-jpリポジトリを徹底的に解剖し、その構造、機能、そしてコードの詳細まで踏み込んで解説します。Claude 3.5 Sonnetの"computer use"機能...
AI・機械学習 LLMの効率化: Llama 3.1 8BからLlama-3.1-Minitron 4Bへのプルーニングと蒸留
はじめに：LLMの課題と小型化の重要性大規模言語モデル（LLM）は自然言語処理の分野で革命を起こしていますが、その巨大なサイズゆえに課題も抱えています。Llama 3.1 405BやNVIDIA Nemotron-4 340Bのような大規模...
AIツール AWS構成図を自動生成！Terraform × AI で実現するプロンプトジェネレータ
AWS構成図を自動生成！Terraform × AI で実現するプロンプトジェネレータはじめにAWSインフラの構築とその可視化に悩んでいませんか？EC2 AWS Visual Sandboxを使えば、Terraformで作成したAWSリソー...
AI・機械学習 Gemma 2 2B 日本語ファインチューニング & TPUv3-8 + Kaggle Hub公開
このノートブックでは、Googleが新たにリリースした軽量ながらも高性能な言語モデル Gemma 2 2B を、日本語データセット databricks-dolly-15k-ja でファインチューニングする方法を紹介します。さらに、Kagg...