AI・機械学習 vLLMとPagedAttentionについて語るスレ
はじめに大規模言語モデル（LLM）の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
大規模言語モデル
AI・機械学習 
大規模言語モデル vLLMとPagedAttention：LLM推論の革新的技術
vLLMとPagedAttention：LLM推論の革新的技術はじめに大規模言語モデル（LLM）の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttenti...
AI・機械学習 LiteLLMで無料Gemini+gpt-4o-mini+Haiku+sonnet3.5のParallel Function Callingを試す
はじめにこんにちは！今回は、LiteLLMライブラリを使って、GoogleのGemini Pro、OpenAIのgpt-4-o-mini、AnthropicのClaude 3.5 sonnet、Claude 3 haikuといった複数のモデ...
AI・機械学習 Gemma 2 2Bモデルの分散ファインチューニング: TPUを活用した効率的な学習方法（kaggleノート付）
はじめにこんにちは！今回は、Googleが新しくリリースしたGemma 2 2Bモデルを使って、TPU（Tensor Processing Unit）を活用した分散ファインチューニングを行う方法をご紹介します。この記事は、大規模言語モデル（...
AI開発ツール GPUStack：オープンソースGPUクラスターマネージャーの完全ガイド
はじめに人工知能（AI）と機械学習（ML）の急速な発展に伴い、大規模言語モデル（LLM）の需要が高まっています。しかし、これらのモデルを効率的に実行し管理することは、多くの組織にとって課題となっています。ここで登場するのが、GPUStack...
チュートリアル 【驚愕のコスパ】LLaMa 3.1 405B を 8B に変換！Google Colab で簡単実装
このガイドでは、高品質を維持しながらコストを大幅に削減できる、LLaMa 3.1 405B から LLaMa 3.1 8B への変換方法をステップバイステップで解説します。OctoAI inference を使用するため、OctoAI のア...
大規模言語モデル LLaMA 3.1モデルを使ったAIチャットボットの作成：初心者向けガイド
はじめにこの記事では、Meta社が開発した最新の大規模言語モデル「LLaMA 3.1」を使って、AIチャットボットを作成する方法を解説します。LLaMA 3.1は多言語対応の強力なモデルで、様々なタスクに適用できます。今回は、海賊風に話すチ...
ナチュラルランゲージプロセッシング Meta Llama 3.1 8Bモデルを使った自然言語処理：初心者のための完全ガイド（📒Kaggleノートブック付）
はじめにこんにちは！この記事では、Meta社が開発した最新の大規模言語モデル「Llama 3.1 8B」の使い方を、初心者の方にも分かりやすく解説します。自然言語処理の世界に一歩踏み出す準備はできていますか？一緒に学んでいきましょう！目次L...
大規模言語モデル Ollamaで始めるGoogle Gemma 2～高性能言語モデルの実践ガイド～《LangChain・LlamaIndex》
はじめにGoogle Gemma 2は、最新の高性能な言語モデルです。本記事では、Gemma 2の特徴と、Ollamaを使用した実行方法、さらにLangChainやLlamaIndexなどの人気ツールとの統合方法について詳しく解説します。G...
大規模言語モデル LangGraph入門：言語モデルを使った状態管理可能なマルチエージェントアプリケーションの構築
LangGraphとはLangGraphは、大規模言語モデル（LLM）を使用して、状態管理が可能なマルチエージェントアプリケーションを構築するためのライブラリです。このライブラリは、LangChain社によって開発されました。LangGra...