推論

AIエージェント開発

phidata Agents クックブック (日本語版)

この記事は、phidataのAgentsサンプル集を日本語化し、実践的なチュートリアルとして再構成したものです。AIエージェントの基本から応用まで、ステップバイステップで学ぶことができます。📚 学習コンテンツ基礎編: AIエージェントの基本...
AI・機械学習

vLLMとPagedAttentionについて語るスレ

はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
大規模言語モデル

vLLMとPagedAttention:LLM推論の革新的技術

vLLMとPagedAttention:LLM推論の革新的技術はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttenti...
機械学習

Abstraction and Reasoning Corpus (ARC) チャレンジ 2024 入門ガイド

はじめにAbstraction and Reasoning Corpus (ARC) チャレンジは、人工知能の抽象化と推論能力を測るための興味深いコンペティションです。このガイドでは、ARCチャレンジ2024のデータセットを可視化し、基本的...
AI・機械学習

AutoRound: 大規模言語モデルのための高度な量子化アルゴリズム

近年の大規模言語モデル (LLM) の進化は目覚ましいものですが、その性能と引き換えに、莫大な計算資源とメモリが必要となる点が課題となっています。AutoRoundは、この課題を解決するべく開発された、LLMのための高度な量子化アルゴリズム...
AI・機械学習

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)

はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...