maki

AI開発

LlamaIndexのOpenAI Pydantic Program:構造化データ生成方法

はじめにOpenAIの新しいAPIを使用して、LlamaIndexを介して構造化データを生成する方法を紹介します。このガイドでは、ユーザーがPydanticオブジェクトを指定するだけで、簡単に構造化データを抽出できることを示します。主に以下...
AI・機械学習

LLMの効率化: Llama 3.1 8BからLlama-3.1-Minitron 4Bへのプルーニングと蒸留

はじめに:LLMの課題と小型化の重要性大規模言語モデル(LLM)は自然言語処理の分野で革命を起こしていますが、その巨大なサイズゆえに課題も抱えています。Llama 3.1 405BやNVIDIA Nemotron-4 340Bのような大規模...
AIプラットフォーム

Ori Serverless Kubernetes: AI/ML開発を加速させる革新的なインフラストラクチャサービス

Ori Serverless Kubernetesは、Kubernetesの拡張性と柔軟性をサーバーレスプラットフォームのシンプルさと組み合わせた、画期的なAIインフラストラクチャサービスです。このサービスにより、開発者は基盤となるインフラ...
AI・機械学習

vLLMとPagedAttentionについて語るスレ

はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
大規模言語モデル

vLLMとPagedAttention:LLM推論の革新的技術

vLLMとPagedAttention:LLM推論の革新的技術はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttenti...
AI開発環境

Deep-Live-Cam を Windows + GPU で動かすガイド

環境のセットアップDeep-Live-Cam を正しく動作させるためには、適切な環境設定が不可欠です。以下のソフトウェアをインストールしてください:Python 3.10(重要:3.12 ではエラーが発生するため、必ず 3.10 を使用して...
AI画像生成

SimpleTuner v0.9.8.1でFluxモデル微調整が進化 – StableDiffusion界隈に朗報

はじめにStableDiffusionユーザーの皆さん、お待たせしました!SimpleTunerの最新バージョンv0.9.8.1がついにリリースされ、Fluxモデルの微調整において画期的な進歩を遂げました。本記事では、この重要なアップデート...
API開発

【簡単3ステップ】Terraform で AWS Lambda + API Gateway + Docker (FastAPI) を自動デプロイ

はじめにこの記事では、AWS Lambda、API Gateway、そして Docker コンテナ化された FastAPI アプリケーションを Terraform を使用して自動デプロイする方法を紹介します。わずか3ステップで、API キー...
サーバーレス

TerraformでAWS Lambda + API GatewayのサーバーレスAPIを構築する方法

はじめにこの記事では、Terraformを使用してAWS LambdaとAmazon API Gatewayを組み合わせたシンプルなサーバーレスAPIをデプロイする方法を解説します。aws-terraform-sandboxプロジェクトのs...
サーバーレス

TerraformでAWS Lambda関数を作成する方法:シンプルな実装ガイド

はじめにAWSのサーバーレスコンピューティングサービスであるLambdaは、アプリケーション開発において非常に強力なツールです。本記事では、Terraformを使用してAWS Lambda関数を簡単に作成する方法を、aws-terrafor...