LLM

Web開発

【MOA】社内向けAI Web UI構築ガイド:open webui + pipeline + langfuse

はじめに最近、企業内でAIを活用したいというニーズが高まっています。しかし、セキュリティやコスト管理の観点から、パブリックなAIサービスをそのまま利用するのは難しい場合があります。そこで今回は、MOA(Magic of AWS)プロジェクト...
AI・機械学習

LLMの効率化: Llama 3.1 8BからLlama-3.1-Minitron 4Bへのプルーニングと蒸留

はじめに:LLMの課題と小型化の重要性大規模言語モデル(LLM)は自然言語処理の分野で革命を起こしていますが、その巨大なサイズゆえに課題も抱えています。Llama 3.1 405BやNVIDIA Nemotron-4 340Bのような大規模...
AI・機械学習

vLLMとPagedAttentionについて語るスレ

はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
AWS

Terraformと生成AIでAWSインフラ構成図を自動生成する方法

このガイドでは、Terraformの状態ファイルを解析して、AWSインフラストラクチャの構成図を自動生成する方法を説明します。TerraformのAWSの構成図を可視化してみる④DiagramsでPythonスクリプトをLLMに書かせてみた...
Streamlit

Terraformで構築するAWS上のセッションマネージャーを用いたStreamlitアプリ開発環境

概要s02_streamlit_aws_deployerは、AWS上でStreamlitアプリケーションを自動的にデプロイし、スケジュールに基づいて管理するための高度なTerraformスクリプトです。このサンドボックス環境は、より複雑なA...
Python開発

HovercraftAPI v0.2.0: 3Dダイナミックトランジション

HovercraftAPIは、Markdownファイルから印象的なHovercraftプレゼンテーションを簡単に作成するためのPythonツールです。v0.2.0では、多くの画期的な新機能が追加され、プレゼンテーション作成の可能性が無限に広...
AI開発ツール

Claude-Engineer徹底解剖: AI駆動開発の舞台裏をMermaid図で完全解説

はじめにGitHubで公開されている革新的なAI搭載CLIツール「Claude-Engineer」。それは、Anthropic社の先進的な大規模言語モデル"Claude"のパワーを開発者の手に届ける、まさに"夢のツール"と言えるでしょう。し...
チュートリアル

LLaMA.cppをDockerで使う方法:初心者向け完全ガイド

はじめにこんにちは!今回は、LLaMA.cppをDockerで使用する方法について、初心者の方にも分かりやすく解説していきます。AI技術の進歩により、大規模言語モデル(LLM)を手軽に使えるようになりました。その中でもLLaMA.cppは、...
ソフトウェア開発ツール

HunkHeaderValidator: コード修正の精度を高める革新的なツール

はじめにプログラミングの世界では、コードの修正や更新は日常的に行われる重要な作業です。特に、大規模なプロジェクトや複雑なシステムでは、効率的かつ正確なコード修正が求められます。そんな中、AI技術の発展により、LLM(Large Langua...
AIコードアシスタント

CodeExtractorクラス:LLM出力からのコード抽出と検証の完全ガイド

はじめに近年、ChatGPTやGPT-4などの大規模言語モデル(LLM)の登場により、プログラミングの世界は大きな変革を迎えています。LLMは驚異的な自然言語理解力とコード生成能力を持っていますが、その出力からコードを正確に抽出し、検証する...