高速化

Python開発

🦙 Unslothで作成したLLaMA 3.2ベースのファインチューニングモデルを使った高速推論ガイド(GoogleColab📒ノートブック付)

📦 必要なライブラリのインストール%%capture!pip install unsloth# 最新のUnslothナイトリービルドを取得!pip uninstall unsloth -y && pip install --upgrade ...
大規模言語モデル

Unslothを使った高速なLlama 3.2ファインチューニング入門 (📒ノートブック付)

はじめにUnslothは、LLM(大規模言語モデル)のファインチューニングを大幅に高速化するライブラリーです。従来の手法と比較して約2倍の速度向上を実現し、メモリ使用量も削減できます。この記事では、Llama 3.2モデルを例に、Unslo...
AI・機械学習

vLLMとPagedAttentionについて語るスレ

はじめに大規模言語モデル(LLM)の世界で、効率的な推論は常に課題となっています。この記事では、その課題に革新的なソリューションを提供する「vLLM」と「PagedAttention」について詳しく解説します。これらの技術が、どのようにLL...
音声処理

Whisper Medusaを試してみた:高速で正確な音声認識モデル

音声認識技術の進歩は目覚ましく、最近では精度と速度の両面で大きな改善が見られています。今回は、OpenAIのWhisperモデルをベースに、さらなる高速化を実現した「Whisper Medusa」を実際に試してみました。「Whisper-M...
AI・機械学習

🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング

はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...