大規模言語モデル

機械学習

Google Colabでのキャッシュ管理~初心者のための完全ガイド~

はじめにGoogle Colaboratory(通称:Colab)は、Pythonプログラミングと機械学習のための強力なクラウドベースの環境です。しかし、Colabセッションが終了すると、ローカルにインストールしたライブラリやダウンロードし...
AI開発

Llama.cpp + WandBで始める日本語AI評価:KARAKURI-LMモデル(karakuri-lm-8x7b-instruct-v0.1-Q4_K_M.gguf)のELYZA-tasks-100パフォーマンス分析

はじめにこんにちは!今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-Q4_K_M.ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は...
AI・機械学習

Llama.cpp + WandBで始める日本語AI評価:karakuri-lm-8x7b-instruct-v0.1-ggufモデルのELYZA-tasks-100パフォーマンス分析

はじめにこんにちは!今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語モ...
AI・機械学習

Mixture-of-Agents: 複数のAI言語モデルを組み合わせてパワーアップする新手法

はじめに論文の背景近年、人工知能(AI)の分野で大きな注目を集めているのが「大規模言語モデル(LLM:Large Language Model)」です。これらのモデルは、人間のような自然な文章を生成したり、複雑な質問に答えたりする能力を持っ...
AI・機械学習

Google ColabでKARAKURI LM 8x7B Instruct v0.1を動かす方法:初心者向け完全ガイド

はじめにこの記事では、国産LLM(大規模言語モデル)の最新版である「KARAKURI LM 8x7B Instruct v0.1」をGoogle Colab上で動かす方法を、初心者の方にも分かりやすく解説します。このモデルは、Functio...
AI・機械学習

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動してELYZA-tasks-100の推論結果をWandBに送信する方法

はじめにこんにちは!今回は、llama.cppを使って「Umievo-itr012-Gleipnir-7B」モデルをサーバーとして起動し、ELYZA-tasks-100の推論結果をWandB(Weights and Biases)に送信する...
AI・機械学習

GoogleColabで複数のリトリーバーの結果を組み合わせる方法(Fate/stay night編)

はじめに前回の記事「GoogleColabで複数のリトリーバーの結果を組み合わせる方法」では、EnsembleRetrieverを使用して複数のリトリーバーの結果をアンサンブルする基本的な方法について説明しました。本記事では、より応用的な使...
AI・機械学習

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)

はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...
チュートリアル

GoogleColabとAPIキーを使ってNemotron-4-340B-Instructモデルを利用する方法(Google Colabノート付)

はじめにNemotron-4-340B-Instructは、NVIDIA社が開発した大規模言語モデル(LLM)です。このモデルは、英語でのチャットやタスク指向の対話に最適化されています。本記事では、GoogleColabを使ってAPIキーで...
AI・機械学習

VideoLLM-online: ストリーミング動画に対応した大規模言語モデル

はじめに近年、大規模言語モデル(LLM)は目覚ましい発展を遂げ、画像や動画を理解する能力を獲得しつつあります。しかし、従来のLLMは、予め用意された短い動画クリップを処理することを前提としているため、ストリーミング動画への対応には課題があり...