モデル評価

Python開発

Llama.cpp + WandBで始める日本語AI評価:Gemmaモデル(gemma-2-9b-it-Q4_K_M.gguf)のELYZA-tasks-100パフォーマンス分析

はじめにこんにちは!この記事では、Google Colab上でGemmaモデル(gemma-2-9b-it-Q4_K_M.gguf)を使用して、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語...
AI開発

Llama.cpp + WandBで始める日本語AI評価:KARAKURI-LMモデル(karakuri-lm-8x7b-instruct-v0.1-Q4_K_M.gguf)のELYZA-tasks-100パフォーマンス分析

はじめにこんにちは!今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-Q4_K_M.ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は...
AI・機械学習

Llama.cpp + WandBで始める日本語AI評価:karakuri-lm-8x7b-instruct-v0.1-ggufモデルのELYZA-tasks-100パフォーマンス分析

はじめにこんにちは!今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語モ...
AI・機械学習

Mixture-of-Agents: 複数のAI言語モデルを組み合わせてパワーアップする新手法

はじめに論文の背景近年、人工知能(AI)の分野で大きな注目を集めているのが「大規模言語モデル(LLM:Large Language Model)」です。これらのモデルは、人間のような自然な文章を生成したり、複雑な質問に答えたりする能力を持っ...
日本語AI

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動してELYZA-tasks-100の推論結果をWandBに送信する方法

はじめにこんにちは!今回は、llama.cppを使って「Umievo-itr012-Gleipnir-7B」モデルをサーバーとして起動し、ELYZA-tasks-100の推論結果をWandB(Weights and Biases)に送信する...
AI・機械学習

進化的モデルマージでAIモデルをパワーアップ!mergekit-evolve(GoogleColab版)

進化的なモデルマージとは、複数の言語モデルを組み合わせて、特定の能力や特性を持つ新しいモデルを作成する手法です。従来の手法では、どのモデルをどのように組み合わせるかは手探りで進める必要がありましたが、進化的なモデルマージでは、目標とする特性...