llama.cpp

AI開発

Llama.cpp + WandBで始める日本語AI評価：KARAKURI-LMモデル（karakuri-lm-8x7b-instruct-v0.1-Q4_K_M.gguf）のELYZA-tasks-100パフォーマンス分析

はじめにこんにちは！今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-Q4_K_M.ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は...
2024.06.25
AI開発AI・機械学習
AI・機械学習

Llama.cpp + WandBで始める日本語AI評価：karakuri-lm-8x7b-instruct-v0.1-ggufモデルのELYZA-tasks-100パフォーマンス分析

はじめにこんにちは！今回は、Google Colab上でkarakuri-lm-8x7b-instruct-v0.1-ggufモデルを使って、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語モ...
2024.06.23
AI・機械学習自然言語処理
日本語AI

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動してELYZA-tasks-100の推論結果をWandBに送信する方法

はじめにこんにちは！今回は、llama.cppを使って「Umievo-itr012-Gleipnir-7B」モデルをサーバーとして起動し、ELYZA-tasks-100の推論結果をWandB（Weights and Biases）に送信する...
2024.06.21
日本語AIAI・機械学習
AI・機械学習

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)

はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...
2024.06.20
AI・機械学習日本語AI