AI・機械学習 llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab) はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日... 2024.06.20 AI・機械学習日本語AI