サーバー

AI・機械学習

llama.cppで「Umievo-itr012-Gleipnir-7B」をサーバー起動する方法(GoogleColab)

はじめに本記事では、純粋なC/C++で実装された言語モデル推論ツールである「llama.cpp」を、Google Colab上でサーバーとして起動し、HTTPリクエストを送信して推論を行う方法を初心者向けに解説します。今回は、4つの強力な日...