LLM SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
Git
LLM 
LLM Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
Docker ParrotOSへのDocker導入ガイド
はじめにこのガイドでは、ParrotOSにDockerをインストールする方法を解説します。ParrotOSのコードネームとDebianのコードネームの違いによる問題を解決し、簡単にDockerを導入できるようになります。こちらの記事もおすす...
AI Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法
Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この...
AI Hugging Face CI/CDにおけるエラー解消: Git LFS設定と画像ファイルの履歴削除
はじめにこの記事では、Hugging Faceとの連携におけるCI/CDプロセス中に生じる可能性のあるエラーを解消する方法を解説します。具体的には、Gitリポジトリで大きな画像ファイル（PNG、GIF、JPG）を扱う際に発生する問題を解決す...
AGI ろんJ 実況～論文をなんJ風に解説＆実況～
論文は難しそうで読むのが億劫だと感じたことはありませんか？でもそんな人でも、「ろんJ」を使えば論文の内容が面白おかしく理解できるかもしれません。「ろんJ」は、アップロードした論文の内容を、あの有名な２ちゃんねるの「なんでも実況J」（通称：な...
AI実況 Deepgramでマイクからリアルタイム文字起こしをしてみた
Deepgramは、最先端の音声認識技術を提供するプラットフォームです。この記事では、Deepgramを使ってマイクからの音声をリアルタイムで文字に変換する方法を、初心者にも分かるように解説します。Pythonを使ったシンプルなスクリプトを...
AGI OpenCodeInterpreterのデモを触ってみた
OpenCodeInterpreterは、開発者やプログラミング愛好家の間で注目を集めています。その公式デモを体験し、その機能と制約について深堀りしてみました。この記事では、m-a-p/OpenCodeInterpreter-DS-6.7B...
AGI 【日本語訳】OpenCodeInterpreter: コード生成、実行、および改善の統合
OpenCodeInterpreter: コード生成、実行、および改善の統合 | こちらの記事もおすすめ🌟 近日中の新機能💡 OpenCodeInterpreter-SC2シリーズモデル（StarCoder2ベース）のオープンソ...
AGI Dockerを活用してLocal-Code-Interpreterを手軽に始めよう
OpenAIのChatGPTコードインタープリター（現在は高度なデータ分析として再命名されています）は、AIモデル内でPythonコードを実行する革命的な機能を提供します。しかし、この機能はオンラインのサンドボックス内でコードを実行するため...