LLM SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
Streamlit
LLM 
LLM Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
AI Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法
Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この...
AGI ろんJ 実況～論文をなんJ風に解説＆実況～
論文は難しそうで読むのが億劫だと感じたことはありませんか？でもそんな人でも、「ろんJ」を使えば論文の内容が面白おかしく理解できるかもしれません。「ろんJ」は、アップロードした論文の内容を、あの有名な２ちゃんねるの「なんでも実況J」（通称：な...
claude Manim-Examples-Docker
この記事では、Dockerを使用してManimでアニメーションを作成するための例と手順について説明します。こちらの記事もおすすめManimとはPythonベースPythonの知識があれば比較的簡単にアニメーションを作成できます。Python...
claude 【GoogleColabノートブック付】claude3を使用してスライドムービー作ってみた
こちらの記事もおすすめ内容の要約プロンプト下記リポジトリを初心者でも分かるように解説して出力このリポジトリは「Petals」というプロジェクトのソースコードが含まれています。Petalsは、大規模な言語モデル(LLM)を複数のコンピュータで...
AI実況 Deepgramでマイクからリアルタイム文字起こしをしてみた
Deepgramは、最先端の音声認識技術を提供するプラットフォームです。この記事では、Deepgramを使ってマイクからの音声をリアルタイムで文字に変換する方法を、初心者にも分かるように解説します。Pythonを使ったシンプルなスクリプトを...
LLM huggingfaceでStreamlitを立ち上げてLineBotを作る
はじめにこの記事では、Hugging FaceのStreamlitを使用してLINE Botを構築する方法を解説します。まず、必要なライブラリをインポートし、設定ファイルを作成して、その後にメインのBotプログラムを実行する流れになります。...