AI・機械学習 SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説 この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特... 2024.04.18 AI・機械学習自然言語処理チュートリアル
チュートリアル 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ... 2024.04.17 チュートリアル大規模言語モデルAI・機械学習
チュートリアル PytorchとWandbを使ったモデル学習の基本 機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト... 2024.04.17 チュートリアル機械学習
チュートリアル Google ColabでKaggleデータセットをダウンロードする方法 Google Colabは無料で利用できるクラウドベースのJupyter Notebook環境です。Colabを使うと、ブラウザ上でPythonコードを実行し、機械学習モデルの構築やデータ分析を手軽に行えます。ここでは、Google Col... 2024.04.17 チュートリアルデータ収集Google Colab
チュートリアル musicgen-songstarter-v0.2 入門ガイド はじめにmusicgen-songstarter-v0.2 は、テキストから音楽を生成することができる機械学習モデルです。このモデルを使うことで、音楽制作のアイデア出しや、既存の音楽サンプルをリミックスすることができます。musicgen-... 2024.04.13 チュートリアルAI音楽生成
DevOps Docker上のHugging Faceアプリでファイル書き込み権限エラーを解決する方法 Dockerを使ってHugging Faceアプリを開発する際、ファイルの書き込み権限に関するエラーに遭遇することがよくあります。このエラーは、Dockerコンテナ内のユーザー権限が適切に設定されていないために発生します。この記事では、この... 2024.04.13 DevOpsチュートリアルHugging Face
チュートリアル AutoCodeRover入門 – 自動プログラム修正ツールを動かしてみよう! こんにちは!皆さんは、プログラミングのバグ修正や機能追加に苦労したことはありませんか?そんな悩みを解決してくれる夢のようなツール「AutoCodeRover」を、今回はDocker Composeを使って手軽に動かす方法を紹介します。こちら... 2024.04.11 チュートリアルAIコード生成ソフトウェア開発ツール
AI・機械学習 C4AI Command-R Google Colab L4で動かしてみた はじめに本記事では、Cohere For AIが開発した35億パラメータの大規模言語モデルであるC4AI Command-Rを使用して、Google Colab L4で実装する方法について解説します。Command-Rは、推論、要約、質問応... 2024.04.07 AI・機械学習チュートリアル大規模言語モデル
セキュリティ xz-utilsバックドアの影響検証実験ガイド はじめにxz-utilsのバックドアは、2024年3月に発見されたセキュリティ脆弱性であり、liblzmaライブラリに悪意のあるコードが仕込まれていました。このバックドアは、SSHデーモンのパフォーマンスに重大な影響を与えることが報告されて... 2024.04.03 セキュリティチュートリアル脆弱性診断
AIアシスタント Open Interpreter Dockerで手軽に Claude 3 Haiku を使おう はじめに近年、ChatGPTに代表される大規模言語モデル(LLM: Large Language Model)を利用したサービスが大きな注目を集めています。LLMを使えば自然言語での対話を通じて、プログラミングやデータ分析などの複雑なタスク... 2024.03.27 AIアシスタントチュートリアル大規模言語モデル