AI・機械学習 SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説 この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特... 2024.04.18 AI・機械学習自然言語処理チュートリアル
自然言語処理 Supervised Fine-tuning Trainer (SFT) 入門 Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ... 2024.04.18 自然言語処理大規模言語モデル機械学習TRL
自然言語処理 OpenToM: AIが人の心を読む能力をテストするための新しいベンチマーク OpenToM: 大規模言語モデルのTheory-of-Mind推論能力を評価する包括的ベンチマークOpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reaso... 2024.04.17 自然言語処理AI評価
AI・機械学習 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ... 2024.04.17 AI・機械学習チュートリアル大規模言語モデル
チュートリアル PytorchとWandbを使ったモデル学習の基本 機械学習のモデル開発において、実験管理は非常に重要です。この記事では、Pytorchを用いたモデル学習の基本的な流れと、実験管理ツールであるWandbの使い方について解説します。必要なライブラリのインストールまず、必要なライブラリをインスト... 2024.04.17 チュートリアル機械学習
チュートリアル Google ColabでKaggleデータセットをダウンロードする方法 Google Colabは無料で利用できるクラウドベースのJupyter Notebook環境です。Colabを使うと、ブラウザ上でPythonコードを実行し、機械学習モデルの構築やデータ分析を手軽に行えます。ここでは、Google Col... 2024.04.17 チュートリアルデータ収集Google Colab
自然言語処理 日本語版:OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text~高品質な数学関連のウェブテキストを集めたオープンデータセット~ はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM... 2024.04.15 自然言語処理日本語AIデータセットAI・機械学習
大規模言語モデル DeepSeek-Mathリポジトリの概要 DeepSeek-Mathは、大規模言語モデルDeepSeekをベースに、数学関連タスクで高い性能を発揮するように追加学習したモデルです。このリポジトリでは、以下のモデルが公開されています。DeepSeekMath-Base: ベースモデル... 2024.04.15 大規模言語モデル数学AI
Linux ParrotOSへのDocker導入ガイド はじめにこのガイドでは、ParrotOSにDockerをインストールする方法を解説します。ParrotOSのコードネームとDebianのコードネームの違いによる問題を解決し、簡単にDockerを導入できるようになります。こちらの記事もおすす... 2024.04.15 LinuxDevOps
チュートリアル musicgen-songstarter-v0.2 入門ガイド はじめにmusicgen-songstarter-v0.2 は、テキストから音楽を生成することができる機械学習モデルです。このモデルを使うことで、音楽制作のアイデア出しや、既存の音楽サンプルをリミックスすることができます。musicgen-... 2024.04.13 チュートリアルAI音楽生成