大規模言語モデル JAXとWandbとSelf-ConsistencyとWeaveを使ったGemma Instruct 2Bモデルのファインチューニング入門
Gemma Instruct 2Bモデルは、自然言語処理タスクに優れたパフォーマンスを発揮する大規模言語モデルです。このモデルをファインチューニングすることで、特定のタスクにおける性能をさらに向上させることができます。 本記事では、JAX、...
自然言語処理
大規模言語モデル 
AI・機械学習 SFTTrainer と TrainingArguments を使ってバッチ数を小さくしてステップを少なくした学習コードの解説
この記事では、Hugging Face の Transformers ライブラリの SFTTrainer と TrainingArguments を使って、限られたリソースでも効率的に言語モデルをファインチューニングする方法を解説します。特...
自然言語処理 Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
自然言語処理 OpenToM: AIが人の心を読む能力をテストするための新しいベンチマーク
OpenToM: 大規模言語モデルのTheory-of-Mind推論能力を評価する包括的ベンチマークOpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reaso...
AI・機械学習 日本語版：OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text～高品質な数学関連のウェブテキストを集めたオープンデータセット～
はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...
自然言語処理 RAGシステムの検索に新たな知見！日本語版 The Power of Noise: Redefining Retrieval for RAG Systems
ろんJアイスブレイク1 ： 名無し専門家 ：2024/04/02(火) 12:34:56.78 ID:IR56この論文は、Retrieval-Augmented Generation (RAG) システムにおける検索の役割について興味深い洞...
自然言語処理 ろんJ 実況～論文をなんJ風に解説＆実況～
論文は難しそうで読むのが億劫だと感じたことはありませんか？でもそんな人でも、「ろんJ」を使えば論文の内容が面白おかしく理解できるかもしれません。「ろんJ」は、アップロードした論文の内容を、あの有名な２ちゃんねるの「なんでも実況J」（通称：な...
AI・機械学習 大規模マルチモーダルモデル（Large Multi-Modal Models、以下LMMs）における視覚言語調整を促進するための足場座標（Scaffolding Coordinates）
概要最先端の大規模マルチモーダルモデル（LMMs）は、視覚言語タスクで優れた能力を示してきました。しかし、高度な機能にもかかわらず、複数レベルの視覚情報を用いた複雑な推論が必要とされる難しいシナリオでは、LMMsのパフォーマンスはまだ限られ...
AI・機械学習 Anthropicとは
AI 安全性研究のフロンティアAnthropic は、AI 技術の発展と社会実装において重要な役割を担う、サンフランシスコに本拠を置く AI 安全性と研究開発の会社です。同社は、AI がもたらす可能性を最大限に引き出しつつ、その安全性と信頼...
AI・機械学習 BitNetのリポジトリ日本語化
BitNetは、大規模言語モデルのための1ビットトランスフォーマーを拡張する新しい取り組みです。この記事では、BitNetの基本から最新の進展まで、初心者でも理解しやすいように解説します。論文「BitNet: Scaling 1-bit T...