データサイエンス LLM評価システム (LLMs as a Judge)：📒Goolgeノートブック付
はじめにこのノートブックでは、LLM（大規模言語モデル）の回答品質を自動的に評価するためのシステムを実装します。このシステムは、質問、模範解答、LLMの回答を比較し、4段階のスケールで評価を行います。目的LLMの回答品質を定量的に評価する評...
データセット
データサイエンス 
機械学習 Abstraction and Reasoning Corpus (ARC) チャレンジ 2024 入門ガイド
はじめにAbstraction and Reasoning Corpus (ARC) チャレンジは、人工知能の抽象化と推論能力を測るための興味深いコンペティションです。このガイドでは、ARCチャレンジ2024のデータセットを可視化し、基本的...
データサイエンス 《数学自動生成データセット》Pythonによる数学問題のデータ拡張: 10種類の問題を自動生成
description（説明の追加）このデータセットは、Pythonを使って数学の問題を自動生成するためのサンプルコードと生成されたデータを含んでいます。元となる10種類の数学問題のテンプレートを用意し、各問題に対してパラメータをランダムに...
自然言語処理 Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
自然言語処理 OpenToM: AIが人の心を読む能力をテストするための新しいベンチマーク
OpenToM: 大規模言語モデルのTheory-of-Mind推論能力を評価する包括的ベンチマークOpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reaso...
チュートリアル Google ColabでKaggleデータセットをダウンロードする方法
Google Colabは無料で利用できるクラウドベースのJupyter Notebook環境です。Colabを使うと、ブラウザ上でPythonコードを実行し、機械学習モデルの構築やデータ分析を手軽に行えます。ここでは、Google Col...