データセット 日本語版：OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text～高品質な数学関連のウェブテキストを集めたオープンデータセット～
はじめに (Introduction)近年、大規模言語モデル(large language models)の発展により、数学的推論能力の向上が注目を集めています。特に、arXivやウェブ上の数十億トークンの数学文書を用いて事前学習を行ったM...
AI・機械学習
データセット 
AI・機械学習 ソフトウェア開発を効率化する「SourceSage」の使い方
ソフトウェア開発において、コードの品質向上やドキュメント管理は重要ですが、手間のかかる作業です。「SourceSage」は、AIの力を活用してこれらの課題を自動化し、開発のライフサイクル全体を通して生産性向上を支援するPythonツールです...
AI・機械学習 C4AI Command-R Google Colab L4で動かしてみた
はじめに本記事では、Cohere For AIが開発した35億パラメータの大規模言語モデルであるC4AI Command-Rを使用して、Google Colab L4で実装する方法について解説します。Command-Rは、推論、要約、質問応...
AI・機械学習 AnyGPTをDockerで簡単に実行する方法
はじめにAnyGPTは、音声、テキスト、画像、音楽など様々なモダリティを統一的に処理できるマルチモーダル言語モデルです。この記事では、Dockerを使ってAnyGPTを簡単に実行する方法を初心者向けに解説します。AnyGPTとはAnyGPT...
AI・機械学習 LiteLLMのDockerセットアップ
LiteLLMは、OpenAI形式を使用してすべてのLLM APIを呼び出すことができるツールです。このガイドでは、初心者でも理解できるように、LiteLLMをDockerを使用してセットアップする方法を丁寧に説明します。こちらの記事もおす...
AI・機械学習 大規模マルチモーダルモデル（Large Multi-Modal Models、以下LMMs）における視覚言語調整を促進するための足場座標（Scaffolding Coordinates）
概要最先端の大規模マルチモーダルモデル（LMMs）は、視覚言語タスクで優れた能力を示してきました。しかし、高度な機能にもかかわらず、複数レベルの視覚情報を用いた複雑な推論が必要とされる難しいシナリオでは、LMMsのパフォーマンスはまだ限られ...
自然言語処理 Anthropicとは
AI 安全性研究のフロンティアAnthropic は、AI 技術の発展と社会実装において重要な役割を担う、サンフランシスコに本拠を置く AI 安全性と研究開発の会社です。同社は、AI がもたらす可能性を最大限に引き出しつつ、その安全性と信頼...
AI・機械学習 Gorilla OpenFunctions: 大規模言語モデルとAPIを繋ぐ画期的なオープンソース・プロジェクト
Gorilla OpenFunctionsとはGorilla OpenFunctionsは、大規模言語モデル(Large Language Model, LLM)のチャット補完機能を拡張し、自然言語の指示とAPIの文脈から実行可能なAPI呼...
AI・機械学習 LangchainとGeminiを使ってみた(GoogleColab付)
Langchainは、言語モデルを活用したアプリケーション開発のためのフレームワークです。この記事では、Langchainを使ってGoogleのGenerative AIモデルを効果的に使用する方法を、初心者にも分かりやすく解説します。La...
AI・機械学習 BitNetのリポジトリ日本語化
BitNetは、大規模言語モデルのための1ビットトランスフォーマーを拡張する新しい取り組みです。この記事では、BitNetの基本から最新の進展まで、初心者でも理解しやすいように解説します。論文「BitNet: Scaling 1-bit T...