データ分析 マーダーミステリーで学ぶ！LangfuseとRagasによるRAGシステム構築【Example 01】
はじめに大規模言語モデル（LLM）を活用したアプリケーションは、ドキュメント検索や質問応答など、多種多様なユースケースで利用されています。しかし、LLM を用いたシステムでは出力のクオリティ（モデルがどの程度正確か、根拠は正しいか）プロセス...
自然言語処理
データ分析 
大規模言語モデル (LLM) LightRAG：高速・低コストなグラフ統合RAGが拓く法務文書解析の新時代
LightRAGは、Retrieval-Augmented Generation（RAG）に知識グラフを統合し、法務文書解析をはじめとする複雑なドメインで圧倒的な効率性とカバレッジを実現します。本記事では、従来手法との比較、GraphRAG...
Python開発 🚀 LightRAG: シンプルかつ高速なRAGフレームワーク(GoogleColab付)
LightRAG公式ページ | arXiv:2410.05779 | LearnOpenCVでの紹介LightRAGは、テキストやナレッジグラフ、ベクターストアを活用して効率的なRAGワークフローを可能にするフレームワークです。ここでは、G...
自然言語処理 数行でできる！LangChainを使用してYouTube字幕を取得する方法
このノートブックでは、LangChainを使用してYouTube動画から字幕を取得する方法を説明します。LangChainのYouTubeLoaderを使用することで、簡単に字幕データを取得することができます。Youtubeの字幕取得もla...
AI・機械学習 Gemma 2 2B 日本語ファインチューニング & TPUv3-8 + Kaggle Hub公開
このノートブックでは、Googleが新たにリリースした軽量ながらも高性能な言語モデル Gemma 2 2B を、日本語データセット databricks-dolly-15k-ja でファインチューニングする方法を紹介します。さらに、Kagg...
自然言語処理 Gemma2-2b: TPUを活用したファインチューニングとKagglehubへのアップロード
はじめにこんにちは！今回は、Googleが新しくリリースしたGemma2-2b モデルを使って、TPU（Tensor Processing Unit）を活用したファインチューニングを行い、その結果をKagglehubにアップロードする方法を...
AI・機械学習 ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた
「クリスマスキャロル」の真のテーマは何だったのか？ローカル環境で構築した最強の質問応答AIで、その謎に迫ります！最近、ChatGPTをはじめとする大規模言語モデル(LLM)が注目を集めていますが、LLMは大量のテキストデータから学習するため...
Python開発 GraphRAGシステムの使い方：初心者向け完全ガイド
はじめにGraphRAGは、テキストデータのインデックス作成と質問応答を行うための強力なシステムです。この記事では、GraphRAGシステムの基本的な使い方を、初心者の方にも分かりやすく説明していきます。こちらの記事もおすすめGraphRA...
AI開発 LocalSearchを使った高度な文書検索と質問応答システムの構築
はじめにこの記事では、Microsoftが開発したGraphRAGライブラリを使用して、高度な文書検索と質問応答システムを構築する方法を解説します。LocalSearchという手法を用いて、AI抽出された知識グラフと生のドキュメントのテキス...
データサイエンス GraphRAG：LLMによるデータ分析の革新的手法
はじめに皆さん、こんにちは！今回は、最新の自然言語処理技術「GraphRAG」についてご紹介します。難しそうに聞こえるかもしれませんが、心配しないでください。できるだけわかりやすく、噛み砕いて説明していきますね。GraphRAGとは？Gra...