Wikipedia

チュートリアル

PythonでWikipediaをスクレイピングし、Markdownに変換する方法

この記事では、Pythonを使用して特定のWikipediaページからコンテンツを取得し、不要な部分を削除・整形した上で、Markdownファイルとして保存するスクリプトについて解説します。Webスクレイピングライブラリのrequestsと...
Python開発

WikipediaデータからLlama 3.1用Q&Aデータセット生成ツールの解説( Google Colabノートブック付)

はじめにこのツールは、Wikipediaの記事からLlama 3.1のファインチューニング用Q&Aデータセットを自動生成するためのものです。生成されたデータセットは、Llama 3.1の会話形式に準拠しており、高品質な学習データとして活用で...
AI・機械学習

Fate Stay Nightで学ぶGraphRAG(GoogleColab付)

はじめにGraph retrieval augmented generation (Graph RAG) は、従来のベクター検索による情報検索手法に強力な手法として注目を集めています。Graph RAGは、データをノードと関係性で構造化する...