AI・機械学習 GoogleColabで複数のリトリーバーの結果を組み合わせる方法（Fate/stay night編）
はじめに前回の記事「GoogleColabで複数のリトリーバーの結果を組み合わせる方法」では、EnsembleRetrieverを使用して複数のリトリーバーの結果をアンサンブルする基本的な方法について説明しました。本記事では、より応用的な使...
自然言語処理
AI・機械学習 
自然言語処理 GoogleColabで複数のリトリーバーの結果を組み合わせる方法（ノート付）
GoogleColabで複数のリトリーバーの結果を組み合わせる方法はじめにEnsembleRetrieverとはEnsembleRetrieverは、複数の異なるリトリーバーの結果を組み合わせて、より高精度な検索結果を得るためのクラスです。...
AI・機械学習 VideoLLM-online: ストリーミング動画に対応した大規模言語モデル
はじめに近年、大規模言語モデル（LLM）は目覚ましい発展を遂げ、画像や動画を理解する能力を獲得しつつあります。しかし、従来のLLMは、予め用意された短い動画クリップを処理することを前提としているため、ストリーミング動画への対応には課題があり...
AI・機械学習 RecurrentGemma 日本語版README
RecurrentGemmaは、Google DeepMindによる、新しいGriffinアーキテクチャに基づいたオープンウェイトの言語モデルファミリーです。このアーキテクチャは、グローバルアテンションをローカルアテンションと線形再帰の混合...
AI・機械学習 Flaxを使用したRecurrentGemma2Bグリフィンモデルのファインチューニングチュートリアル(Kaggle、GoogleColabノート付)
こんにちは！今回は、Flaxを使用して2Bグリフィンモデルをシンプルな翻訳タスクにファインチューニングする方法を学びます。グリフィンモデルは強力な言語モデルで、ファインチューニングによって特定のタスクに適応させることができます。初心者の方に...
AI・機械学習 RecurrentGemma-9b: 革新的な自然言語処理モデルの登場
はじめに近年、自然言語処理（NLP）の分野では、大規模な言語モデルが目覚ましい進歩を遂げています。そんな中、Googleが開発したRecurrentGemmaモデルが注目を集めています。RecurrentGemmaは、従来のGemmaモデル...
テキスト生成 Difyのテキストジェネレーターで論文解説を自動生成する方法
はじめにDifyは自然言語処理AIを使ってテキスト生成などのタスクを簡単に行えるツールです。この記事では、Difyを使って論文の要点を自動でまとめる方法を解説します。論文を読むのは大変ですが、AIに頼れば短時間で論文の概要を把握できるように...
AI・機械学習 受動的な目標生成(Passive Goal Creator)パターンの概要と応用事例
はじめに近年、人工知能(AI)技術の発展に伴い、AIエージェントの設計と開発が注目を集めています。その中でも、受動的な目標生成(Passive Goal Creator)パターンは、ユーザーとのダイアログを通じて目標を生成する直感的なアプロ...
自然言語処理 トークナイザとボキャブラリの詳しい解説
はじめに自然言語処理（NLP）タスクを行う上で、トークナイザとボキャブラリは非常に重要な役割を果たします。この記事では、トークナイザとボキャブラリについて、初心者にもわかりやすいように丁寧に解説していきます。コーパスとはコーパスとは、自然言...
AI・機械学習 ClearMLとLangChainライブラリを使ったAI質問応答エージェントの作成方法
はじめにLangChainは、言語モデル（LLM）を使用して、高度な自然言語処理タスクを実行するためのライブラリです。このライブラリを使用すると、質問応答や文章要約などの複雑なタスクを、比較的簡単にプログラミングすることができます。この記事...