自然言語処理 JAXとWeights & Biasesを用いたGemma Instruct 2BモデルのFinetuning入門
はじめにこのノートブックでは、JAXをバックエンドに使用して、Kaggleの"AI Mathematical Olympiad"コンペティションに向けてGemma Instruct 2Bモデルをfinetuningする方法について解説します...
maki
自然言語処理 
AI・機械学習 Kaggle「AI Mathematical Olympiad」に挑戦！ファインチューニング済みGemma Instruct 2Bモデルで数学問題を解き明かせ
こんにちは！この記事では、Kaggleの「AI Mathematical Olympiad」コンペティションに向けて、ファインチューニング済みのGemma Instruct 2Bモデルを使用する方法を解説します。初心者の方でも完璧に理解でき...
自然言語処理 JAXとWandbとSelf-ConsistencyとWeaveを使ったGemma Instruct 2Bモデルのファインチューニング入門
Gemma Instruct 2Bモデルは、自然言語処理タスクに優れたパフォーマンスを発揮する大規模言語モデルです。このモデルをファインチューニングすることで、特定のタスクにおける性能をさらに向上させることができます。 本記事では、JAX、...
AI・機械学習 Kotoba-Whisper入門 – 日本語音声認識の新しい選択肢
はじめにKotoba-Whisperは、Asahi UshioとKotoba Technologiesが共同開発した、日本語の音声認識(ASR)に特化した蒸留Whisperモデルのコレクションです。OpenAIのWhisper large-...
AI・機械学習 Phi-3-Mini-128K-Instructモデルの概要
Phi-3-Mini-128K-Instructモデルの概要Phi-3-Mini-128K-Instructは、38億のパラメータを持つ軽量な最先端のオープンモデルです。Phi-3データセットを用いてトレーニングされており、合成データと高品...
AI・機械学習 KerasとJAXを使ってGemmaモデルをTPU分散学習する方法
概要Gemmaは、軽量でありながら最先端の性能を持つオープンモデルのファミリーで、Googleの研究と技術を基に構築されています。Gemmaは特定のニーズに合わせてさらにファインチューニングすることができます。しかし、Gemmaのような大規...
AI・機械学習 Keras 3.0とJAXを使ったgemmaのファインチューニング
はじめにKeras 3.0がリリースされ、JAX、TensorFlow、PyTorchのいずれかをバックエンドとして選択できるようになりました。これにより、目的に応じて最適なフレームワークを使い分けることが可能になります。また、Kerasを...
AI・機械学習 kagglehub を使った大規模言語モデル gemma のファインチューニングとモデル共有
はじめにこんにちは。この記事では、Kaggle の新機能である Kaggle Models を使って、大規模言語モデル gemma をファインチューニングし、コミュニティで共有する方法を初心者向けに解説します。Kaggle Models で...
大規模言語モデル LLama 3のSFTTrainer＋Weights & Biasesでファインチューニング
はじめにLLama 3は、Meta社が開発した大規模言語モデルです。高性能でありながら、一般的なGPUでも扱えるサイズのモデルが提供されています。このモデルをファインチューニングすることで、様々なタスクに適用できます。本記事では、Huggi...
AI・機械学習 Meta社の新しいオープンソースLLMモデル「Llama 3」がリリースされました
Meta社が、オープンソースの大規模言語モデル（LLM）ファミリー「Llama」の最新版である「Llama 3」を2024年4月18日にリリースしました。Llama 3モデルはHugging Faceからアクセス可能で、Hugging Fa...