自然言語処理 JAXとWandbとSelf-ConsistencyとWeaveを使ったGemma Instruct 2Bモデルのファインチューニング入門
Gemma Instruct 2Bモデルは、自然言語処理タスクに優れたパフォーマンスを発揮する大規模言語モデルです。このモデルをファインチューニングすることで、特定のタスクにおける性能をさらに向上させることができます。 本記事では、JAX、...
大規模言語モデル
自然言語処理 
AI・機械学習 Phi-3-Mini-128K-Instructモデルの概要
Phi-3-Mini-128K-Instructモデルの概要Phi-3-Mini-128K-Instructは、38億のパラメータを持つ軽量な最先端のオープンモデルです。Phi-3データセットを用いてトレーニングされており、合成データと高品...
チュートリアル KerasとJAXを使ってGemmaモデルをTPU分散学習する方法
概要Gemmaは、軽量でありながら最先端の性能を持つオープンモデルのファミリーで、Googleの研究と技術を基に構築されています。Gemmaは特定のニーズに合わせてさらにファインチューニングすることができます。しかし、Gemmaのような大規...
AI・機械学習 Keras 3.0とJAXを使ったgemmaのファインチューニング
はじめにKeras 3.0がリリースされ、JAX、TensorFlow、PyTorchのいずれかをバックエンドとして選択できるようになりました。これにより、目的に応じて最適なフレームワークを使い分けることが可能になります。また、Kerasを...
大規模言語モデル kagglehub を使った大規模言語モデル gemma のファインチューニングとモデル共有
はじめにこんにちは。この記事では、Kaggle の新機能である Kaggle Models を使って、大規模言語モデル gemma をファインチューニングし、コミュニティで共有する方法を初心者向けに解説します。Kaggle Models で...
AI・機械学習 LLama 3のSFTTrainer＋Weights & Biasesでファインチューニング
はじめにLLama 3は、Meta社が開発した大規模言語モデルです。高性能でありながら、一般的なGPUでも扱えるサイズのモデルが提供されています。このモデルをファインチューニングすることで、様々なタスクに適用できます。本記事では、Huggi...
AI・機械学習 Meta社の新しいオープンソースLLMモデル「Llama 3」がリリースされました
Meta社が、オープンソースの大規模言語モデル（LLM）ファミリー「Llama」の最新版である「Llama 3」を2024年4月18日にリリースしました。Llama 3モデルはHugging Faceからアクセス可能で、Hugging Fa...
自然言語処理 Supervised Fine-tuning Trainer (SFT) 入門
Supervised Fine-tuning Trainer (SFT) 入門Supervised Fine-tuning (SFT) は、Reinforcement Learning from Human Feedback (RLHF) ...
AI・機械学習 🤗 Weights & Biases とUnslothを使用したMistral-7Bモデルのファインチューニング
はじめにこの記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリ...
大規模言語モデル DeepSeek-Mathリポジトリの概要
DeepSeek-Mathは、大規模言語モデルDeepSeekをベースに、数学関連タスクで高い性能を発揮するように追加学習したモデルです。このリポジトリでは、以下のモデルが公開されています。DeepSeekMath-Base: ベースモデル...