AI・機械学習 LLMの効率化: Llama 3.1 8BからLlama-3.1-Minitron 4Bへのプルーニングと蒸留
はじめに：LLMの課題と小型化の重要性大規模言語モデル（LLM）は自然言語処理の分野で革命を起こしていますが、その巨大なサイズゆえに課題も抱えています。Llama 3.1 405BやNVIDIA Nemotron-4 340Bのような大規模...
大規模言語モデル
AI・機械学習 
AIツール AWS構成図を自動生成！Terraform × AI で実現するプロンプトジェネレータ
AWS構成図を自動生成！Terraform × AI で実現するプロンプトジェネレータはじめにAWSインフラの構築とその可視化に悩んでいませんか？EC2 AWS Visual Sandboxを使えば、Terraformで作成したAWSリソー...
チュートリアル Gemma 2 2B 日本語ファインチューニング & TPUv3-8 + Kaggle Hub公開
このノートブックでは、Googleが新たにリリースした軽量ながらも高性能な言語モデル Gemma 2 2B を、日本語データセット databricks-dolly-15k-ja でファインチューニングする方法を紹介します。さらに、Kagg...
チュートリアル Gemma2-2b: TPUを活用したファインチューニングとKagglehubへのアップロード
はじめにこんにちは！今回は、Googleが新しくリリースしたGemma2-2b モデルを使って、TPU（Tensor Processing Unit）を活用したファインチューニングを行い、その結果をKagglehubにアップロードする方法を...
AI開発 OpenAIクレジット2500ドルの最適な活用法：アイデアと可能性を探る
はじめにOpenAIのAPI利用クレジット2500ドルを手に入れたとき、どのように活用すれば最大の効果が得られるでしょうか？本記事では、Reddit上で議論された様々なアイデアを紹介しながら、OpenAIのクレジットを効果的に使用する方法に...
AI・機械学習 Big Tiger Gemma 27B v1：Gemmaの無修正バージョン
はじめに人工知能の世界で、新たな星が誕生しました。その名も「Big Tiger Gemma 27B v1」。この記事では、このモデルの特徴や使い方、そして私たちの生活にもたらす可能性について、詳しく解説していきます。Big Tiger Ge...
データ分析 SpreadsheetLLM: 大規模言語モデルによる革新的なスプレッドシート処理
はじめにスプレッドシートは、ビジネスや個人の日常生活で広く使用されているデータ管理ツールです。しかし、その複雑な構造や大量のデータを効率的に処理することは、従来の手法では困難でした。本記事では、大規模言語モデル（LLM）を活用して、スプレッ...
ソフトウェア開発ツール Docker ComposeでBedrock Engineerを使う方法：完全ガイド
はじめにこんにちは！今回は、最新のAI技術を活用したソフトウェア開発支援ツール「Bedrock Engineer」をDocker Composeを使って簡単に始める方法をご紹介します。このガイドでは、DockerやDocker Compos...
Python開発 ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた
「クリスマスキャロル」の真のテーマは何だったのか？ローカル環境で構築した最強の質問応答AIで、その謎に迫ります！最近、ChatGPTをはじめとする大規模言語モデル(LLM)が注目を集めていますが、LLMは大量のテキストデータから学習するため...
チュートリアル llama.cppをDocker-composeでビルドから構築する方法
はじめにllama.cppとはllama.cppは、Meta（旧Facebook）が開発したLLaMA（Large Language Model Meta AI）モデルを、C/C++で実装したオープンソースプロジェクトです。このプロジェクト...