「A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise」のざっくりabstract解説

タイトル

• A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise

著者

• Chaoyou Fu, Renrui Zhang, Zihan Wang, Yubo Huang, Zhengye Zhang, Longtian Qiu, Gaoxiang Ye, Yunhang Shen, Mengdan Zhang, Peixian Chen, Sirui Zhao, Shaohui Lin, Deqiang Jiang, Di Yin, Peng Gao, Ke Li, Hongsheng Li, Xing Sun

導入

• Multi-modal Large Language Models（MLLMs）への関心が高まっている。
• これらは、視覚理解の強力な能力を備えた大規模言語モデル（LLMs）を生み出している。
• 代表例はOpenAIのGPT-4V(ision)。

「A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise」のざっくりintroduction解説

「A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise」のintroductionをざっくりと解説していきます概要（Abstract）イントロダクシ...

hamaruki.com

2023.12.21

Geminiの紹介

• Googleが最新かつ最も能力の高いMLLMであるGeminiをリリース。
• Geminiはマルチモダリティのために最初から構築されている。

研究の目的

• GeminiはGPT-4Vのマルチモーダル学習におけるリーダー的地位に挑戦できるか？
• Gemini Proの視覚理解能力に関する初期的な探索を行う。

研究内容

• Gemini Proの能力を4つのドメインで包括的に分析：
  1. 基本的な知覚
  2. 高度な認知
  3. 難しい視覚タスク
  4. 様々な専門家能力

比較と評価

• Gemini ProとGPT-4Vを比較し、それぞれの上限を評価。
• 最新のオープンソースMLLMであるSphinxも参照し、手動努力とブラックボックスシステムのギャップを明らかにする。

結果

• GPT-4VとGeminiは異なる回答スタイルと嗜好を示すが、視覚推論能力においては比較可能。
• Sphinxはドメイン汎用性において後れを取っている。
• GPT-4Vは詳細な説明と中間ステップを提供する傾向があり、Geminiは直接的で簡潔な答えを好む。
• 人気のMMEベンチマークでの定量評価も、GeminiがGPT-4Vの強力な競争相手になる可能性を示している。

早期調査の観察結果

• MLLMsの一般的な問題点を観察。
• 人工一般知能への道のりにはまだかなりの距離があることを示唆。

参考サイト

https://arxiv.org/pdf/2312.12436.pdf

A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise

The surge of interest towards Multi-modal Large Language Models (MLLMs), e.g., GPT-4V(ision) from OpenAI, has marked a significant trend in both academia and in...

arxiv.org