Perspectives on the State and Future of Deep Learning – 2023～Q4(ディープラーニングは学術的なベンチマーキングを超えて進化しているのか？)の日本語解説～

Abstract
Interlocutor
Q1:最大の未解決問題
Q2:ディープラーニングの理解について
Q3:ディープラーニングは解釈可能になるのか？
Q4:ディープラーニングは学術なベンチマーキングを超えて進化しているのか？
Q5: Transformers は将来の方向性として正しいのか？
Q6:学問界は困難に直面しているのか？
参考サイト
1. 関連

Abstract

Perspectives on the State and Future of Deep Learning - 2023～アブストラクトの日本語解説～

AbstractGoal機械学習分野における現在の意見と問題点を詳細に記録これらの意見と問題点が時間の経過と共に変化していくかを追跡Plan人工知能が特異点に達するまで、この調査を定期的に実施重要なトピックに関する質問リストを最新の状態に保...

Interlocutor

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q1:最大の未解決問題

最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q2:ディープラーニングの理解について

なぜ私たちはディープラーニングの理解を深めていないのか？今後進展するのだろうか？仮に深層学習の理論が構築されたとして、それは実務家やエンジニアにとって有用なのだろうか？実務家やエンジニアに役立つのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q2(ディープラーニングの理解について)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

Q3:ディープラーニングは解釈可能になるのか？

その必要があるのだろうか？LLMは解釈可能である必要があるのか？
LLMがテキストで説明できるのであれば解釈可能である必要があるのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q3(ディープラーニングは解釈可能になるのか？)の日本語解説～

Q4:ディープラーニングは学術なベンチマーキングを超えて進化しているのか？

ディープラーニングは、アカデミックなベンチマーキングを超えて進化しているのでしょうか？私たちは、モデルがどれだけ間違いを犯すかという量的な特性よりも、どのような種類の間違いを犯すかという質的な特性をより重視し始めています。学術的な言語モデル（LLM）のベンチマークは通常、単語の回答を要求し、本物の人間と機械の相互作用の複雑さを捉えきれていません。一方で、視覚のベンチマークは、多様性に乏しいデータに基づく精度の狭い定義に焦点を当てています。最後に、生成AIモデルは「常識」のようなより複雑な特性を持っていますが、実際にこれらを正確に捉えるベンチマークを設計することは可能でしょうか？

Alex Smola

混沌とした現状（Mess of Current Benchmarking）

スモーラ氏によると、今のベンチマーキングはかなり混乱している状態です。

混乱は予想されたこと（Expected Situation）

このような混乱は、人間の知能テストに関する論争と似ており、驚くべきことではないと述べています。

スモーラ氏は、現在のベンチマーキングが非常に混沌としていると指摘し、それが予想された状況であると説明しています。これは、人間の知能テストにおける議論と同様のパターンを持つとのことです。

Preetum Nakkiran

業界の動き（Industry Trends）

産業界では、モデルがどのように振る舞うかを細かく分析することに注目しています。これは、画像分類などの伝統的な分野においても同様です。

実用化された機械学習（ML in Application）

機械学習が実際のアプリケーションに導入される際には、品質保証（Quality Assurance, QA）において、アプリケーションをさまざまな状況でテストし、失敗の可能性を詳しく調査することが重要になります。

ナッキラン氏によれば、産業界では実際のアプリケーションでの機械学習モデルのパフォーマンスを細かく分析することに重点を置いており、特にモデルが異なる状況下でどのような失敗をするかを理解することが求められているとのことです。

Max Welling

信頼できるベンチマーキングの重要性（Solid Benchmarking）

マックス・ウェリング氏は、進歩を維持するためにはしっかりとしたベンチマーキングが不可欠だと強調しています。

研究評価の新たな指標（Beyond Simplistic Metrics）

学問の世界ではよく使われる簡単な評価基準を超え、もっと詳細な指標の設計が求められていると述べています。

強化学習の進歩への寄与（Role of Reinforcement Learning）

複雑な指標を設計するのは難しいかもしれませんが、強化学習を用いて人間のフィードバックをシステムに取り入れることが、これからの鍵になると予想しています。

人間の価値観との整合性（Alignment with Human Values and Interests）

強化学習は、人間の価値観や関心と一致するようにシステムを調整する上で重要な役割を担うと予測されています。

ウェリング氏の見解によれば、ベンチマーキングは私たちが進歩するための基盤となり、今後は強化学習が中心的な役割を担いながら、システムが人間の価値観や関心に合致するように進化していくと考えられます。

Zachary Lipton

ベンチマーキングとの関係性の変化

リプトン氏は、ベンチマーキングを超えた動きについては分からないが、ベンチマーキングへの関わり方は急速に変わってきていると言っています。

過去のベンチマーキング

ここ10年から15年の間、特に自然言語処理の分野では、学術界がベンチマークを提案し、それに多くのモデルが挑戦するのが一般的な流れでした。

現在のベンチマーキング

しかし最近では、多くのモデルが一つのベンチマークに挑むのではなく、一つの汎用モデルが様々なベンチマークに挑戦する形に変わりました。

方法論のイノベーション

方法論の革新は、一つの目的のためだけのモデリングから、様々な状況に応用可能な基礎モデルや応用技術の一般的なリストへと移り変わっています。

新しいベンチマーキングの評価

新しい基礎モデルは、たくさんのベンチマークに対して評価されるようになります。これらのベンチマークは、モデリングの唯一の目的としてではなく、より広範な能力を評価するための指標の一つとして見られるようになりました。

リプトン氏によると、ベンチマーキングの手法は大きく変化しており、広範囲に適用可能な能力を持つ汎用モデルが、多くのベンチマークに対応することが今の主流になっています。これにより、モデルの目的は単一のベンチマークを超え、より一般的な能力を評価する方向に進んでいます。

Kyunghyun Cho

学術ベンチマークの限界（Academic Benchmarking）

学術的なベンチマークは通常、単純な正解や間違い（0-1の誤差）に焦点を当てており、これは学問の分野では一般的ですが、評価方法としては改善の余地があることを示しています。

評価方法の進化（Evolution of Evaluation Protocols）

チョ氏は、自然言語処理を含む分野で、より良い評価プロトコルを構築するための努力が続いていることを認めています。例えば、Cohere.AIのアレックス・ウォンが要約システムのための評価プロトコルを開発したことが挙げられます。

複雑な評価プロトコルの課題（Difficulty in Implementing Advanced Protocols）

より高度な評価プロトコルの開発や導入は難しいため、基本的なマッチングプロトコル（例：0-1誤差、BLEU、ROUGE）と比べて広く採用されていないと指摘しています。

学術的ベンチマーキングへの提言（Current State of Academic Benchmarking）

チョ氏は、学術的ベンチマーキングは必ずしも重要ではなく、質の高い評価を行うことが、ただ論文数を増やすよりも重要であると強調しています。

チョ氏の言葉によれば、学術的なベンチマーキングには改善の余地があり、評価方法をより発展させることが求められています。より洗練された評価システムの開発と実装が必要であり、出版物の数を増やすだけではなく、実際の評価の質を高めることが重要だとしています。

Andrew Gordon Wilson

学術ベンチマークの革命的役割（Academic Benchmarks）

イメージネット（ImageNet）のようなベンチマークは、ディープラーニングの大きな進歩を促しました。ただし、ディープラーニングに関する偏見も存在し、これが変化を遅らせた可能性があります。

コミュニティの変化（Change in Community Mindset）

実際の成果に基づいて、学術コミュニティの考え方が変わりました。良いベンチマークの結果が、問題解決の良い指標であることを簡単に受け入れるべきではありません。

ベンチマークの現在の価値（Current Value of Benchmarks）

標準的なベンチマークは、もはや科学的な価値をそこまで持たず、結果を出すための工学的な詳細や計算がより重視されるようになりました。

イノベーションへの新しいアプローチ（New Approaches to Innovation）

革新を続けるには、専門的な知識が必要な特定の問題にカスタマイズしたアプローチが必要です。実際の多様な問題に共通する構造を理解することに価値があります。

新しいベンチマークへの期待（Hope for New Benchmarks）

ウィルソン氏は、古いものではなく新しいベンチマークが続いてほしいと望んでいます。これは、学問の進歩を促す新鮮な評価基準を意味します。

ウィルソン氏は、学術ベンチマークがディープラーニングの発展に大きく貢献したとしながらも、現在はその科学的価値が減少し、工学的な詳細と計算による結果が重要視されていると指摘しています。彼は、異なる実世界の問題を解決するための新しいベンチマークの作成に希望を持っており、それによって新たなイノベーションが生まれることを期待しています。

まとめ

アカデミックベンチマーキングへの移行

ディープラーニングのベンチマーキング（Benchmarking of Deep Learning） :
- ディープラーニングは、純粋な学術的なベンチマークを超えて、より実用的な評価へと動いている。
ベンチマーキングの問題点（Problems with Benchmarking） :
- 現在のベンチマーキングは雑然としており、定量的な評価よりも質的な属性が重視されるべき。

解釈可能性と実用性

解釈可能性の重要性（Importance of Interpretability） :
- 解釈可能性は、AIシステムの堅牢性と信頼性を評価するために不可欠である。
実世界での応用（Application in the Real World） :
- ディープラーニングは医療や薬物発見のような実世界の応用において、より微細な行動の測定が求められている。
ベンチマーキングの経済的側面（Economic Aspect of Benchmarking） :
- モデルの信頼性に関する一般的な不安は経済的な緊張と関連している。

ベンチマーキングの今後の方向性

ベンチマーキングの標準化（Standardization of Benchmarking） :
- 学術的ベンチマークは、ディープラーニング革命を触媒する役割を果たしたが、今ではその科学的価値は低下している。
新しいベンチマーキングの開発（Development of New Benchmarking） :
- 今後は、一般的な問題に焦点を当てたベンチマーキングから、特定の専門分野の知識を要するより専門化されたベンチマーキングへと進む必要がある。