Perspectives on the State and Future of Deep Learning – 2023～Q6(学問界は困難に直面しているのか？)の日本語解説～

Abstract

Perspectives on the State and Future of Deep Learning - 2023～アブストラクトの日本語解説～

AbstractGoal機械学習分野における現在の意見と問題点を詳細に記録これらの意見と問題点が時間の経過と共に変化していくかを追跡Plan人工知能が特異点に達するまで、この調査を定期的に実施重要なトピックに関する質問リストを最新の状態に保...

Interlocutor

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q1:最大の未解決問題

最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q2:ディープラーニングの理解について

なぜ私たちはディープラーニングの理解を深めていないのか？今後進展するのだろうか？仮に深層学習の理論が構築されたとして、それは実務家やエンジニアにとって有用なのだろうか？実務家やエンジニアに役立つのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q2(ディープラーニングの理解について)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

Q3:ディープラーニングは解釈可能になるのか？

その必要があるのだろうか？LLMは解釈可能である必要があるのか？
LLMがテキストで説明できるのであれば解釈可能である必要があるのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q3(ディープラーニングは解釈可能になるのか？)の日本語解説～

Q4:ディープラーニングは学術なベンチマーキングを超えて進化しているのか？

Perspectives on the State and Future of Deep Learning – 2023～Q4(ディープラーニングは学術的なベンチマーキングを超えて進化しているのか？)の日本語解説～

Q5: Transformers は将来の方向性として正しいのか？

Perspectives on the State and Future of Deep Learning – 2023～Q5(Transformers は将来の方向性として正しいのか？)の日本語解説～

Q6:学問界は困難に直面しているのか？

Alex Smola

アレックス・スモーラの考察（Alex Smola's Insights）

スモーラ氏は、学術研究では産業界では難しいとされるリスクを取ること、特にデータセットに関するリスクや、AIがどのように判断を下すか（説明可能性）やその判断プロセスを理解する（解釈可能性）ことなどの問題を探求することができると言っています。
アルゴリズムを改良する、つまりより効率的または効果的にする作業は、学問的な研究において特有の挑戦であるとも述べています。

ディープラーニング研究の進化（Evolution of Deep Learning Research）

彼によると、ディープラーニングの研究は、生物学的な環境研究や実験物理学のような他の科学分野に似たものになりつつあり、これらの研究は、研究を進めるために多額の資金が必要になってきています。
以前は単純な道具だけで研究を進めることができた時代もありましたが、現代のディープラーニング研究では、そのような状況はほとんどなく、より多くの資金とリソースが要求されていることを指摘しています。

スモーラ氏は、今日のディープラーニング研究が高い資金的投資を必要とする点で、学術研究の中でも特に資金集めが難しいと言及しています。また、学術研究特有のリスクを取る文化が産業界では見られないこと、そしてAIの決定過程を人間が理解しやすくするための研究が進められていることを示しています。

Max Welling

ウェリング氏は、学問の世界と産業界では取り組むべき問題の種類が異なると指摘しています。これは、学問の場では探求されるべき多くの基本的かつ理論的な問題が存在することを意味します。
スケーリング（Scaling）に関わる工学的課題は、実際の産業界が解決するに適していますが、それ以外にも学問の世界で解き明かすべき多くの興味深い問題があります。
例えば、科学分野におけるAIの発展には、エンジニアや機械学習研究者、そして物理学者や化学者、生物学者といった科学者の協力が必要です。これらの専門家が集う最適な場所が学問の世界だとウェリング氏は言います。
ウェリング氏は、学問の世界に身を置くならば、自分にとって重要な問題を選び、賢く取り組むべきだと助言しています。

Andrew Gordon Wilson

ウィルソン氏によれば、産業界と学問界はお互いを補完しながら進歩していますが、大規模なデータを使用した大型モデルの開発は、資源が豊富な産業界に適しており、学問界では必ずしもそうではありません。
たとえば、分子の研究のように、特定の対称性（例: 回転）を考慮に入れたモデルを作る場合、単純に大量のデータを使うだけではなく、慎重な考察と数学的なアプローチが求められます。
最新の機械学習の進歩は、しばしば学問界の研究によってもたらされており、現実世界での応用において重要な、偽相関や分布の変化に強いモデル、不確実性の表現、オンラインでの意思決定などの進歩に学問界が大きく寄与しています。
大学は長期的な基礎研究に適しており、産業界の短期的な目標とは異なる研究を進めることが可能です。これは産業界のマネージャーにはなかなか理解されにくいかもしれません。
基礎研究は常に重要であり、科学的な発見は学問の分野での努力から生まれます。ウィルソン氏は、学問界にいる研究者は研究テーマを賢く選ぶべきだとアドバイスしています。

Zachary Lipton

リプトン氏は、現在の学問界がオンライン講座やChatGPTのような新技術によって、存在意義を脅かされている可能性があると指摘しています。
学問の世界は研究競争において、大規模な基礎モデルの構築といった活動が重要だとはいえ、必ずしも学問界で最も適切な研究方針ではないかもしれないと述べています。
彼は、機械学習（ML）の基本原理、因果推論、意思決定学などの分野で、学問の世界が今後も研究の最前線に留まると期待しています。
学問をディープラーニングの産業的な先端と捉える狭い視点では、学問界が直面する問題はさらに複雑になる可能性があると警鐘を鳴らしています。
かつて情報検索は産業界が主導していましたが、Googleのような企業が登場する前には、公に利用可能な研究成果は産業界に比べて大きく遅れていました。それが当時は許容されていた時代もありました。
研究者は、すぐに経済的な影響が明らかでなくても、社会にとって重要な問題に焦点を当てるべきです。学問の世界全体が危機に瀕しているわけではありませんが、変化する環境に応じて研究の焦点を再調整するか、産業界への転身を考えるべき時かもしれません。

ChatGPT-3.5

ChatGPT-3.5のユーモラスな表現

学問界は困っているわけではなく、彼らは単に教育の内容を現代のAI技術に合わせてアップデートしているということを示しています。
古いスタイルの「オールド・マクドナルドがデータセットを持っていた」から、最新のAI技術、「GPT-3.5を使ってあなたのロボットの上司を感心させる方法」へとシラバスが進化していると述べています。

"Old McDonald Had a Data Set"というフレーズは、子供の歌 "Old MacDonald Had a Farm" をもじったもので、データセットを使って研究や学習を行っていた古い時代のことを示しています。一方で、"GPT-3.5 Ways to Impress Your Robot Overlords" は、GPT-3.5という最新のAIテクノロジーを使用して、どのようにしてロボットやAIに印象を与えるかという現代的なアプローチを示唆しています。

この冗談は、学問界が新しい技術やトレンドを取り入れ、時代に合わせて進化していることを表しています。また、これは学問界が革新的であり続けるためには、AIのような先端技術を理解し、採用することが重要であるというメッセージも含んでいます。

ChatGPT-4

ChatGPT-4に関する考察

学術研究者たちが突如、大企業に呑み込まれ消えてしまうというのは、過剰な想像です。

学術研究の現状と誤解

確かに、大企業が巨大な言語モデル（language models）を駆使して力を誇示しているのは事実です。
そして、それら企業が膨大な資金を投じていることも事実ですが、それが学術界の機械学習研究（academic machine learning research）の終焉を意味するわけではありません。

学術研究の価値

学術研究の目的は、単に巨大なモデルを最初に訓練することではなく、新たな知識を創出し、根本的な疑問を投げかけ、産業界がまだ探究していない新しい領域を探求することにあります。

学術研究者の役割

学術研究者は、魅力的なモデルを作る競争に明け暮れる産業界とは異なり、倫理（ethics）、解釈可能性（interpretability）、頑健性（robustness）、社会的影響（social implications）といった重要な批判的問いを投げかける役割を持っています。
資源が限られる中で創造性や発明を促すことで、他の分野においても革新を行っています。

学術の挑戦と発展の機会

逆境はしばしば驚くほどの創造性や回復力を引き出すもので、機械学習の研究はこれからが本番です。
もし何かが学術界を変えるとすれば、それは研究の多様性を促進し、均一化を防ぐためのきっかけになるかもしれません。

参考サイト

https://arxiv.org/abs/2312.09323あ