Perspectives on the State and Future of Deep Learning – 2023～Q1(最大の未解決問題)の日本語解説～

Abstract

Perspectives on the State and Future of Deep Learning - 2023～アブストラクトの日本語解説～

AbstractGoal機械学習分野における現在の意見と問題点を詳細に記録これらの意見と問題点が時間の経過と共に変化していくかを追跡Plan人工知能が特異点に達するまで、この調査を定期的に実施重要なトピックに関する質問リストを最新の状態に保...

hamaruki.com

2024.01.02

Interlocutor

Max Welling

出典：Dr. Max Welling on how AI will impact the world, now and in the future
https://www.qualcomm.com/news/onq/2018/05/dr-max-welling-how-ai-will-impact-world-now-and-future

マックス・ウェリングの経歴

• マックス・ウェリング（Max Welling）は、1968年生まれのオランダのコンピュータ科学者であり、アムステルダム大学で機械学習（machine learning）を専門に研究しています。
• 2017年8月にウェリングが共同設立した大学発スピンオフ企業、Scyfer BVはクアルコム（Qualcomm）に買収されました。
• 買収後、彼はクアルコム・オランダ（Qualcomm Netherlands）のテクノロジー副社長（Vice President of Technology）として勤務しています。
• 現在は、アムステルダムの新しいマイクロソフトリサーチラボ（Microsoft Research Lab）のリードサイエンティストも務めています。

学術的背景と業績

• ウェリングはユトレヒト大学（Utrecht University）で、ノーベル賞受賞者ジェラルド・トフート（Gerard 't Hooft）の指導のもと、量子重力（quantum gravity）に関する論文で物理学の博士号を取得しました（1998年）。
• 機械学習、コンピュータビジョン、統計学、物理学の分野で250以上の査読付き記事を発表しており、
• 彼が最も知られている発明は、ディーデリック・P・キングマ（Diederik P Kingma）と共に開発した変分オートエンコーダー（variational autoencoders, VAEs）です。

Zachary Lipton

出典：Trends in Machine Learning & Deep Learning with Zachary Lipton
https://medium.com/this-week-in-machine-learning-ai/trends-in-machine-learning-deep-learning-with-zachary-lipton-63837c44bf86

ザカリー・リプトンの基本情報

• ザカリー・リプトン（Zachary Lipton）は、1985年生まれの機械学習（machine learning）研究者で、ニューヨーク州ニューロシェル出身です。
• 彼はまた、ジャズのサックス奏者（jazz saxophonist）としても活動しています。

学術的経歴

• 現在、カーネギーメロン大学（Carnegie Mellon University）で機械学習とオペレーションズリサーチ（Operations Research）の助教授として勤務しており、
• そこでApproximately Correct Machine Intelligence（ACMI）ラボを運営しています。

教育背景

• コロンビア大学（Columbia University）で学士課程を修了し、
• カリフォルニア大学サンディエゴ校（University of California, San Diego）でコンピュータサイエンスの博士号（PhD in Computer Science）を取得しました。

Kyunghyun Cho

出典：Post de KyungHyun Cho
https://fr.linkedin.com/posts/kyunghyun-cho-2171681b_philanthropy-philanthropie-ai4good-activity-6866831510343958528-M3TM?trk=public_profile_like_view

現職と役職

• キョンヒュン・チョ（Kyunghyun Cho）は、ニューヨーク大学（New York University）でコンピュータサイエンス（Computer Science）とデータサイエンス（Data Science）の教授を務めています。
• 彼はニューヨーク大学データサイエンスセンター（Center for Data Science at New York University）の暫定副所長も務めています。
• Genentech Research & Early Development（gRED）のFrontier Research部門でシニアディレクターを、Prescient Designの共同創設者兼シニアディレクターを務めています。

学術的役職と受賞歴

• CIFAR機械と脳の学習フェロー（CIFAR Learning in Machines & Brains Fellow）であり、元CIFARアズリエリグローバルスカラー（Former CIFAR Azrieli Global Scholar）です。
• 韓国国立工学院（National Academy of Engineering of Korea）の準会員です。
• 彼はICLR 2020、NeurIPS 2022、ICML 2022の（共同）プログラム委員長を務め、
• Transactions on Machine Learning Research（TMLR）の創設共同編集長でもあります。
• 2021年にサムスンホアム工学賞（Samsung Ho-Am Prize in Engineering）を受賞しました。

教育背景

• アアルト大学（Aalto University）で2014年に「深層学習の基礎と進歩（Foundations and Advances in Deep Learning）」という論文で博士号（PhD）を取得しました。
• 同大学で2011年に「機械学習およびデータマイニングの修士課程（Machine Learning and Data Mining, MACADAMIA）」から「制限付きボルツマンマシンの学習アルゴリズムの改善（Improving Learning Algorithms for Restricted Boltzmann Machines）」の論文で修士号（Master's Degree）を優秀賞とともに取得しました。
• 2009年には韓国科学技術院（Korea Advanced Institute of Science and Technology, KAIST）でコンピュータサイエンス（Computer Science）を専攻して学士号を取得しました。

Melanie Mitchell

出典：Complexity Explorer January Newsletter
https://www.complexityexplorer.org/news/120-happy-new-year-and-interview-with-melanie-mitchell

メラニー・ミッチェルの基本情報

• メラニー・ミッチェル（Melanie Mitchell）はアメリカの科学者です。
• 彼女はサンタフェ研究所で複雑性のデービス教授（Davis Professor of Complexity）を務めています。

研究分野と業績

• 彼女の主な研究分野は、類推的推論（analogical reasoning）、複雑系（complex systems）、遺伝的アルゴリズム（genetic algorithms）、セルオートマトン（cellular automata）です。
• これらの分野における彼女の出版物は頻繁に引用されています。

学歴と研究開発

• ミシガン大学（University of Michigan）で、ダグラス・ホフスタッター（Douglas Hofstadter）とジョン・ホランド（John Holland）のもとで1990年に博士号（PhD）を取得しました。
• 彼女は博士課程でコピーキャット認知アーキテクチャ（Copycat cognitive architecture）を開発しました。

著書と受賞歴

• 「Analogy-Making as Perception」という本を著し、これは基本的にコピーキャットについての書籍です。
• スティーヴン・ウォルフラムの「A New Kind of Science」を批評し、一次元セルオートマトンの多数決問題に対する遺伝的アルゴリズムがより良い解を見つけることを示しました。
• 1996年にMIT Pressから出版された初心者向けの「遺伝的アルゴリズム入門（An Introduction to Genetic Algorithms）」の著者でもあります。
• 「複雑性: ガイド付きツアー（Complexity: A Guided Tour）」と「人工知能: 考える人間のためのガイド（Artificial Intelligence: A Guide for Thinking Humans）」を著し、前者は2010年のファイ・ベータ・カッパ科学書賞（Phi Beta Kappa Science Book Award）を受賞しました。

Andrew Gordon Wilson

出典：Andrew Gordon Wilson
https://cims.nyu.edu/~andrewgw/

自律的知能システムの構築へのアプローチ

アンドリュー・ゴードン・ウィルソンは、自律的に機能する知能システムの構築に向けた具体的なアプローチの開発を目指しています。この目標達成のために、多岐にわたる研究分野での取り組みが進行中です。主な研究領域は以下の通りです。

• 深層学習モデルの理解：言語モデルや視覚モデルなどを含む、深層学習の理論的理解を深める。
• 不確実性の扱いとベイジアン手法：不確実性を取り入れた意思決定とオンラインでの決定プロセスに関する研究。
• 分布のシフトと偶発的相関：データの分布が変わる場合や偶発的な相関に対する研究。
• 帰納的バイアスのエンコーディングと学習：学習モデルに先入観を持たせることで効率的な学習を目指す。
• 数値線形代数：機械学習における大規模な推論を効率化するための線形代数の応用。
• 物理学と機械学習：物理学の問題に対する機械学習の応用と、機械学習に対する物理学の影響。
• 実用的なメソッド：実際の問題解決に役立つシンプルな手法の提案。
• 科学的発見：タンパク質工学や材料設計など、科学的な発見に寄与する研究。

趣味と個人的な情報

• プライベートでは、クラシック音楽のピアニストとして活動しており、バッハの演奏で有名なグレン・グールドを特に好んでいます。

職業情報

• ニューヨーク大学における数学科学研究所およびデータサイエンスセンターで准教授を務めています。

Q1:最大の未解決問題

• 最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。

Q1のまとめスライド動画

@maki.sunwood.ai.labs

「ディープラーニングの現状と未来への展望 - 2023～Q1：最大の未解決問題～」 私たちが直面している最大の課題は何でしょうか？それを解決するにはどうしたら良いのでしょうか？今回のシリーズでは、ディープラーニング分野の様々な意見や課題を、時代と共に変化するその様子と共に紹介していきます。 ▶️ Max Welling氏は、自然科学分野へのAIの応用の可能性に強い関心を寄せています。具体的には、地球温暖化の予測、新型バッテリーや炭素回収素材の開発、新薬の有効性予測など、AIの力を借りて大きな進歩が期待されています。自然科学は、無限のデータと魅力的な問題で溢れている宝庫です。 他の方の見解は記事/動画にて この分野で進行中の革新にご注目ください！ #ディープラーニング #AI #自然科学 #地球温暖化 #エコテクノロジー #新薬開発 #科学的探求 #MaxWelling #研究動向 #機械学習の未来 #AI

♬ オリジナル楽曲 - Maki@sunwood.ai.labs

Max Welling

AIの応用可能性

• 自然科学分野（Natural Sciences）へのAIの応用に対して非常に強い関心があります。
• この分野では、多くの魅力的で大きな影響を持つ応用が考えられます。

AI応用の実例

1. 地球温暖化の予測（Predicting Global Warming）: 高速な偏微分方程式の代替手法（PDE Surrogates）を用いて予測を行います。
2. 新型バッテリーや炭素回収素材の開発（Designing New Battery and Carbon Capture Materials）: 密度汎関数理論（Density Functional Theory）や分子動力学シミュレーション（Molecular Dynamics Simulators）を高速化することで、これらの素材の設計が可能になります。
3. 新薬の有効性予測（Predicting the Effectiveness of New Drugs）: 生成型AI（Generative AI）を活用して新薬の効果を予測します。

自然科学の重要性

• 自然科学は、豊富なデータと興味深い課題を提供する、探求のための宝庫（Treasure Trove of Data and Exciting Problems）です。

Zachary Lipton

AIの普及状況

• 現在のような時代において、真に注目されていない問題を見極めるのは困難です。
• どの業界においても、正しいか否かにかかわらず、人々はAIを問題解決に応用しようとしています。

AIの適用範囲の拡大

• AIの手法（AI methods）はコンピュータ科学の範囲を超えて、既に多くの分野で活用されています。
• 産業界においては、AIはもはや厳格な科学者のみの領域に留まらず、幅広い分野で利用されています。

産業界におけるAIの追跡

• 多数のビジネス関係者が新たな開発にいかに迅速に適応しているかに、常に驚かされます。
• 学術界の影響力（academia's influence）は、産業界の多くのセクターで弱まっています。

問題解決におけるAIの役割

• 解決すべき深刻な問題（profound problems）は常に存在しています。
• 難易度の高い問題（hard problems）は、限られた数のトップアスリートたちの注意を引きつけて競合しています。

パーソナライズドメディシンへの情熱

• 医師の過重労働（physician burnout）を引き起こす文書作成の問題に対処し、データを利用してパーソナライズドメディシン（personalized medicine）の実現を目指すことが、私の情熱的な課題です。

協力の歓迎

• より多くの協力を歓迎しますが、誰もこれらの問題に取り組んでいないとは言えません。

Kyunghyun Cho

現在の機械学習研究の課題

• 機械学習の分野では、答えや予測が容易に検証可能な単純な問題（simple problems）への関心が高まっています。
• これらの問題はデータが豊富であり、安価な評価（cheap evaluation）を通じて迅速にモデルを機能させることができます。

より挑戦的な問題へのシフト

• 開発の各ステップでコストがかかる、より困難な問題（challenging problems）に焦点を当てるべきです。
• このアプローチは、機械学習やより広い意味での人工知能（artificial intelligence）の分野で、アクティブラーニング（active learning）や学習評価（learned evaluation）などの興味深いトピックを深く探る機会を提供します。

分布シフトへの対応

• 分布シフト（distribution shifts）への対応には、さらに注意深く取り組む必要があります。
• 伝統的な機械学習の実験研究モデルでは、ベンチマーク（benchmark）に基づいてアルゴリズムを反復して開発しますが、この方法は分布シフトの研究には適していません。なぜなら、テストセットの分布に関する知識（test distribution knowledge）を利用してアルゴリズムを選択することで、結果の有効性を損なう可能性があるからです。

研究方向性と個人的な関心

• これらの方向性は機械学習の応用と影響力を大幅に向上させるでしょう。
• 私個人としては、Prescient DesignやGenentechで見るような、アクティブラーニングや堅牢な分類（robust classification）を用いた抗体設計（antibody design）が特に重要な課題です。

Melanie Mitchell

抽象概念の推論

• AIが一般的にまだ習得していない基本的な人間の能力の一つに、抽象概念の推論（Reasoning about abstract concepts）があります。
• 例えば、ショレのARCチャレンジ（Chollet's ARC challenge）における多くの問題は人間に解けるものですが、現在のAIシステムではこれに追いついていません。

マルチモーダルな常識

• 現在のAIモデルは、マルチモーダルな常識（Multimodal common sense）—例えば、合成理解や視覚的な常識—において欠けていることが知られています（例：CLIP、DALL-Eなど）。
• これらは非人間的エラーや敵対的攻撃に対して脆弱であり、視覚と言語、そして物理的・社会的理解の統合に課題を抱えています。

AIシステムの評価方法の改善

• AIシステムの能力を評価する現在の方法（Evaluating AI systems' capabilities）は、改善が必要です。
• 静的なベンチマークや集計統計のみを報告する一般的な評価は、AIの実際の能力や堅牢性を完全には捉えられていません。

機械的解釈可能性

• 機械的解釈可能性（Mechanistic interpretability）は、AIシステムが内部でどのように機能するか—つまり情報処理の基本的なメカニズムを理解すること—を指します。
• これは脳の研究でも未解決の問題であり、特に大規模な事前訓練済みのトランスフォーマーベースモデルにおいては複雑な課題となっています。

Andrew Gordon Wilson

機械学習と科学的発見

• 機械学習は科学分野での発見を助けるために用いられていますが、実際には新しい科学的理論を発見するための試みはまだ多くはありません。
• 科学における統一理論や全般的な理解は、実際の応用よりも科学的な関心の主な対象となってきました。

一般相対性理論の事例

• 一般相対性理論（General Relativity）は、GPSのような具体的な応用ができるだけでなく、重力や時間、空間の関係性について教えてくれる理論です。
• 一般相対性理論が提案された当時、GPSのことは考えられてもいませんでしたが、この理論は後に多くの応用を可能にする基礎となりました。

汎用人工知能への挑戦

• 人々は「汎用人工知能（AGI）」を心配していますが、一般相対性理論や量子力学のような理論を提案できるようなAIシステムを作る基本的なステップはまだ踏まれていません。
• このような理論を提案するアルゴリズムは、現在のディープラーニングや記号的なシステムとは異なる新しいアプローチが必要です。

AIによる科学理解の未来

• 私たち自身が発見できないかもしれない、脳の仕組みなどの科学的理解を深める未来を、AIが可能にしてほしいと願っています。

代数的構造の活用

• 代数的構造を利用することによって生じる一般的なモデリングの仮定を探求することに、個人的に大きな期待を寄せています。
• 数値線形代数は、今後の機械学習にとって重要になると考えています。

研究の方向性

• 現在、多くの研究者が同じトピックに取り組む傾向にありますが、これは必ずしも長期的な貢献につながるわけではありません。
• 他人に先を越されることを心配するよりも、自分に共鳴する研究に集中することが大切です。

まとめ

AIの応用可能性についてのMax Wellingの見解

• 自然科学分野へのAIの応用に非常に関心が高い。
• 地球温暖化の予測、新型バッテリーや炭素回収素材の開発、新薬の有効性予測など、影響力の大きな応用例が存在する。
• 自然科学は探究のための豊かなデータと問題を提供する宝庫とされている。

AIの普及状況に関するZachary Liptonの見解

• 現代において、重要な問題を特定することが困難である。
• AIの手法は多様な分野で既に利用されており、産業界でも科学者だけでなく幅広い領域での利用が見られる。
• 新たな開発に対するビジネス関係者の迅速な対応に驚かされる一方で、学術界の影響力は減少している。
• 深刻な問題へのAIの役割は重要で、特に難易度の高い問題に対する取り組みが必要である。
• パーソナライズドメディシンの実現に向けたデータの活用に情熱を注いでいる。

機械学習研究の課題についてのKyunghyun Choの見解

• 機械学習は単純な問題への関心が高いが、より困難な課題へのシフトが求められている。
• 分布シフトへの対応や伝統的な研究モデルの限界を認識し、新しいアプローチを提案する。
• 機械学習の応用と影響力の向上を目指し、特に抗体設計などの分野での応用に興味を持つ。

抽象概念の推論とAIの評価に関するMelanie Mitchellの見解

• AIはまだ抽象概念の推論において人間の能力を習得していない。
• マルチモーダルな常識の欠如や、敵対的攻撃に対する脆弱性が指摘されている。
• AIシステムの評価方法の改善が求められており、機械的解釈可能性の理解が重要視されている。

機械学習と科学的発見に対するAndrew Gordon Wilsonの展望

• 機械学習は科学的発見を助けるために使用されているが、まだ新しい科学理論の発見には至っていない。
• 一般相対性理論のような理論を提案できるAIシステムの開発に向けた基本的なステップが必要とされている。
• 代数的構造の活用によるモデリングや数値線形代数の重要性が強調されている。
• 同じトピックに多くの研究者が取り組む現象に警鐘を鳴らし、より個々の興味に沿った研究に集中することを推奨している。

Q2:ディープラーニングの理解について

• なぜ私たちはディープラーニングの理解を深めていないのか？今後進展するのだろうか？仮に深層学習の理論が構築されたとして、それは実務家やエンジニアにとって有用なのだろうか？実務家やエンジニアに役立つのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q2(ディープラーニングの理解について)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

hamaruki.com

2024.01.02

Q3:ディープラーニングは解釈可能になるのか？

• その必要があるのだろうか？LLMは解釈可能である必要があるのか？
• LLMがテキストで説明できるのであれば解釈可能である必要があるのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q3(ディープラーニングは解釈可能になるのか？)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

hamaruki.com

2024.01.03

Q4:ディープラーニングは学術なベンチマーキングを超えて進化しているのか？

Perspectives on the State and Future of Deep Learning – 2023～Q4(ディープラーニングは学術的なベンチマーキングを超えて進化しているのか？)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

hamaruki.com

2024.01.04

Q5: Transformers は将来の方向性として正しいのか？

Perspectives on the State and Future of Deep Learning – 2023～Q5(Transformers は将来の方向性として正しいのか？)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

hamaruki.com

2024.01.04

Q6:学問界は困難に直面しているのか？

Perspectives on the State and Future of Deep Learning – 2023～Q6(学問界は困難に直面しているのか？)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

hamaruki.com

2024.01.04

参考サイト

Perspectives on the State and Future of Deep Learning - 2023

The goal of this series is to chronicle opinions and issues in the field of machine learning as they stand today and as ...

arxiv.org