Perspectives on the State and Future of Deep Learning – 2023～Q3(ディープラーニングは解釈可能になるのか？)の日本語解説～

Abstract
Interlocutor
Q1:最大の未解決問題
Q2:ディープラーニングの理解について
Q3:ディープラーニングは解釈可能になるのか？
Q4:ディープラーニングは学術なベンチマーキングを超えて進化しているのか？
Q5: Transformers は将来の方向性として正しいのか？
Q6:学問界は困難に直面しているのか？
参考サイト
1. 関連

Abstract

Perspectives on the State and Future of Deep Learning - 2023～アブストラクトの日本語解説～

AbstractGoal機械学習分野における現在の意見と問題点を詳細に記録これらの意見と問題点が時間の経過と共に変化していくかを追跡Plan人工知能が特異点に達するまで、この調査を定期的に実施重要なトピックに関する質問リストを最新の状態に保...

Interlocutor

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q1:最大の未解決問題

最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。

Perspectives on the State and Future of Deep Learning - 2023～Q1(最大の未解決問題)の日本語解説～

AbstractInterlocutorMax Welling出典：Dr. Max Welling on how AI will impact the world, now and in the futureマックス・ウェリングの経歴マック...

Q2:ディープラーニングの理解について

なぜ私たちはディープラーニングの理解を深めていないのか？今後進展するのだろうか？仮に深層学習の理論が構築されたとして、それは実務家やエンジニアにとって有用なのだろうか？実務家やエンジニアに役立つのだろうか？

Perspectives on the State and Future of Deep Learning – 2023～Q2(ディープラーニングの理解について)の日本語解説～

AbstractInterlocutorQ1:最大の未解決問題最も取り組むべきだが、まだ取り組まれていない大きな問題（Biggest problem）とは何か、またはその逆は何か。Q2:ディープラーニングの理解についてなぜ私たちはディープラ...

Q3:ディープラーニングは解釈可能になるのか？

その必要があるのだろうか？LLMは解釈可能である必要があるのか？
LLMがテキストで説明できるのであれば解釈可能である必要があるのだろうか？

Preetum Nakkiran

解釈可能性（Interpretability）

プリートゥム・ナッキラン氏は、ディープラーニングが強い意味での解釈可能性を持つことはないと考えています。
ネットワーク内の特定の構造は解釈可能であるとの研究もありますが、これらの構造は強力な解釈可能性を持つことは期待できないとしています。

強い解釈可能性（Strong Interpretability）

強い解釈可能性とは、データを見ることなく、最強の言語モデル（Language Models、LLMs）や視覚モデル（Vision Models）と同等の性能を発揮する明示的なプログラム（Turing Machine）を手動で書くことができるということです。
ナッキラン氏は、私たちがこのレベルの解釈可能性を達成することはないだろうと予想しています。

理論への進化（Evolution to a Theory）

彼は、解釈可能性の研究がディープラーニングの理論への第一歩として価値があると見ています。
解釈可能性の結果がより一般的で正確になると、それは実質的に理論へと進化すると考えています。

ディープラーニング特有の問題ではない（Not Specific to Deep Learning）

ナッキラン氏は、これらの問題はディープラーニングに特有のものではなく、他の手法にも共通すると指摘しています。
例えば、「補間カーネルメソッド（Interpolating Kernel Methods）」も常に解釈可能であるわけではないと疑問を呈しています。

Andrew Gordon Wilson

ディープラーニングの解釈可能性が他の多くのモデルクラスと根本的に異なるわけではなく、その直感的な設計決定が理解に役立っているということを示しています。彼の立場は、ディープラーニングの解釈可能性が必ずしも限定されたものではないという楽観的な視点を提供しています。

解釈可能性に関する一般的な狭い見方に反対。
ディープラーニングは他のモデルよりも謎めいているわけではない。
過パラメータ化や二重降下はディープラーニングに限った現象ではない。
ディープラーニングのアーキテクチャ設計は直感的な生物学的理解に基づいている。
解釈可能性についての慎重な楽観主義を表明。

解釈可能性の広がり（Interpretability）

ウィルソン氏は、解釈可能性が入力の次元の影響を理解することに狭く取られがちだが、それに異を唱えています。
彼は、ディープラーニングが一般的に理解しづらいとされる常識に賛成しません。

他のモデルとの比較（Comparison with Other Models）

ディープラーニングは他のモデルクラスよりも謎が多いわけではないとし、なぜディープラーニングが特に解釈しにくいと見なされるのか疑問を投げかけています。

具体的な問題点（Specific Issues）

過パラメータ化（Overparametrization）や二重降下（Double Descent）などの現象が、他のモデルクラスでも再現可能であることを指摘しています。

直感的な設計決定（Intuitive Design Decisions）

多くの標準的なディープラーニングアーキテクチャ、特に畳み込みニューラルネットワーク（Convolutional Neural Networks）の設計は直感的な意味を持っていると述べています。

直感的な意味（Intuitive Sense）

階層性（Hierarchy）、局所性（Locality）、平行移動等価性（Translation Equivariance）、コントラスト正規化（Contrast Normalization）は、我々の視覚受容野の生物学的理解に一部触発されており、それらが解釈可能であると強調しています。

解釈可能性への挑戦（Challenge to Interpretability）

ウィルソン氏は、これらの要素が解釈可能でなければ何が解釈可能であるのかと疑問を呈しています。

Alex Smola

ノンパラメトリック非線形モデルを完全に理解することの難しさを認めつつ、データに関する有用な代理を通じて理解を深めることができると述べています。また、解釈可能性には多くの方法があり、それらは質問に依存すると指摘しています。

モデルの複雑性:
複雑な非線形モデルでも、データを理解するための単純な方法や代理指標を見つけることができる。
データの近似:
「真実」ではないが、クラスタリングなどの手法はデータの傾向を理解するのに役立つ良い近似手法となる。
説明の多様性:
解釈可能性の手法には多くの種類があり、実際の答えはどのような質問をするかに大きく依存する。

ノンパラメトリックモデルの理解について

複雑さ（Complexity） :
- ノンパラメトリック非線形モデル（Nonlinear Nonparametric Models）は設計上理解が難しいが、それでも単純な代理（Proxies）を理解することは可能です。
代理の使用（Use of Proxies） :
- 例えば、局所的線形関数（Locally Linear Functions）、ローカル分解（Local Decompositions）、顕著な成分（Salient Components）、スパース近似（Sparse Approximations）などが代理として挙げられます。
- クラスタリングは「真実」ではないが、データについての良い近似となることができます。
「真実」ではない代理の例（Examples of Non-True Proxies） :
- レプトグラプサス（Leptograpsus）やアイリスのデータセット、ザカリーの空手クラブ（Zachary’s Karate Club）は「真実」ではないが、データの内容を理解するためのかなり良い代理です。

解釈可能性と説明の方法について

解釈可能性（Explainability） :
- 数年前、SHAPや線形化（Linearizations）が説明のための方法として流行りましたが、その説明のためのアイデアは、f(x)で局所的に線形な関数が最も意味があるとされています。
代替的な視点（Alternative Perspectives） :
- 理解や解釈の方法は何百もあり、どの視点を取るかは質問によって異なります。
プラトンの洞窟（Plato’s Cave） :
- 現実とどのように質問をするかによって異なる解釈があり、これはプラトンの洞窟のようなものです。

プラトンのイデア論「洞窟の比喩」とは？図と具体例でわかりやすく解説！| ズノウライフ

洞窟の比喩とは、古代ギリシアの哲学者プラトンが自らの著書『国家』の中で「イデア論」を説明するのに使った比喩、例え話です。プラトンはこの比喩で、人間が知覚している世界の限界や、目に見えない世界の本質「イデア」やその理念に対する認識に関する考えを表しました。この記事では、洞窟の比喩をわかりやすく解説していきます。

Kyunghyun Cho

解釈可能性がディープラーニングモデルの有用な特徴であるとしながらも、モデルの効果を実証するためには必ずしもそれが必要ではないと述べています。医療分野での薬の発見や治療法の選択において、解釈可能性は有益ですが、実際の効果は試験を通じて確認されるべきであるとの立場を示しています。また、解釈可能性は必ずしもモデルの全てのメカニズムを明らかにするものではなく、実際のメカニズムと照らし合わせて考慮されるべきだと強調しています。

解釈可能性の有用性（Interpretability）

解釈可能性は非常に役立つ追加機能ですが、ディープラーニングシステムを構築・展開するために必ずしも必要ではありません。

医療と薬剤発見への適用（Application in Healthcare and Drug Discovery）

医療分野、特に薬剤発見において、治療法の背後にある生物学的、化学的、物理的メカニズムを理解することは有益です。
これにより、どのような状態にどの薬が効果的かを推測し、将来起こりうる予期せぬ結果のリスクを低減できます。

ランダム化比較試験（Randomized Controlled Trials）

多くの薬や治療法では、その働きの正確なメカニズムは分かっていませんが、ランダム化比較試験により効果を確認しています。

解釈可能性と識別可能性（Interpretability and Identifiability）

解釈可能性は、特定の予測がどのようなメカニズムに基づいて行われたかを知ることです。
言語モデル（LLM）による説明は、そのLLMの実際のメカニズムを正確に反映しているわけではないため、解釈可能性は識別可能性と少なくとも緩やかに結びついている必要があります。

Melanie Mitchell

解釈可能性がディープラーニングの進化とAIシステムの有効性を評価する上で必要な要素であると述べています。しかし、LLMsが提供する説明が必ずしも正確なプロセスを反映しているわけではなく、人間の推論プロセスに関する心理学的および神経科学的な知見をAIに応用することの重要性を強調しています。

解釈可能性の重要性（Interpretability）

解釈可能性は、ディープラーニング全般、特に言語モデル（Language Models, LLMs）において非常に重要です。

AIシステムの信頼性（Robustness and Trustworthiness of AI Systems）

AIシステムの堅牢性と信頼性を評価する上で、解釈可能性は不可欠な要素です。

自己説明の問題（Self-Explanation Problem）

LLMsは自らを説明するテキストを生成できますが、そのテキストが実際の問題解決や意思決定プロセスを反映しているとは限りません。

人間の自己説明能力（Humans’ Self-Explanation Abilities）

人間も自分たちの推論を完璧に説明することはできませんが、メタ認知（Meta-Cognition）の重要な能力を持っています。

LLMsのメタ認知の欠如（LLMs’ Lack of Meta-Cognition）

LLMsには現在、人間のようなメタ認知能力が欠けています。

心理学と神経科学からの洞察（Insights from Psychology and Neuroscience）

心理学と神経科学は、人間がどのように推論し、意思決定を行うかについて多くの洞察を提供しています。

LLMsのメカニズム解明の必要性（Teasing Out Mechanisms in LLMs）

私たちはLLMsや他の複雑なAIモデルで機能するメカニズムを見つける方法を見つける必要があります。

Zachary Lipton

解釈可能性に対する研究と実践のギャップ、経済的な動機、そして解釈可能性のメソッドが実際のところ消費者に過度の安心感を与えている可能性について論じています。これらの指摘は、機械学習モデルの解釈可能性を考える際に、批判的な視点を持つことの重要性を浮き彫りにしています。

解釈可能性に関する論議の複雑さ

混乱と対立（Confusion and Conflict） :
- 解釈可能性は機械学習で最も混乱し、対立が生じやすいトピックの一つです。
過負荷の用語（Overloaded Terms） :
- 「信頼（Trust）」「洞察（Insights）」「公平性（Fairness）」などの用語はしばしば多義的に使われます。
実際の方法との関連性の欠如（Lack of Connection to Actual Methods） :
- 論文の中で宣言されていることと、実際の方法との間には明確な関連性が見られないことが多いです。

解釈可能性研究の現状

特徴重要度スコア（Feature Importance Scores） :
- 多くの研究は特徴の重要性に焦点を当てていますが、その重要性がどのようにモデルの予測に寄与しているかについては不透明です。
ニューラルネットワークの内部調査（Internal Investigation of Neural Networks） :
- ニューラルネットワーク内部の特定のニューロンや層の機能についての説明はあいまいです。
モデル解釈可能性の「最先端」（"State of the Art" in Model Interpretability） :
- 現実の人間との相互作用で実際に役立つかどうかを評価する研究が行われていますが、多くは否定的な結果を生んでいます。

経済的緊張と解釈可能性

モデルの信頼性に対する一般的な不安（General Unease with Trusting Models） :
- モデルの背後にある不安を詳細に検討すると、それは簡単には解消されない経済的な問題と結びついています。
消費者への安心提供の役割（Role in Placating Consumers） :
- 「モデルは信頼できる」と消費者を安心させるために解釈可能性メソッドが使われますが、それがモデルの実際の機構と一致するとは限りません。
レビュー過程における極性（Polarizing Nature of Review Processes） :
- 解釈可能性に対する過度な信頼は、同意するレビュアーのみが選ばれるという危険な動きを生み出し、肯定の循環を作り出しています。