免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

圖神經(jīng)網(wǎng)絡(luò)的可解釋性是目前比較值得探索的方向，今天解讀的2021最新綜述，其針對近期提出的 GNN 解釋技術(shù)進行了系統(tǒng)的總結(jié)和分析，歸納對比了該問題的解決思路。作者還為GNN解釋性問題提供了標準的圖數(shù)據(jù)集和評估指標，將是這一方向非常值得參考的一篇文章。

• 論文標題：Explainability in Graph Neural Networks: A Taxonomic Survey
• 論文地址：https://arxiv.org/pdf/2012.15445.pdf

2萬字長文，建議收藏慢慢看~

• 0.Abstract

• 1. Introduction

• 2. 總體框架

• 3.方法介紹

• 3.1 基于梯度/特征的方法（Gradients/Features-Based Methods）

• 3.2 基于擾動的方法（Perturbation-Based Methods）

• 3.3 基于代理的方法（Surrogate Methods）

• 3.4 分解方法（Decomposition Methods）

• 4. 模型級方法

• 5. 評估模型

• 5.1. Datasets

• 5.1.1. Synthetic data

• 5.1.2 Sentiment graph data

• 5.1.3 Molecule data

• 5.2 Evaluation Metrics

• 5.2.1 Fidelity/Infidelity

• 5.2.2 Sparsity

• 5.2.3 Stability

• 5.2.4 Accuracy

• 6. Conclusion

• 參考文獻

0.Abstract

近年來，深度學習模型的可解釋性研究在圖像和文本領(lǐng)域取得了顯著進展。然而，在圖數(shù)據(jù)領(lǐng)域，既沒有針對GNN可解釋性的統(tǒng)一處理方法，也不存在標準的 benchmark 數(shù)據(jù)集和評估準則。在這篇論文中，作者對目前的GNN解釋技術(shù)從統(tǒng)一和分類的角度進行了總結(jié)，闡明了現(xiàn)有方法的共性和差異，并為進一步的方法發(fā)展奠定了基礎(chǔ)。此外，作者專門為GNN解釋技術(shù)生成了 benchmark 圖數(shù)據(jù)集，并總結(jié)了當前用于評估GNN解釋技術(shù)的數(shù)據(jù)集和評估方法。

1. Introduction

解釋黑箱模型是十分必要的：如果沒有對預(yù)測背后的底層機制進行推理，深層模型就無法得到完全信任，這就阻礙了深度模型在與公平性、隱私性和安全性有關(guān)的關(guān)鍵應(yīng)用程序中使用。為了安全、可信地部署深度模型，需要同時提供準確的預(yù)測和人類能領(lǐng)會的解釋，特別是對于跨學科領(lǐng)域的用戶。

深層模型的解釋技術(shù)通常從研究其預(yù)測背后的潛在關(guān)系著手，解釋技術(shù)大致可分為兩類：

1）input-dependent explanations（依賴輸入的解釋方法）

該類方法從特征的角度出發(fā)，提供與輸入相關(guān)的解釋，例如研究輸入特征的重要性得分，或?qū)ι顚幽Ｐ偷囊话阈袨橛懈咚降睦斫狻Ｕ撐?[10]，[11]，[18]通過研究梯度或權(quán)重，分析預(yù)測結(jié)果相對于輸入特征的敏感程度。論文 [12]，[13]，[19] 通過將隱藏特征映射到輸入空間，從而突出重要的輸入特征。[14] 通過遮蔽不同的輸入特征，觀察預(yù)測的變化，以識別重要的特征。

2）input-independent explanations（獨立于輸入的解釋方法）

與依賴特征的解釋方法不同，該類方法從模型角度出發(fā)，提供獨立于輸入的解釋，例如研究輸入 patterns，使某類的預(yù)測得分最大化。論文[17]，[22]通過探究隱藏神經(jīng)元的含義，進而理解的整個預(yù)測過程。論文[23]，[24]，[25]，[26] 對近期的方法進行了較為系統(tǒng)的評價和分類。然而，這些研究只關(guān)注圖像和文本領(lǐng)域的解釋方法，忽略了深度圖模型的可解釋性。

GNN 的可解釋性

與圖像和文本領(lǐng)域相比，對圖模型解釋性的研究較少，然而這是理解深度圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。近年來，人們提出了幾種解釋 GNN 預(yù)測的方法，如XGNN[41]、gnexplainer[42]、PGExplainer[43]等。這些方法是從不同的角度提供了不同層次的解釋。但至今仍然**缺乏標準的數(shù)據(jù)集和度量來評估解釋結(jié)果。**因此，需要對GNN解釋技術(shù)和其評估方法進行系統(tǒng)的研究。

本文

本研究提供了對不同GNN解釋技術(shù)的系統(tǒng)研究，目的對不同方法進行直觀和高水平的解釋，論文貢獻如下：

• 對現(xiàn)有的深度圖模型的解釋技術(shù)進行了系統(tǒng)和全面的回顧。
• 提出了現(xiàn)有GNN解釋技術(shù)的新型分類框架，總結(jié)了每個類別的關(guān)鍵思想，并進行了深刻的分析。
• 詳細介紹了每種GNN解釋方法，包括其方法論、優(yōu)勢、缺點，與其他方法的區(qū)別。
• 總結(jié)了GNN解釋任務(wù)中常用的數(shù)據(jù)集和評價指標，討論了它們的局限性，并提出了幾點建議。
• 通過將句子轉(zhuǎn)換為圖，針對文本領(lǐng)域構(gòu)建了三個人類可理解的數(shù)據(jù)集。這些數(shù)據(jù)集即將公開，可以直接用于GNN解釋任務(wù)。

名詞解釋：Explainability versus Interpretability

在一些研究中，“explainability” 和 “interpretability”被交替使用。本文作者認為這兩個術(shù)語應(yīng)該被區(qū)分開來，遵循論文[44]來區(qū)分這兩個術(shù)語。如果一個模型本身能夠?qū)ζ漕A(yù)測提供人類可理解的解釋，則認為這個模型是 'interpretable'。注意，這樣的模型在某種程度上不再是一個黑盒子。例如，一個決策樹模型就是一個 'interpretable“的模型。同時，'explainable '模型意味著該模型仍然是一個黑盒子，其預(yù)測有可能被一些事后解釋技術(shù)所理解。

2. 總體框架

目前存在一系列針對深度圖模型解釋性問題的工作，這些方法關(guān)注圖模型的不同方面，并提供不同的觀點來理解這些模型。它們一般都會從幾個問題出發(fā)實現(xiàn)對圖模型的解釋：哪些輸入邊更重要？哪些輸入節(jié)點更重要？ 哪些節(jié)點特征更重要？什么樣的圖模式會最大限度地預(yù)測某個類？為了更好地理解這些方法，本文為GNNs的不同解釋技術(shù)提供了分類框架，結(jié)構(gòu)如圖1所示。根據(jù)提供什么類型的解釋，解釋性技術(shù)被分為兩大類：實例級方法和模型級方法。本文接下來的部分將針對圖1的各個分支展開講解，并作出對比。

圖1 GNN 解釋性方法分類框架

1）實例級方法

實例級方法與特征工程的思想有些類似，旨在找到輸入數(shù)據(jù)中最能夠影響預(yù)測結(jié)果的部分特征，為每個輸入圖提供 input-dependent 的解釋。給定一個輸入圖，實例級方法旨在探究影響模型預(yù)測的重要特征實現(xiàn)對深度模型的解釋。根據(jù)特征重要性分數(shù)的獲得方式，作者將實例級方法分為四個不同的分支：

• 基于梯度/特征的方法[49]，[50]，采用梯度或特征值來表示不同輸入特征的重要程度。
• 基于擾動的方法[42]，[43]，[51]，[52]，[53]，監(jiān)測在不同輸入擾動下預(yù)測值的變化，從而學習輸入特征的重要性分數(shù)。
• 基于分解的方法[49]，[50]，[54]，[55]，首先將預(yù)測分數(shù)，如預(yù)測概率，分解到最后一個隱藏層的神經(jīng)元。然后將這樣的分數(shù)逐層反向傳播，直到輸入空間，并將分解分數(shù)作為重要性分數(shù)。
• 基于代理的方法[56]，[57]，[58]，首先從給定例子的鄰居中抽取一個數(shù)據(jù)集的樣本。接下來對采樣的數(shù)據(jù)集合擬合一個簡單且可解釋的模型，如決策樹。通過解釋代理模型實現(xiàn)對原始預(yù)測的解釋。

2）模型級方法

模型級方法直接解釋圖神經(jīng)網(wǎng)絡(luò)的模型，不考慮任何具體的輸入實例。這種 input-independent 的解釋是高層次的，能夠解釋一般性行為。與實例級方法相比，這個方向的探索還比較少?，F(xiàn)有的模型級方法只有XGNN[41]，它是基于圖生成的，通過生成 graph patterns使某一類的預(yù)測概率最大化，并利用 graph patterns 來解釋這一類。

總的來說，這兩類方法從不同的角度解釋了深度圖模型。實例級方法提供了針對具體實例的解釋，而模型級方法則提供了高層次的見解和對深度圖模型工作原理的一般理解。

'Type '表示提供什么類型的解釋，'Learning '表示是否涉及學習過程，'Task '表示每種方法可以應(yīng)用于什么任務(wù)（GC表示圖分類，NC表示節(jié)點分類），'Target '表示解釋的對象（N表示節(jié)點，E表示邊，NF表示節(jié)點特征，Walk表示圖游走），'Black-box '表示在解釋階段是否將訓練好的GNNs作為黑盒處理，'Flow '表示解釋的計算流程，'Design '表示解釋方法是否有針對圖數(shù)據(jù)的具體設(shè)計。

3.方法介紹

3.1 基于梯度/特征的方法（Gradients/Features-Based Methods）

采用梯度或特征來解釋深度模型是最直接的解決方案，在圖像和文本任務(wù)中被廣泛使用。其關(guān)鍵思想是將梯度或隱藏的特征圖值作為輸入重要性的近似值。一般來說，在這類方法中，梯度或特征值越大，表示重要性越高。需要注意的是，梯度和隱藏特征都與模型參數(shù)高度相關(guān)，那么這樣的解釋可以反映出模型所包含的信息。本文將介紹最近提出的幾種方法，包括：SA[49]、Guided BP[49]、CAM[50]和Grad-CAM[50]。這些方法的關(guān)鍵區(qū)別在于梯度反向傳播的過程以及如何將不同的隱藏特征圖結(jié)合起來。

1）SA

SA[49]直接采用梯度的平方值作為不同輸入特征的重要性得分。輸入特征可以是圖節(jié)點、邊或節(jié)點特征。它假設(shè)絕對梯度值越高，說明相應(yīng)的輸入特征越重要。雖然它簡單高效，但有幾個局限性：1）SA方法只能反映輸入和輸出之間的敏感程度，不能很準確地表達重要性(敏感度不等于重要性)。2）還存在飽和問題[59]。即在模型性能達到飽和的區(qū)域，其輸出相對于任何輸入變化的變化都是十分微小的，梯度很難反映輸入的貢獻程度。

2）Guided BP

Guided BP[49]與SA有著相似的思想，但修改了反向傳播梯度的過程。由于負梯度很難解釋，Guided BP只反向傳播正梯度，而將負梯度剪成零。因此Guided BP與SA有著相同的局限性。

3）CAM

CAM [50] 將最后一層的節(jié)點特征映射到輸入空間，從而識別重要節(jié)點。它要求GNN模型采用全局平均池化層和全連接層作為最終分類器。CAM將最終的節(jié)點嵌入，通過加權(quán)求和的方式組合不同的特征圖，從而獲得輸入節(jié)點的重要性分數(shù)。權(quán)重是從與目標預(yù)測連接的最終全連接層獲得的。該方法非常簡單高效，但仍有幾大限制：1）CAM對GNN結(jié)構(gòu)有特殊要求，限制了它的應(yīng)用和推廣。2）它假設(shè)最終的節(jié)點嵌入可以反映輸入的重要性，這是啟發(fā)式的，可能不是真的。3）它只能解釋圖分類模型，不能應(yīng)用于節(jié)點分類任務(wù)中。

4）Grad-CAM

Grad-CAM [50] 通過去除全局平均池化層的約束，將CAM擴展到一般圖分類模型。同樣，它也將最終的節(jié)點嵌入映射到輸入空間來衡量節(jié)點重要性。但是，它沒有使用全局平均池化輸出和全連接層輸出之間的權(quán)重，而是采用梯度作為權(quán)重來組合不同的特征圖。與CAM相比，Grad-CAM不需要GNN模型在最終的全連接層之前采用全局平均池化層。但它也是基于啟發(fā)式假設(shè)，無法解釋節(jié)點分類模型。

3.2 基于擾動的方法（Perturbation-Based Methods）

基于擾動的方法[14]，[15]，[60]被廣泛用于解釋深度圖像模型。其根本動機是研究不同輸入擾動下的輸出變化。當重要的輸入信息被保留（沒有被擾動）時，預(yù)測結(jié)果應(yīng)該與原始預(yù)測結(jié)果相似。論文 [14]，[15]，[60]學習一個生成器來生成掩碼，以選擇重要的輸入像素來解釋深度圖像模型。然而，這種方法不能直接應(yīng)用于圖模型，圖數(shù)據(jù)是以節(jié)點和邊來表示的，它們不能調(diào)整大小以共享相同的節(jié)點和邊數(shù)，結(jié)構(gòu)信息對圖來說至關(guān)重要，可以決定圖的功能。

圖2 基于擾動方法的一般流程

基于擾動的方法采用不同的掩碼生成算法來獲得不同類型的掩碼。需要注意的是，掩碼可以對應(yīng)節(jié)點、邊或節(jié)點特征。在這個例子中，我們展示了一個節(jié)點特征的軟掩碼，一個邊的離散掩碼和一個節(jié)點的近似離散掩碼。然后，將掩碼與輸入圖結(jié)合起來，得到一個包含重要輸入信息的新圖，遮蔽掉不需要的信息。最終將新圖輸入到訓練好的GNN中，評估掩碼并更新掩碼生成算法。本文將介紹幾種基于擾動的方法，包括：GNNExplainer[42]、PGExplainer[43]、ZORRO[51]、GraphMask[52]，Causal Screening[53]。直觀地講，掩碼捕捉到的重要輸入特征應(yīng)該傳達關(guān)鍵的語義意義，從而得到與原圖相似的預(yù)測結(jié)果。這些方法的區(qū)別主要在于三個方面：掩碼生成算法、掩碼類型和目標函數(shù)。

軟掩碼包含[0，1]之間的連續(xù)值，掩碼生成算法可以直接通過反向傳播進行更新。但軟掩碼存在 'introduced evidence '的問題[14]，即掩碼中任何非零或非一的值都可能給輸入圖引入新的語義或新的噪聲，從而影響解釋結(jié)果。同時，離散掩碼只包含離散值0和1，由于沒有引入新的數(shù)值，可以避免  'introduced evidence '問題。但是，離散掩碼總是涉及到不可微的問題，如采樣。主流的解決方法是策略梯度技術(shù)[61]。論文[45]，[62]，[63]提出采用重參數(shù)化技巧，如Gumbel-Softmax估計和稀疏松弛，來逼近離散掩碼。需要注意的是，輸出的掩碼并不是嚴格意義上的離散掩碼，而是提供了一個很好的近似值，這不僅可以實現(xiàn)反向傳播，而且在很大程度上緩解了”introduced evidence“的問題。

接下來將詳細的介紹目前存在的幾種基于擾動的解釋性方法，我們可以重點關(guān)注它們的作用對象（節(jié)點或邊或節(jié)點特征），以及它們的掩碼生成算法、掩碼類型和目標函數(shù)。

1）GNNExplainer

GNNExplainer [42] 學習邊和節(jié)點特征的軟掩碼，通過掩碼優(yōu)化來解釋預(yù)測。軟掩碼被隨機初始化，并被視為可訓練變量。然后通過元素點乘將掩碼與原始圖結(jié)合。最大化原始圖的預(yù)測和新獲得的圖的預(yù)測之間的互信息來優(yōu)化掩碼。但得到的掩碼仍然是軟掩碼，因此無法避免 'introduced evidence'問題。此外，掩碼是針對每個輸入圖單獨優(yōu)化的，因此解釋可能缺乏全局視角。

2）PGExplainer

PGExplainer[43]學習邊的近似離散掩碼來解釋預(yù)測。它訓練一個參數(shù)化的掩碼預(yù)測器來預(yù)測邊掩碼。給定一個輸入圖，首先通過拼接節(jié)點嵌入來獲得每個邊的嵌入，然后預(yù)測器使用邊嵌入來預(yù)測邊掩碼。預(yù)測器使用邊嵌入來預(yù)測每個邊被選中的概率（被視為重要性分數(shù)）。通過重參數(shù)化技巧對近似的離散掩碼進行采樣。最后通過最大化原始預(yù)測和新預(yù)測之間的相互信息來訓練掩碼預(yù)測器。需要注意的是，即使采用了重參數(shù)化技巧，得到的掩碼并不是嚴格意義上的離散掩碼，但可以很大程度上緩解 'introduced evidence'的問題。由于數(shù)據(jù)集中的所有邊都共享相同的預(yù)測器，因此解釋可以提供對訓練好的GNN的全局理解。

3）GraphMask

GraphMask[52]是一種事后解釋GNN各層中邊重要性的方法。與PGExplainer類似，它訓練一個分類器來預(yù)測是否可以丟棄一條邊而不影響原來的預(yù)測。然而，GraphMask為每一層GNN獲取邊掩碼，而PGExplainer只關(guān)注輸入空間。此外，為了避免改變圖結(jié)構(gòu)，被丟棄的邊被可學習的基線連接所取代，基線連接是與節(jié)點嵌入相同維度的向量。需要注意的是，采用二進制Concrete分布[63]和重參數(shù)化技巧來近似離散掩碼。此外，分類器使用整個數(shù)據(jù)集通過最小化一個散度項來訓練，用于衡量網(wǎng)絡(luò)預(yù)測之間的差異。與PGExplainer類似，它可以很大程度上緩解 'introduced evidence'問題，并對訓練后的GNN進行全局理解。

3）ZORRO

ZORRO[51]采用離散掩碼來識別重要的輸入節(jié)點和節(jié)點特征。給定一個輸入圖，采用貪心算法逐步選擇節(jié)點或節(jié)點特征。每一步都會選擇一個fidelity score最高的節(jié)點或一個節(jié)點特征。通過固定所選節(jié)點/特征，并用隨機噪聲值替換其他節(jié)點/特征，來衡量新的預(yù)測與模型原始預(yù)測的匹配程度。由于不涉及訓練過程，因此避免了離散掩碼的不可微限制。此外，通過使用硬掩碼，ZORRO不會受到 'introduced evidence '問題的影響。然而，貪婪的掩碼選擇算法可能導致局部最優(yōu)解釋。此外，由于掩碼是為每個圖形單獨生成的，因此解釋可能缺乏全局的理解。

4）Causal Screening

Causal Screening[53]研究輸入圖中不同邊的因果歸因。它為 explanatory subgraph 確定一個邊掩碼。關(guān)鍵思想是：研究在當前 explanatory subgraph 中增加一條邊時預(yù)測的變化，即所謂的因果效應(yīng)。對于每一步，它都會研究不同邊的因果效應(yīng)，并選擇一條邊添加到子圖中。具體來說，它采用個體因果效應(yīng)(ICE)來選擇邊，即測量在子圖中添加不同邊后的互信息(原圖與解釋子圖的預(yù)測之間)差異。與ZORRO類似，Causal Screening是一種貪心算法，不需要任何訓練過程就能生成離散掩碼。因此，它不會受到 'introduced evidence '問題的困擾，但可能缺乏全局性的理解，而停留在局部最優(yōu)解釋上。

3.3 基于代理的方法（Surrogate Methods）

由于輸入空間和輸出預(yù)測之間的復雜和非線性關(guān)系，深度模型的解釋具有挑戰(zhàn)性。代理方法能夠為圖像模型提供實例級解釋。其基本思想是化繁為簡，既然無法解釋原始深度圖模型，那么采用一個簡單且可解釋的代理模型來近似復雜的深層模型，實現(xiàn)輸入實例的鄰近區(qū)域預(yù)測。需要注意的是，這些方法都是假設(shè)輸入實例的鄰近區(qū)域的關(guān)系不那么復雜，可以被一個較簡單的代理模型很好地捕獲。然后通過可解釋的代理模型的來解釋原始預(yù)測。將代理方法應(yīng)用到圖域是一個挑戰(zhàn)，因為圖數(shù)據(jù)是離散的，包含拓撲信息。那么如何定義輸入圖的相鄰區(qū)域，以及什么樣的可解釋代理模型是合適的，都是不清楚的。

圖3 代理模型的一般框架

給定一個輸入圖及其預(yù)測，它們首先對一個局部數(shù)據(jù)集進行采樣，以表示目標數(shù)據(jù)周圍的關(guān)系。然后應(yīng)用不同的代理方法來擬合局部數(shù)據(jù)集。需要注意的是，代理模型一般都是簡單且可解釋的ML模型。最后，代理模型的解釋可以看作是對原始預(yù)測的解釋。本文將介紹最近提出的幾種代理方法，包括：GraphLime[56]、RelEx[57]和PGM-Explainer[58]。這些方法的一般流程如圖3所示。為了解釋給定輸入圖的預(yù)測，它們首先獲得一個包含多個相鄰數(shù)據(jù)對象及其預(yù)測的局部數(shù)據(jù)集。然后擬合一個可解釋模型來學習局部數(shù)據(jù)集。來自可解釋模型的解釋被視為原始模型對輸入圖的解釋。不同代理模型關(guān)鍵的區(qū)別在于兩個方面：如何獲得局部數(shù)據(jù)集和選擇什么代理模型。

1）GraphLime

GraphLime[56]將LIME[64]算法擴展到深度圖模型，并研究不同節(jié)點特征對節(jié)點分類任務(wù)的重要性。給定輸入圖中的一個目標節(jié)點，將其N-hop 鄰居節(jié)點及其預(yù)測值視為局部數(shù)據(jù)集，其中N的合理設(shè)置是訓練的GNN的層數(shù)。然后采用非線性代理模型HSIC Lasso[65]來擬合局部數(shù)據(jù)集。根據(jù)HSIC Lasso中不同特征的權(quán)重，可以選擇重要的特征來解釋HSIC Lasso的預(yù)測結(jié)果。這些被選取的特征被認為是對原始GNN預(yù)測的解釋。但是，GraphLime只能提供節(jié)點特征的解釋，卻忽略了節(jié)點和邊等圖結(jié)構(gòu)，而這些圖結(jié)構(gòu)對于圖數(shù)據(jù)來說更為重要。另外，GraphLime是為了解釋節(jié)點分類預(yù)測而提出的，但不能直接應(yīng)用于圖分類模型。

2）RelEx

RelEx[57]結(jié)合代理方法和基于擾動的方法的思想，研究節(jié)點分類模型的可解釋性。給定一個目標節(jié)點及其計算圖(N-hop鄰居)，它首先從計算圖中隨機采樣連接的子圖，獲得一個局部數(shù)據(jù)集，并將這些子圖喂入訓練好的GNN，以獲得其預(yù)測結(jié)果。從目標節(jié)點開始，它以BFS的方式隨機選擇相鄰節(jié)點。采用GCN模型作為代理模型來擬合局部數(shù)據(jù)集。與GraphLime不同，RelEx中的代理模型是不可解釋的。訓練后，它進一步應(yīng)用前述基于擾動的方法，如生成軟掩碼或Gumbel-Softmax掩碼來解釋預(yù)測結(jié)果。該過程包含了多個步驟的近似，比如使用代理模型來近似局部關(guān)系，使用掩碼來近似邊的重要性，從而使得解釋的說服力和可信度降低。由于可以直接采用基于擾動的方法來解釋原有的深度圖模型，因此沒有必要再建立一個不可解釋的深度模型作為代理模型來解釋。

3）PGM-Explainer

PGM-Explainer[58]建立了一個概率圖形模型，為GNN提供實例級解釋。局部數(shù)據(jù)集是通過隨機節(jié)點特征擾動獲得的。具體來說，給定一個輸入圖，每次PGM-Explainer都會隨機擾動計算圖中幾個隨機節(jié)點的節(jié)點特征。然后對于計算圖中的任何一個節(jié)點，PGM-Explainer都會記錄一個隨機變量，表示其特征是否受到擾動，以及其對GNN預(yù)測的影響。通過多次重復這樣的過程，就可以得到一個局部數(shù)據(jù)集。通過Grow-Shrink(GS)算法[66]選擇依賴性最強的變量來減小局部數(shù)據(jù)集的大小。最后采用可解釋的貝葉斯網(wǎng)絡(luò)來擬合局部數(shù)據(jù)集，并解釋原始GNN模型的預(yù)測。PGM-Explainer可以提供有關(guān)圖節(jié)點的解釋，但忽略了包含重要圖拓撲信息的圖邊。此外，與GraphLime和RelEx不同的是，PGM-Explainer可以同時用于解釋節(jié)點分類和圖形分類任務(wù)。

3.4 分解方法（Decomposition Methods）

分解方法是另一種比較流行的解釋深度圖像分類器的方法，它通過將原始模型預(yù)測分解為若干項來衡量輸入特征的重要性。然后將這些項視為相應(yīng)輸入特征的重要性分數(shù)。這些方法直接研究模型參數(shù)來揭示輸入空間中的特征與輸出預(yù)測之間的關(guān)系。需要注意的是，這些方法要求分解項之和等于原始預(yù)測得分。由于圖包含節(jié)點、邊和節(jié)點特征，因此將這類方法直接應(yīng)用于圖域是具有挑戰(zhàn)性的。很難將分數(shù)分配給不同的邊，圖數(shù)據(jù)邊包含著重要的結(jié)構(gòu)信息，不容忽視。

圖5 分解方法的一般流程

本文將介紹最近提出的幾種用于解釋深層圖神經(jīng)網(wǎng)絡(luò)泛讀分解方法，包括：Layerwise Relevance Propagation（LRP）[49]、[54]、Excitation BP[50]和GNN-LRP[55]。這些算法的主要思想是建立分數(shù)分解規(guī)則，將預(yù)測分數(shù)分配到輸入空間。這些方法的一般流程如圖4所示。以反向傳播的方式逐層分發(fā)預(yù)測得分，直到輸入層。從輸出層開始，將模型的預(yù)測結(jié)果作為初始目標分數(shù)。然后將分數(shù)進行分解，并按照分解規(guī)則分配給上一層的神經(jīng)元。通過重復這樣的過程，直到輸入空間，它們可以得到節(jié)點特征的重要性分數(shù)，這些分數(shù)可以組合起來表示邊重要性、節(jié)點重要性和游走重要性。但是這些算法都忽略了深度圖模型中的激活函數(shù)。不同分解方法的主要區(qū)別在于分數(shù)分解規(guī)則和解釋的目標。

1）LRP

LRP[49]，[54]將原來的LRP算法[67]擴展到深度圖模型。它將輸出的預(yù)測分數(shù)分解為不同的節(jié)點重要性分數(shù)。分數(shù)分解規(guī)則是基于隱藏特征和權(quán)重制定的。對于一個目標神經(jīng)元，其得分表示為上一層神經(jīng)元得分的線性近似。目標神經(jīng)元激活貢獻度較高的神經(jīng)元獲得的目標神經(jīng)元得分比例較大。為了滿足保守屬性，在事后解釋階段將鄰接矩陣作為GNN模型的一部分，這樣在分數(shù)分配時就可以忽略它，否則，鄰接矩陣也會收到分解后的分數(shù)，從而使保守屬性失效。由于LRP是直接根據(jù)模型參數(shù)開發(fā)的，所以其解釋結(jié)果更具有可信度。但它只能研究不同節(jié)點的重要性，不能應(yīng)用于圖結(jié)構(gòu)，如子圖和游走。該算法需要對模型結(jié)構(gòu)有全面的了解，這就限制了它對非專業(yè)用戶的應(yīng)用，如跨學科研究人員。

2）Excitation BP

Excitation BP[50]與LRP算法有著相似的思想，但它是基于全概率法則開發(fā)的。它定義了當前層中一個神經(jīng)元的概率等于它輸出給下一層所有連接神經(jīng)元的總概率。那么分數(shù)分解規(guī)則可以看作是將目標概率分解為幾個條件概率項。Excitation BP的計算與LRP中的z+規(guī)則高度相似。因此它與LRP算法有著相同的優(yōu)點和局限性。

3）GNN-LRP

GNN-LRP[55]研究了不同圖游走的重要性。由于在進行鄰域信息聚合時，圖游走對應(yīng)于消息流，因此它對深層圖神經(jīng)網(wǎng)絡(luò)更具有一致性。得分分解規(guī)則是模型預(yù)測的高階泰勒分解。研究表明，泰勒分解（在根零處）只包含T階項，其中T是訓練的GNN的層數(shù)。那么每個項對應(yīng)一個T階圖游走，可以視為其重要性得分。由于無法直接計算泰勒展開給出的高階導數(shù)，GNN-LRP還遵循反向傳播過程來逼近T階項。GNN-LRP中的反向傳播計算與LRP算法類似。然而，GNN-LRP不是將分數(shù)分配給節(jié)點或邊，而是將分數(shù)分配給不同的圖游走。它記錄了層與層之間的消息分發(fā)過程的路徑。這些路徑被認為是不同的游走，并從它們對應(yīng)的節(jié)點上獲得分數(shù)。雖然GNN-LRP具有堅實的理論背景，但其計算中的近似值可能并不準確。由于每個游走都要單獨考慮，計算復雜度很高。此外，對于非專業(yè)人員來說，它的使用也具有挑戰(zhàn)性，尤其是對于跨學科領(lǐng)域。

4. 模型級方法

與實例級方法不同，模型級方法旨在提供一般性的見解和高層次的理解來解釋深層圖模型。它們研究什么樣的輸入圖模式可以導致GNN的某種行為，例如最大化目標預(yù)測。輸入優(yōu)化[16]是獲得圖像分類器模型級解釋的一個熱門方向。但是，由于圖拓撲信息的離散性，它不能直接應(yīng)用于圖模型，從而使GNN在模型層面的解釋更具挑戰(zhàn)性。它仍然是一個重要但研究較少的課題。據(jù)我們所知，現(xiàn)有的解釋圖神經(jīng)網(wǎng)絡(luò)的模型級方法只有XGNN[41]。

1）XGNN

XGNN[41]提出通過圖生成來解釋GNN。它不是直接優(yōu)化輸入圖，而是訓練一個圖生成器，使生成的圖能夠最大化目標圖預(yù)測。然后，生成的圖被視為目標預(yù)測的解釋，并被期望包含判別性的圖模式。在XGNN中，圖形生成被表述為一個強化學習問題。對于每一步，生成器都會預(yù)測如何在當前圖中增加一條邊。然后將生成的圖輸入到訓練好的GNN中，通過策略梯度獲得反饋來訓練生成器。此外，還加入了一些圖規(guī)則，以鼓勵解釋既有效又能被人類理解。XGNN是一個生成模型級解釋的通用框架，因此可以應(yīng)用任何合適的圖生成算法。該解釋是通用的，并且提供了對訓練的GNNs的全局理解。然而XGNN只證明了其在解釋圖分類模型方面的有效性，XGNN是否可以應(yīng)用于節(jié)點分類任務(wù)還不得而知，這是未來研究中需要探索的重要方向。

5. 評估模型

由于缺乏 ground truths，因此不容易對解釋方法的結(jié)果進行評估，作者討論并分析了幾種常用的數(shù)據(jù)集和度量標準。

5.1. Datasets

需要選擇合適的數(shù)據(jù)集來評估不同的解釋技術(shù)，并且希望數(shù)據(jù)是直觀的，易于可視化的。應(yīng)該在數(shù)據(jù)實例和標簽之間蘊含人類可以理解的理由，這樣專家就可以驗證這些理由是否被解釋算法識別。為了評估不同的解釋技術(shù)，通常采用幾種類型的數(shù)據(jù)集，包括合成數(shù)據(jù)、情感圖數(shù)據(jù)和分子數(shù)據(jù)。

5.1.1. Synthetic data

利用現(xiàn)有的合成數(shù)據(jù)集來評估解釋技術(shù)[42]，[43]。在這樣的數(shù)據(jù)集中，包含了不同的 graph motifs，可以通過它們確定節(jié)點或圖的標簽。數(shù)據(jù)實例和數(shù)據(jù)標簽之間的關(guān)系由人類定義。即使經(jīng)過訓練的GNNs可能無法完美地捕捉到這樣的關(guān)系，但graph motifs 可以作為解釋結(jié)果的ground truths 的合理近似值。這里我們介紹幾種常見的合成數(shù)據(jù)集。

BA-shapes：它是一個節(jié)點分類數(shù)據(jù)集，有4個不同的節(jié)點標簽。對于每個圖形，它包含一個基礎(chǔ)圖（300個節(jié)點）和一個類似房子的5節(jié)點 motif。需要注意的是，基礎(chǔ)圖是由Barab′asi-Albert（BA）模型獲得的，它可以生成具有優(yōu)先附加機制的隨機無標度網(wǎng)絡(luò)[68]。motif 被附加到基圖上，同時添加隨機邊。每個節(jié)點根據(jù)其是否屬于基礎(chǔ)圖或motif 的不同空間位置進行標注。

BA-Community：這是一個有8個不同標簽的節(jié)點分類數(shù)據(jù)集。對于每個圖，它是通過組合兩個隨機添加邊的BA-shapes圖獲得的。節(jié)點標簽由BA-shapes圖的成員資格及其結(jié)構(gòu)位置決定。

Tree-Cycle：它是一個有兩個不同標簽的節(jié)點分類數(shù)據(jù)集。對于每個圖，它由深度等于8的基平衡樹圖和6節(jié)點周期 motif 組成。這兩部分是隨機連接的?；鶊D中節(jié)點的標簽為0，否則為1。

Tree-Grids：它是一個有兩個不同標簽的節(jié)點分類數(shù)據(jù)集。它與 Tree-Cycle 數(shù)據(jù)集相同，只是Tree-Grids數(shù)據(jù)集采用了9節(jié)點網(wǎng)格 motifs 而不是周期 motifs 。

BA-2Motifs：它是一個具有2種不同圖標簽的圖形分類數(shù)據(jù)集。有800個圖，每個圖都是通過在基礎(chǔ)BA圖上附加不同的motif來獲得的，如house-like motif 和 five-node cycle motif。不同的圖是根據(jù)motif 的類型來標注的。

在這些數(shù)據(jù)集中，所有節(jié)點特征都被初始化為全1向量。訓練好的GNNs模型要捕捉圖結(jié)構(gòu)來進行預(yù)測。然后根據(jù)每個數(shù)據(jù)集的構(gòu)建規(guī)則，我們可以分析解釋結(jié)果。例如，在BA-2Motifs數(shù)據(jù)集中，我們可以研究解釋是否能夠捕獲motif結(jié)構(gòu)。然而，合成數(shù)據(jù)集只包含圖和標簽之間的簡單關(guān)系，可能不足以進行綜合評估。

5.1.2 Sentiment graph data

由于人類只有有限的領(lǐng)域知識，傳統(tǒng)的圖數(shù)據(jù)集在理解上具有挑戰(zhàn)性，因此需要構(gòu)建人類可理解的圖數(shù)據(jù)集。文本數(shù)據(jù)具有人類可理解的語義的單詞和短語組成，因此可以成為圖解釋任務(wù)的合適選擇，解釋結(jié)果可以很容易地被人類評估。因此我們基于文本情感分析數(shù)據(jù)構(gòu)建了三個情感圖數(shù)據(jù)集，包括SST2[69]、SST5[69]和Twitter[70]數(shù)據(jù)集。

圖5 文本情感圖

對于每個文本序列，將其轉(zhuǎn)換為一個圖，每個節(jié)點代表一個單詞，而邊則反映不同單詞之間的關(guān)系。作者采用Biaffine解析器[71]來提取詞的依賴關(guān)系。圖5中展示了生成的情感圖的一個例子。生成的圖是有向的，但邊標簽被忽略了，因為大多數(shù)GNNs不能捕獲邊標簽信息。用BERT[72]來學習單詞嵌入，并將這種嵌入作為圖節(jié)點的初始嵌入。建立一個模型，采用預(yù)訓練好的BERT作為特征提取器，采用一層平均池化的GCN作為分類器。最后預(yù)訓練的BERT為每個詞提取768維的特征向量，作為情感圖數(shù)據(jù)中的節(jié)點特征。

作者建立了三個情感圖數(shù)據(jù)集，分別為Graph-SST2、Graph-SST5和Graph-Twitter ，并即將公開，可以直接用于研究不同的可解釋技術(shù)。這些數(shù)據(jù)集的統(tǒng)計和屬性如表2所示。為了驗證本文生成的情感數(shù)據(jù)集具有可解釋信息，作者分別再新生成的情感數(shù)據(jù)集和原始數(shù)據(jù)集進行實驗。作者展示了兩層GNNs在這些數(shù)據(jù)集上的預(yù)測精度，包括GCNs、GATs和GINs。還展示了使用原始句子數(shù)據(jù)集的預(yù)訓練的BERT[72]的微調(diào)精度。結(jié)果表明，與原始句子數(shù)據(jù)集相比，作者構(gòu)建的情感圖數(shù)據(jù)集可以達到具有競爭力的性能這些數(shù)據(jù)集是實現(xiàn)圖模型解釋的合理選擇。根據(jù)不同詞的語義和情感標簽，我們可以研究可解釋方法是否能識別出具有關(guān)鍵意義的詞以及不同詞之間的關(guān)系

5.1.3 Molecule data

分子數(shù)據(jù)集也被廣泛用于解釋任務(wù)，如MUTAG[73]、BBBP和Tox21[74]。這類數(shù)據(jù)集中的每個圖對應(yīng)一個分子，其中節(jié)點代表原子，邊是化學鍵。分子圖的標簽一般由分子的化學功能或性質(zhì)決定。采用這樣的數(shù)據(jù)集進行解釋任務(wù)需要領(lǐng)域知識，例如什么化學基團對其官能性更具有鑒別性。例如，在數(shù)據(jù)集MUTAG中，不同的圖形是根據(jù)它們對細菌的誘變作用來標注的。例如，已知碳環(huán)和NO2化學基團可能導致誘變效應(yīng)[73]，那么可以研究可解釋方法是否能識別出對應(yīng)類別的 patterns

（在不同的領(lǐng)域中，不同的局部結(jié)構(gòu)是具有區(qū)分力的，可解釋方法是否能夠識別這些模式？）

5.2 Evaluation Metrics

即使可視化的結(jié)果可以讓人理解解釋性方法是否合理，但由于缺乏 ground truths，這種評估并不完全可信。為了比較不同的解釋性方法，我們需要研究每個輸入樣例的結(jié)果，這很耗時。因此評估度量對于研究可解釋方法至關(guān)重要。好的度量方法應(yīng)該從模型的角度來評估預(yù)測結(jié)果，比如解釋是否忠實于模型[75]，[76]。作者將介紹最近提出的幾種針對解釋性問題的評估度量方法。

5.2.1 Fidelity/Infidelity

首先，從模型的預(yù)測結(jié)果上分析解釋性方法的性能，解釋應(yīng)該忠于模型，解釋方法應(yīng)該識別對模型重要的輸入特征。為了評估這一點，最近提出了Fidelity[50]度量方法。關(guān)鍵思想在于如果解釋技術(shù)所識別的重要輸入特征（節(jié)點/邊/節(jié)點特征）對模型具有判別力，那么當這些特征被移除時，模型的預(yù)測結(jié)果應(yīng)該會發(fā)生顯著變化。因此，F(xiàn)idelity被定義為原始預(yù)測與遮蔽掉重要輸入特征后的新預(yù)測之間的精度之差[50]，[77]，即衡量兩種預(yù)測結(jié)果的差異性。

可解釋方法可以看作是一個硬重要性映射 ，其中元素為 0（表示特征不重要）或1（表示特征重要）。對于現(xiàn)有方法，例如ZORRO[51] 和 Causal Screening[53] 等方法，生成的解釋是離散掩碼，可以直接作為重要性映射 。對于 GNNExplainer[42] 和 GraphLime[56] 等方法，重要性分數(shù)是連續(xù)值，那么可以通過歸一化和閾值化得到重要性地映射。最后，預(yù)測精度的Fidelity得分可以計算為:

其中是圖的原始預(yù)測，是圖的數(shù)量。表示去掉重要輸入特征的補全掩碼，是將新圖輸入訓練好的GNN 時的預(yù)測值。指示函數(shù)如果和相等則返回1，否則返回0。注意，指標研究的是預(yù)測精度的變化。通過對預(yù)測概率的關(guān)注，概率的Fidelity可以定義為:

其中，代表基于互補掩碼，保留的特征得到的新圖。需要注意的是，監(jiān)測的是預(yù)測概率的變化，比更敏感。對于這兩個指標來說，數(shù)值越高，說明解釋結(jié)果越好，識別出的判別特征越多。

Fidelity度量通過去除重要節(jié)點/邊/節(jié)點特征來研究預(yù)測變化。相反，Infidelity度量通過保留重要的輸入特征和去除不重要的特征來研究預(yù)測變化。直觀地講，重要特征應(yīng)該包含判別信息，因此即使去掉不重要的特征，它們也應(yīng)該導致與原始預(yù)測相似的預(yù)測。從形式上看，度量Infidelity可以計算為：

其中是根據(jù)映射保留的重要特征時的新圖，是新的預(yù)測值。需要注意的是，對于和來說，數(shù)值越低，說明去掉的特征重要信息越少，這樣解釋結(jié)果越好

5.2.2 Sparsity

從輸入圖數(shù)據(jù)的角度來分析解釋性方法的性能，解釋性方法應(yīng)該是稀疏的，這意味著它們應(yīng)該捕捉最重要的輸入特征，而忽略不相關(guān)的特征，可以用稀疏度（Sparsity）指標衡量這樣個特性。具體來說，它衡量的是被解釋方法選擇為重要特征的分數(shù)[50]。形式上，給定圖和它的硬重要性映射 ，稀疏度度量可以計算為：

其中表示中識別的重要輸入特征（節(jié)點/邊/節(jié)點特征）的數(shù)量，表示原始圖 中特征的總數(shù)。請注意，數(shù)值越高表示解釋方法越稀疏，即往往只捕捉最重要的輸入信息。

5.2.3 Stability

好的解釋應(yīng)該是穩(wěn)定的。當對輸入施加小的變化而不影響預(yù)測時，解釋應(yīng)該保持相似。最近提出的穩(wěn)定性度量標準來衡量一個解釋方法是否穩(wěn)定[78]。給定一個輸入圖，它的解釋被認為是真實標簽。然后對輸入圖進行小的改變，比如附加新的節(jié)點/邊，得到一個新的圖。需要注意的是，和需要有相同的預(yù)測。然后得到的解釋，表示為 。通過比較和之間的差異，我們可以計算出穩(wěn)定性得分。請注意，數(shù)值越低表示解釋技術(shù)越穩(wěn)定，對噪聲信息的魯棒性越強。

5.2.4 Accuracy

針對合成數(shù)據(jù)集提出了精度度量方法[42]、[78]。在合成數(shù)據(jù)集中，即使不知道GNN是否按照我們預(yù)期的方式進行預(yù)測，但構(gòu)建這些數(shù)據(jù)集的規(guī)則，如 graph motifs，可以作為 ground truths 的合理近似。然后對于任何輸入圖，我們都可以將其解釋與這樣的 ground truths進行比較。例如，在研究重要邊的時候，可以研究解釋中的重要邊與 ground truths 的邊的匹配率。這種比較的常用指標包括一般精度、F1得分、ROC-AUC得分。匹配率數(shù)值越高，說明解釋結(jié)果越接近于 ground truths，認為是較好的解釋方法。

6. Conclusion

圖神經(jīng)網(wǎng)絡(luò)近來被廣泛研究，但對圖模型的可解釋性的探討還比較少。為了研究這些黑箱的潛在機制，人們提出了幾種解釋圖模型的方法，包括XGNN、GNNExplainer等。這些方法從不同的角度和動機來解釋圖模型，但是缺乏對這些方法的全面研究和分析。在這項工作中，作者對這些方法進行了系統(tǒng)全面的調(diào)研。首先對現(xiàn)有的GNN解釋方法進行了系統(tǒng)的分類，并介紹了每一類解釋方法背后的關(guān)鍵思想。然后詳細討論了每一種解釋方法，包括方法、內(nèi)涵、優(yōu)勢和缺點，還對不同的解釋方法進行了綜合分析。并且介紹和分析了常用的數(shù)據(jù)集和GNN解釋方法的評價指標。最后從文本數(shù)據(jù)出發(fā)，建立了三個圖形數(shù)據(jù)集，這些數(shù)據(jù)集是人類可以理解的，可以直接用于GNN解釋任務(wù)。

參考文獻

• [10] K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep inside convolutional networks: Visualising image classification models and saliency maps,” arXiv preprint arXiv:1312.6034, 2013.
• [11] D. Smilkov, N. Thorat, B. Kim, F. Viegas, and M. Wattenberg, ′ “Smoothgrad: removing noise by adding noise,” arXiv preprint arXiv:1706.03825, 2017.
• [12] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, “Learning deep features for discriminative localization,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 2921–2929.
• [13] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, “Grad-cam: Visual explanations from deep networks via gradient-based localization,” in 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017, pp. 618–626.
• [14] P. Dabkowski and Y. Gal, “Real time image saliency for black box classifiers,” in Advances in Neural Information Processing Systems, 2017, pp. 6967–6976.
• [15] H. Yuan, L. Cai, X. Hu, J. Wang, and S. Ji, “Interpreting image classifiers by generating discrete masks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
• [17] C. Olah, A. Satyanarayan, I. Johnson, S. Carter, L. Schubert, K. Ye, and A. Mordvintsev, “The building blocks of interpretability,” Distill, 2018, https://distill.pub/2018/building-blocks.
• [18] F. Yang, S. K. Pentyala, S. Mohseni, M. Du, H. Yuan, R. Linder, E. D. Ragan, S. Ji, and X. Hu, “Xfake: explainable fake news detector with visualizations,” in The World Wide Web Conference, 2019, pp. 3600–3604.
• [19] M. Du, N. Liu, Q. Song, and X. Hu, “Towards explanation of dnnbased prediction with guided feature inversion,” in Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2018, pp. 1358–1367.
• [22] H. Yuan, Y. Chen, X. Hu, and S. Ji, “Interpreting deep models for text analysis via optimization and regularization methods,” in AAAI-19: Thirty-Third AAAI Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence, 2019.
• [23] M. Du, N. Liu, and X. Hu, “Techniques for interpretable machine learning,” Communications of the ACM, vol. 63, no. 1, pp. 68–77, 2019.
• [24] A. Rai, “Explainable ai: From black box to glass box,” Journal of the Academy of Marketing Science, vol. 48, no. 1, pp. 137–141, 2020.
• [25] F. K. Dosilovi ˇ c, M. Br ′ ciˇ c, and N. Hlupi ′ c, “Explainable artificial ′ intelligence: A survey,” in 2018 41st International convention on information and communication technology, electronics and microelectronics (MIPRO). IEEE, 2018, pp. 0210–0215. [26] C. Molnar, Interpretable Machine Learning, 2019, https:// christophm.github.io/interpretable-ml-book/.
• [41] H. Yuan, J. Tang, X. Hu, and S. Ji, “XGNN: Towards model-level explanations of graph neural networks,” ser. KDD ’20. New York, NY, USA: Association for Computing Machinery, 2020, p. 430–438. [Online]. Available: https://doi.org/10.1145/3394486.3403085
• [42] Z. Ying, D. Bourgeois, J. You, M. Zitnik, and J. Leskovec, “Gnnexplainer: Generating explanations for graph neural networks,” in Advances in neural information processing systems, 2019, pp. 9244– 9255.
• [43] D. Luo, W. Cheng, D. Xu, W. Yu, B. Zong, H. Chen, and X. Zhang, “Parameterized explainer for graph neural network,” in Advances in neural information processing systems, 2020.
• [44] C. Rudin, “Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead,” Nature Machine Intelligence, vol. 1, no. 5, pp. 206–215, 2019.
• [45] J. Chen, L. Song, M. J. Wainwright, and M. I. Jordan, “Learning to explain: An information-theoretic perspective on model interpretation,” in International Conference on Machine Learning, ser. Proceedings of Machine Learning Research, vol. 80. PMLR, 2018, pp. 882–891.
• [46] U. Alon, “Network motifs: theory and experimental approaches,” Nature Reviews Genetics, vol. 8, no. 6, pp. 450–461, 2007.
• [47] R. Milo, S. Shen-Orr, S. Itzkovitz, N. Kashtan, D. Chklovskii, and U. Alon, “Network motifs: simple building blocks of complex networks,” Science, vol. 298, no. 5594, pp. 824–827, 2002.
• [48] U. Alon, An introduction to systems biology: design principles of biological circuits. CRC press, 2019.
• [49] F. Baldassarre and H. Azizpour, “Explainability techniques for graph convolutional networks,” in International Conference on Machine Learning (ICML) Workshops, 2019 Workshop on Learning and Reasoning with Graph-Structured Representations, 2019.
• [50] P. E. Pope, S. Kolouri, M. Rostami, C. E. Martin, and H. Hoffmann, “Explainability methods for graph convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 10 772–10 781.
• [51] Anonymous, “Hard masking for explaining graph neural networks,” in Submitted to International Conference on Learning Representations, 2021, under review. [Online]. Available: https: //openreview.net/forum?id=uDN8pRAdsoC
• [52] M. S. Schlichtkrull, N. De Cao, and I. Titov, “Interpreting graph neural networks for nlp with differentiable edge masking,” arXiv preprint arXiv:2010.00577, 2020.
• [53] Anonymous, “Causal screening to interpret graph neural networks,” in Submitted to International Conference on Learning Representations, 2021, under review. [Online]. Available: https: //openreview.net/forum?id=nzKv5vxZfge
• [54] R. Schwarzenberg, M. Hubner, D. Harbecke, C. Alt, and L. Hennig, ¨ “Layerwise relevance visualization in convolutional text graph classifiers,” arXiv preprint arXiv:1909.10911, 2019.
• [55] T. Schnake, O. Eberle, J. Lederer, S. Nakajima, K. T. Schutt, K.-R. ¨ Muller, and G. Montavon, “Higher-order explanations of graph ¨ neural networks via relevant walks,” 2020.
• [56] Q. Huang, M. Yamada, Y. Tian, D. Singh, D. Yin, and Y. Chang, “Graphlime: Local interpretable model explanations for graph neural networks,” arXiv preprint arXiv:2001.06216, 2020.
• [57] Y. Zhang, D. Defazio, and A. Ramesh, “Relex: A model-agnostic relational model explainer,” arXiv preprint arXiv:2006.00305, 2020.
• [58] M. N. Vu and M. T. Thai, “Pgm-explainer: Probabilistic graphical model explanations for graph neural networks,” in Advances in neural information processing systems, 2020.
• [59] A. Shrikumar, P. Greenside, and A. Kundaje, “Learning important features through propagating activation differences,” in International Conference on Machine Learning, 2017, pp. 3145–3153.
• [60] J. Chen, L. Song, M. Wainwright, and M. Jordan, “Learning to explain: An information-theoretic perspective on model interpretation,” in Proceedings of the 35th International Conference on Machine Learning, ser. Proceedings of Machine Learning Research, J. Dy and A. Krause, Eds., vol. 80. Stockholmsmassan, Stockholm ¨ Sweden: PMLR, 10–15 Jul 2018, pp. 883–892. [Online]. Available: http://proceedings.mlr.press/v80/chen18j.html
• [61] R. S. Sutton, D. McAllester, S. Singh, and Y. Mansour, “Policy gradient methods for reinforcement learning with function approximation,” Advances in neural information processing systems, vol. 12, pp. 1057–1063, 1999.
• [62] E. Jang, S. Gu, and B. Poole, “Categorical reparameterization with gumbel-softmax,” in International Conference on Learning Representations, 2016.
• [63] C. Louizos, M. Welling, and D. P. Kingma, “Learning sparse neural networks through l 0 regularization,” arXiv preprint arXiv:1712.01312, 2017.
• [64] M. T. Ribeiro, S. Singh, and C. Guestrin, “” why should i trust you?” explaining the predictions of any classifier,” in Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, 2016, pp. 1135–1144.
• [65] M. Yamada, W. Jitkrittum, L. Sigal, E. P. Xing, and M. Sugiyama, “High-dimensional feature selection by feature-wise kernelized lasso,” Neural computation, vol. 26, no. 1, pp. 185–207, 2014.
• [66] D. Margaritis and S. Thrun, “Bayesian network induction via local neighborhoods,” Advances in neural information processing systems, vol. 12, pp. 505–511, 1999.
• [67] S. Bach, A. Binder, G. Montavon, F. Klauschen, K. Muller, and ¨ W. Samek, “On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation,” PLoS ONE, vol. 10, no. 7, p. e0130140, 2015.
• [68] R. Albert and A.-L. Barabasi, “Statistical mechanics of complex ′ networks,” Reviews of modern physics, vol. 74, no. 1, p. 47, 2002.
• [69] R. Socher, A. Perelygin, J. Wu, J. Chuang, C. D. Manning, A. Y. Ng, and C. Potts, “Recursive deep models for semantic compositionality over a sentiment treebank,” in Proceedings of the 2013 conference on empirical methods in natural language processing, 2013, pp. 1631–1642.
• [70] L. Dong, F. Wei, C. Tan, D. Tang, M. Zhou, and K. Xu, “Adaptive recursive neural network for target-dependent twitter sentiment classification,” in Proceedings of the 52nd annual meeting of the association for computational linguistics (volume 2: Short papers), 2014, pp. 49–54.
• [71] M. Gardner, J. Grus, M. Neumann, O. Tafjord, P. Dasigi, N. Liu, M. Peters, M. Schmitz, and L. Zettlemoyer, “Allennlp: A deep semantic natural language processing platform,” arXiv preprint arXiv:1803.07640, 2018.
• [72] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pretraining of deep bidirectional transformers for language understanding,” arXiv preprint arXiv:1810.04805, 2018.
• [73] A. K. Debnath, R. L. Lopez de Compadre, G. Debnath, A. J. Shusterman, and C. Hansch, “Structure-activity relationship of mutagenic aromatic and heteroaromatic nitro compounds. correlation with molecular orbital energies and hydrophobicity,” Journal of medicinal chemistry, vol. 34, no. 2, pp. 786–797, 1991.
• [74] Z. Wu, B. Ramsundar, E. N. Feinberg, J. Gomes, C. Geniesse, A. S. Pappu, K. Leswing, and V. Pande, “Moleculenet: a benchmark for molecular machine learning,” Chemical science, vol. 9, no. 2, pp. 513–530, 2018.
• [75] A. Jacovi and Y. Goldberg, “Towards faithfully interpretable nlp systems: How should we define and evaluate faithfulness?” arXiv preprint arXiv:2004.03685, 2020.
• [76] S. Wiegreffe and Y. Pinter, “Attention is not not explanation,” arXiv preprint arXiv:1908.04626, 2019.
• [77] S. Hooker, D. Erhan, P.-J. Kindermans, and B. Kim, “A benchmark for interpretability methods in deep neural networks,” in Advances in Neural Information Processing Systems, 2019, pp. 9737–9748.
• [78] B. Sanchez-Lengeling, J. Wei, B. Lee, E. Reif, P. Wang, W. W. Qian, K. McCloskey, L. Colwell, and A. Wiltschko, “Evaluating attribution for graph neural networks,” Advances in Neural Information Processing Systems, vol. 33, 2020.

今天的分享就到這里，后會有期。