“你的神經網絡是如何生成這個結果的？”這個問題也曾讓許多數據科學家陷入了困境。其實，讓我們去解釋一個層數較少的簡單神經網絡工作原理并不難，但是當我們將計算機視覺項目中的神經網絡層數增加到1000層時，它的可解釋性就非常差了。

現實情況是，我們的用戶或者終端需要可解釋性——他們想知道我們的模型是如何得到最終的結果的。但是，深度神經網絡的工作原理沒有辦法通過文字被清楚地描述出來，這個時候深度神經網絡就被打上了“黑盒子”的標簽，那我們該如何擺脫這個標簽呢？

我們可以通過可視化來解決這個問題！當一個神經網絡通過可視化的方式展示出來時，他的可解釋性將會得到極大的提升，可視化可以將神經網絡模型中處理數據的過程清晰展現。尤其當我們處理基于成千上萬數據的卷積神經網絡(CNN)時更是如此。

在本文中，我們將介紹多種用于可視化卷積神經網絡的技術。 此外，我們還可以從這些可視化中加深觀察信息，以調整我們的CNN模型。

內容表

1.我們為什么要使用可視化解碼神經網絡？

2.設置模型的體系結構

3.訪問CNN的每個層

4.濾波器—可視化CNN的構成模塊

5.最大化激活—可視化模型所期望的內容

6.遮擋貼圖—可視化輸入中的重要內容

7.顯著性貼圖—可視化輸入特征的貢獻

8.分類激活映射

9.可視化分層輸出—可視化過程

我們為什么要使用可視化解碼神經網絡？

除可視化之外，有很多方法可以幫助我們去理解神經網絡是如何工作的，那么這篇文章為什么要轉向可視化這種非常規途徑呢？

我們通過一個例子來回答這個問題。假設我們正在做一個對動物圖片進行分類的項目，如分類雪豹與阿拉伯豹。從圖片來看，我們可以使用圖像背景來區分這兩種動物。

兩種動物的棲息地可以形成鮮明的對比。大多數雪豹圖像的背景里都會有雪，而大多數阿拉伯豹圖片里都會有一片茫茫沙漠。

問題來了——模型可以通過分類雪與沙漠的圖像從而去分類雪豹與阿拉伯豹。那么，我們如何確保我們的模型正確地學習了這兩種不同類型豹子的不同特征呢？可視化會給我們答案。

可視化有助于我們了解哪些特征正在指導模型對圖像進行分類的決策。

將模型可視化有許多種方法，在本文中，我們將展示其中的一些。

設置模型的體系結構

實踐是最好的學習方式之一。因此，我們立刻開始研究模型的代碼。

在本文中，我們在ImageNet數據集上使用VGG16架構模型和預訓練權重。首先我們先將模型程序導入并開始理解其架構。

我們將使用Keras中的'model.summary（）'函數來可視化模型體系結構。在我們進入模型構建部分之前，這是非常重要的一步。我們需要確保輸入和輸出形狀與我們的問題陳述相匹配，因此我們先可視化模型摘要。

#importing required modules

from keras.applications import VGG16

#loading the saved model

#we are using the complete architecture thus include_top=True

model = VGG16(weights='imagenet',include_top=True)

#show the summary of model

model.summary()

以下是上述代碼生成的模型摘要：

我們有了模型的詳細架構以及每層的可訓練參數的數量。上面的輸出可以多花一點時間去瀏覽，這樣才能了解我們現有的數據情況。

我們僅訓練模型層的一個子集（特征提?。┦呛苤匾?。 我們可以生成模型摘要，并確保不可訓練參數的數量與我們不想訓練的層匹配。

此外，我們可以使用可訓練參數的總數來檢查我們的GPU是否能夠為訓練模型分配足夠的內存。 這對于我們大多數在個人電腦上工作的人來說，是一個比較熟悉的挑戰！

訪問CNN的每個層

既然我們知道如何獲得模型的整體架構，讓我們深入探索并嘗試探索每個獨立的層。

實際上，訪問Keras模型的各個層并提取與每個層相關的參數非常容易。 這包括圖層權重和其他信息，如濾波器的數量。

現在，我們將創建將圖層名稱映射到其相應特征和圖層權重的字典：

#creating a mapping of layer name ot layer details

#we will create a dictionary layers_info which maps a layer name to its charcteristics

layers_info = {}

for i in model.layers:

layers_info[i.name] = i.get_config()

#here the layer_weights dictionary will map every layer_name to its corresponding weights

layer_weights = {}

for i in model.layers:

layer_weights[i.name] = i.get_weights()

print(layers_info['block5_conv1'])

上面的代碼給出了以下輸出，它由block5_conv1層的不同參數組成：

{'name': 'block5_conv1',

'trainable': True,

'filters': 512,

'kernel_size': (3, 3),

'strides': (1, 1),

'padding': 'same',

'data_format': 'channels_last',

'dilation_rate': (1, 1),

'activation': 'relu',

'use_bias': True,

'kernel_initializer': {'class_name': 'VarianceScaling',

'config': {'scale': 1.0,

'mode': 'fan_avg',

'distribution': 'uniform',

'seed': None}},

'bias_initializer': {'class_name': 'Zeros', 'config': {}},

'kernel_regularizer': None,

'bias_regularizer': None,

'activity_regularizer': None,

'kernel_constraint': None,

'bias_constraint': None}

不知你有沒有注意到圖層'block5_conv1'的可訓練參數是否為真？ 這意味著我們可以通過進一步訓練模型來更新圖層權重。

濾波器—可視化CNN的構成模塊

濾波器是任何卷積神經網絡的基本構建模塊。不同的濾波器從圖像中提取不同類型的特征。下面的GIF圖非常清楚地說明了這一點：

如圖所示，每個卷積層都由多個濾波器組成。查看我們在上一節中生成的輸出 - 'block5_conv1'層由512個濾波器組成。這是對應的，是吧？

讓我們繪制每個VGG16塊的第一個卷積層的第一個濾波器：

layers = model.layers

layer_ids = [1,4,7,11,15]

#plot the filters

fig,ax = plt.subplots(nrows=1,ncols=5)

for i in range(5):

ax[i].imshow(layers[layer_ids[i]].get_weights()[0][:,:,:,0][:,:,0],cmap='gray')

ax[i].set_title('block'+str(i+1))

ax[i].set_xticks([])

ax[i].set_yticks([])

我們可以在上面的輸出中看到不同層的濾波器。由于VGG16僅使用3×3濾波器，因此所有濾波器都具有相同的形狀。

最大化激活—可視化模型所期望的內容

我們使用下面的圖片來理解最大化激活的概念：

你認為對模型去識別大象來說哪些特征是重要的？下面是我想到的一些主要的特征：

• 象牙象鼻象耳

那就是我們在本能情況下如何識別大象的，對吧？現在，當我們看看當我們嘗試優化任意分類大象圖像的模型時，我們在過程中得到了什么。

我們知道CNN中的每個卷積層都在前一層的輸出中尋找相似的模式。當輸入由它正在尋找的模式組成時，卷積層的激活被最大化。

在最大化激活技術中，我們更新每層的輸入，以便將最大化激活的損失降到最低。

我們是如何做到這一點的？我們通過計算相對于輸入的激活損失函數的梯度，然后相應得更新輸入：

下面是這個操作的代碼：

#importing the required modules

from vis.visualization import visualize_activation

from vis.utils import utils

from keras import activations

from keras import applications

import matplotlib.pyplot as plt

%matplotlib inline

plt.rcParams['figure.figsize'] = (18,6)

#creating a VGG16 model using fully connected layers also because then we can

#visualize the patterns for individual category

from keras.applications import VGG16

model = VGG16(weights='imagenet',include_top=True)

#finding out the layer index using layer name

#the find_layer_idx function accepts the model and name of layer as parameters and return the index of respective layer

layer_idx = utils.find_layer_idx(model,'predictions')

#changing the activation of the layer to linear

model.layers[layer_idx].activation = activations.linear

#applying modifications to the model

model = utils.apply_modifications(model)

#Indian elephant

img3 = visualize_activation(model,layer_idx,filter_indices=385,max_iter=5000,verbose=True)

plt.imshow(img3)

我們的模型使用隨機輸入對印度象進行分類，生成了以下輸出：

從上面的圖像中，我們可以觀察到該模型需要像牙齒，大眼睛和象牙這樣的結構?，F在，這些信息對于我們檢查數據集的完整性非常重要。 因為印度象通常存在于長滿樹木或長草的棲息地中，所以模型可能會側重于背景中的棲息地特征，而這是不對的。

可視化輸入中的重要內容—Occlusion Maps(遮擋貼圖)

激活最大化用于可視化在圖像中的模型期望的輸出。在另一方面，遮擋部分圖，可以幫助我們找到對模型來說那個部分是重要的。

現在，為了了解遮擋圖后的模型是如何工作的，我們想根據制造商對汽車進行分類的模型，如豐田，奧迪等：

你能知道是那家生產商制造了上面這輛車嗎？很大程度上是不能的，因為放置公司標志的部分在圖片里被遮擋了。我們是以分類為目的，所以被遮擋的這部分對我們來說很重要。

類似地，因為這樣的遮擋圖的出現，我們遮擋圖片的某些部分，然后計算出它屬于哪一類的概率。如果概率降低，則意味著圖像的被遮擋部分對于該類是重要的。否則，這就是不重要的。

這里，我們根據圖像每個部分的像素值做概率分配，然后將它標準化并生成熱圖：

import numpy as np

from keras.utils import np_utils

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten, Activation, Conv2D, MaxPooling2D

from keras.optimizers import Adam

from keras.callbacks import EarlyStopping, ModelCheckpoint

from keras.preprocessing.image import ImageDataGenerator

from keras.activations import relu

%matplotlib inline

import matplotlib.pyplot as plt

def iter_occlusion(image, size=8):

occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32)

occlusion_center = np.full((size, size, 1), [0.5], np.float32)

occlusion_padding = size * 2

# print('padding...')

image_padded = np.pad(image, (

(occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) ), 'constant', constant_values = 0.0)

for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):

for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size):

tmp = image_padded.copy()

tmp[y - occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, x - occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding]

= occlusion

tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center

yield x - occlusion_padding, y - occlusion_padding,

tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]

上面的代碼定義了一個函數iter_occlusion，它返回一個具有不同被遮擋部分的圖像。

現在，讓我們導入圖像并繪制它：

from keras.preprocessing.image import load_img

# load an image from file

image = load_img('car.jpeg', target_size=(224, 224))

plt.imshow(image)

plt.title('ORIGINAL IMAGE')

現在，我們將進行下面三個步驟：

• 預處理原圖像計算有不同遮擋部分的圖片的概率生成熱圖

from keras.preprocessing.image import img_to_array

from keras.applications.vgg16 import preprocess_input

# convert the image pixels to a numpy array

image = img_to_array(image)

# reshape data for the model

image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))

# prepare the image for the VGG model

image = preprocess_input(image)

# predict the probability across all output classes

yhat = model.predict(image)

temp = image[0]

print(temp.shape)

heatmap = np.zeros((224,224))

correct_class = np.argmax(yhat)

for n,(x,y,image) in enumerate(iter_occlusion(temp,14)):

heatmap[x:x+14,y:y+14] = model.predict(image.reshape((1, image.shape[0], image.shape[1], image.shape[2])))[0][correct_class]

print(x,y,n,' - ',image.shape)

heatmap1 = heatmap/heatmap.max()

plt.imshow(heatmap)

這非常有意思。 我們現在將使用標準化的熱圖概率創建一個掩模并繪制它：

import http://skimage.io as io

#creating mask from the standardised heatmap probabilities

mask = heatmap1 < 0.85

mask1 = mask *256

mask = mask.astype(int)

io.imshow(mask,cmap='gray')

最后，我們將遮擋碼強加在輸入圖像上并繪制：

import cv2

#read the image

image = cv2.imread('car.jpeg')

image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)

#resize image to appropriate dimensions

image = cv2.resize(image,(224,224))

mask = mask.astype('uint8')

#apply the mask to the image

final = cv2.bitwise_and(image,image,mask = mask)

final = cv2.cvtColor(final,cv2.COLOR_BGR2RGB)

#plot the final image

plt.imshow(final)

你能猜到為什么我們只看到圖像的某些部分嗎？ 這其實是正確的 - 只有輸入圖像中對其輸出類概率有重大貢獻的那些部分才是可見的。 簡而言之，這就是被遮擋圖的全部內容。

可視化輸入特征的貢獻—顯著性貼圖

顯著性圖是另一種基于梯度的可視化技術。

顯著圖計算每個像素值對模型輸出的影響。 這涉及計算輸出相對于輸入圖像的每個像素的梯度。這告訴我們如何根據輸入圖像像素的微小變化輸出類別變化。梯度的所有正值意味著像素值的微小變化將增加輸出值：

這些梯度與圖像形狀相同（梯度是根據每個像素值計算的），為我們提供了直觀的重點。讓我們看看如何為任何圖像生成顯著性圖。 首先，我們將使用以下代碼段讀取輸入圖像。

現在，我們將使用VGG16模型為圖像生成顯著性圖：

# Utility to search for layer index by name.

# Alternatively we can specify this as -1 since it corresponds to the last layer.

layer_idx = utils.find_layer_idx(model, 'predictions')

# Swap softmax with linear

model.layers[layer_idx].activation = activations.linear

model = utils.apply_modifications(model)

#generating saliency map with unguided backprop

grads1 = visualize_saliency(model, layer_idx,filter_indices=None,seed_input=image)

#plotting the unguided saliency map

plt.imshow(grads1,cmap='jet')

我們看到該模型更側重于狗的面部部分?，F在，讓我們看看反向傳播的結果：

#generating saliency map with guided backprop

grads2 = visualize_saliency(model, layer_idx,filter_indices=None,seed_input=image,backprop_modifier='guided')

#plotting the saliency map as heatmap

plt.imshow(grads2,cmap='jet')

引導反向傳播將所有負梯度截斷為0，這意味著僅更新對分類概率具有正影響的像素。

分類激活圖（梯度加權）

分類激活圖也是一種神經網絡可視化技術，它基于根據激活圖的梯度或它們對輸出的貢獻來權衡激活圖這樣的想法。

以下摘自Grad-CAM論文給出了該技術的要點：

梯度加權分類激活映射（Grad-CAM），使用任何目標概念的梯度（比如“狗”或甚至是標題的對數），流入最終的卷積層以生成粗略的定位圖，突出顯示重要區域中的重要區域。用于預測概念的圖像。

從本質上來說，我們采用最后一層卷積層的特征映射，并使用相對于特征映射的輸出的梯度對每個濾波器進行加權（乘）。 Grad-CAM涉及以下步驟：

1.獲取最終卷積層的輸出要素圖。對于VGG16，此功能圖的形狀為14x14x512； 2.計算輸出相對于要素圖的梯度 3.將全局平均池化應用于梯度 4.將要素圖與相應的池化梯度相乘 我們可以在下面看到輸入圖像及其對應的分類激活圖：

現在，我們來給上面的圖像生成分類激活圖：

可視化過程—分層輸出可視化

CNN的起始層通常尋找像邊緣這樣的低級特征。隨著我們的深入，功能也會發生變化。

可視化模型的不同層的輸出有助于我們看到在相應層突出顯示圖像的是哪些特征。此步驟對于針對我們的問題微調架構特別重要。為什么？因為我們可以看到哪些圖層提供了哪種特征，然后決定我們要在模型中使用哪些圖層。

例如，可視化圖層輸出可以幫助我們比較神經樣式轉移問題中不同層的性能。

讓我們看看如何在VGG16模型的不同層獲得輸出：

#importing required libraries and functions

from keras.models import Model

#defining names of layers from which we will take the output

layer_names = ['block1_conv1','block2_conv1','block3_conv1','block4_conv2']

outputs = []

image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))

#extracting the output and appending to outputs

for layer_name in layer_names:

intermediate_layer_model = Model(inputs=model.input,outputs=model.get_layer(layer_name).output)

intermediate_output = intermediate_layer_model.predict(image)

outputs.append(intermediate_output)

#plotting the outputs

fig,ax = plt.subplots(nrows=4,ncols=5,figsize=(20,20))

for i in range(4):

for z in range(5):

ax[i][z].imshow(outputs[i][0,:,:,z])

ax[i][z].set_title(layer_names[i])

ax[i][z].set_xticks([])

ax[i][z].set_yticks([])

plt.savefig('layerwise_output.jpg')

上圖顯示了VGG16的每一層從圖像中提取的不同特征（模塊5除外）。我們可以看到起始層對應于邊緣等低級特征，而后面的層則看到汽車的車頂，排氣等特征。

結語

可視化永遠不會讓我感到驚訝。有多種方法可以理解技術的工作原理，但可視化可以使它變得更加有趣。以下是您應該查看的幾個資源：

• 神經網絡中的特征提取過程是一個活躍的研究領域，并導致了Tensorspace和Activation Atlases等令人敬畏的工具的開發。
• TensorSpace也是一種支持多種模型格式的神經網絡可視化工具。它允許您加載模型并以交互方式對其進行可視化。TensorSpace還有一個操作平臺，可以使用多種架構進行可視化，您可以隨意使用。

如果您對本文有任何疑問或反饋，請與我們聯系。 我很樂意參與討論！