python實現識別相似圖片小結

在網上看到python做圖像識別的相關文章后，真心感覺python的功能實在太強大，因此將這些文章總結一下，建立一下自己的知識體系。
當然了，圖像識別這個話題作為計算機科學的一個分支，不可能就在本文簡單幾句就說清，所以本文只作基本算法的科普向。

如有錯誤，請多包涵和多多指教。

參考的文章和圖片來源會在底部一一列出。

以及本篇文章所用的代碼都會在底下給出github地址。

安裝相關庫

python用作圖像處理的相關庫主要有openCV(C++編寫，提供了python語言的接口)，PIL,但由于PIL很早就停了，所以不支持python3.x,所以建議使用基于PIL的pillow,本文也是在python3.4和pillow的環境下進行實驗。

至于opencv，在做人臉識別的時候會用到，但本文不會涉及到，在本專欄的后續中會談及openCV的人臉識別和基于此的python圖片爬蟲，有興趣的朋友可以關注本專欄。

相關背景

要識別兩張相似圖像，我們從感性上來談是怎么樣的一個過程？首先我們會區分這兩張相片的類型，例如是風景照，還是人物照。風景照中，是沙漠還是海洋，人物照中，兩個人是不是都是國字臉，還是瓜子臉（還是倒瓜子臉……哈哈……）。

那么從機器的角度來說也是這樣的，先識別圖像的特征，然后再相比。

很顯然，在沒有經過訓練的計算機(即建立模型)，那么計算機很難區分什么是海洋，什么是沙漠。但是計算機很容易識別到圖像的像素值。

因此，在圖像識別中，顏色特征是最為常用的。（其余常用的特征還有紋理特征、形狀特征和空間關系特征等）

其中又分為

1. 直方圖
2. 顏色集
3. 顏色矩
4. 聚合向量
5. 相關圖
   

直方圖計算法

這里先用直方圖進行簡單講述。

先借用一下戀花蝶的圖片，

從肉眼來看，這兩張圖片大概也有八成是相似的了。

在python中可以依靠Image對象的histogram()方法獲取其直方圖數據，但這個方法返回的結果是一個列表，如果想得到下圖可視化數據，需要另外使用 matplotlib，這里因為主要介紹算法思路，matplotlib的使用這里不做介紹。

是的，我們可以明顯的發現，兩張圖片的直方圖是近似重合的。所以利用直方圖判斷兩張圖片的是否相似的方法就是，計算其直方圖的重合程度即可。

計算方法如下：

其中gi和si是分別指兩條曲線的第i個點。

最后計算得出的結果就是就是其相似程度。

不過，這種方法有一個明顯的弱點，就是他是按照顏色的全局分布來看的，無法描述顏色的局部分布和色彩所處的位置。

也就是假如一張圖片以藍色為主，內容是一片藍天，而另外一張圖片也是藍色為主，但是內容卻是妹子穿了藍色裙子，那么這個算法也很可能認為這兩張圖片的相似的。

緩解這個弱點有一個方法就是利用Image的crop方法把圖片等分，然后再分別計算其相似度，最后綜合考慮。

圖像指紋與漢明距離

在介紹下面其他判別相似度的方法前，先補充一些概念。第一個就是圖像指紋

圖像指紋和人的指紋一樣，是身份的象征，而圖像指紋簡單點來講，就是將圖像按照一定的哈希算法，經過運算后得出的一組二進制數字。

說到這里，就可以順帶引出漢明距離的概念了。

假如一組二進制數據為101，另外一組為111，那么顯然把第一組的第二位數據0改成1就可以變成第二組數據111，所以兩組數據的漢明距離就為1

簡單點說，漢明距離就是一組二進制數據變成另一組數據所需的步驟數，顯然，這個數值可以衡量兩張圖片的差異，漢明距離越小，則代表相似度越高。漢明距離為0，即代表兩張圖片完全一樣。

如何計算得到漢明距離，情況下面三種哈希算法

平均哈希法(aHash)

此算法是基于比較灰度圖每個像素與平均值來實現的

一般步驟

1.縮放圖片，可利用Image對象的resize(size)改變，一般大小為8*8，64個像素值。
2.轉化為灰度圖
轉灰度圖的算法。
1.浮點算法：Gray=Rx0.3+Gx0.59+Bx0.11
2.整數方法：Gray=(Rx30+Gx59+Bx11)/100
3.移位方法：Gray =(Rx76+Gx151+Bx28)>>8;
4.平均值法：Gray=（R+G+B）/3;
5.僅取綠色：Gray=G；

在python中，可用Image的對象的方法convert('L')直接轉換為灰度圖

3.計算平均值：計算進行灰度處理后圖片的所有像素點的平均值。
4.比較像素灰度值：遍歷灰度圖片每一個像素，如果大于平均值記錄為1，否則為0.
5.得到信息指紋：組合64個bit位，順序隨意保持一致性。
最后比對兩張圖片的指紋，獲得漢明距離即可。

感知哈希算法(pHash)

平均哈希算法過于嚴格，不夠精確，更適合搜索縮略圖，為了獲得更精確的結果可以選擇感知哈希算法，它采用的是DCT（離散余弦變換）來降低頻率的方法

一般步驟：

縮小圖片：32 * 32是一個較好的大小，這樣方便DCT計算

轉化為灰度圖：把縮放后的圖片轉化為256階的灰度圖。（具體算法見平均哈希算法步驟）

計算DCT:DCT把圖片分離成分率的集合

縮小DCT：DCT是32 * 32，保留左上角的8 * 8，這些代表的圖片的最低頻率

計算平均值：計算縮小DCT后的所有像素點的平均值。

進一步減小DCT：大于平均值記錄為1，反之記錄為0.

得到信息指紋：組合64個信息位，順序隨意保持一致性。

最后比對兩張圖片的指紋，獲得漢明距離即可。

這里給出別人的DCT的介紹和計算方法(離散余弦變換的方法)

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率幾乎相同的情況下的效果要更好，它是基于漸變實現的。

步驟：

縮小圖片：收縮到9*8的大小，一遍它有72的像素點

轉化為灰度圖：把縮放后的圖片轉化為256階的灰度圖。（具體算法見平均哈希算法步驟）

計算差異值：dHash算法工作在相鄰像素之間，這樣每行9個像素之間產生了8個不同的差異，一共8行，則產生了64個差異值

獲得指紋：如果左邊的像素比右邊的更亮，則記錄為1，否則為0.

最后比對兩張圖片的指紋，獲得漢明距離即可。

總結

這幾種算法是識別相似圖像的基礎，顯然，有時兩圖中的人相似比整體的顏色相似更重要，所以我們有時需要進行人臉識別，
然后在臉部區進行局部哈希，或者進行其他的預處理再進行哈希，這里涉及其他知識本文不作介紹。