熱線電話:13121318867

登錄
首頁精彩閱讀基于Python實現的微信好友數據分析
基于Python實現的微信好友數據分析
2018-07-22
收藏

基于Python實現的微信好友數據分析

最近微信迎來了一次重要的更新,允許用戶對”發現”頁面進行定制。不知道從什么時候開始,微信朋友圈變得越來越復雜,當越來越多的人選擇”僅展示最近三天的朋友圈”,大概連微信官方都是一臉的無可奈何。逐步泛化的好友關系,讓微信從熟人社交逐漸過渡到陌生人社交,而朋友圈里亦真亦幻的狀態更新,仿佛在努力證明每一個個體的”有趣”。

有人選擇在朋友圈里記錄生活的點滴,有人選擇在朋友圈里展示觀點的異同,可歸根到底,人們無時無刻不在窺探著別人的生活,唯獨怕別人過多地了解自己的生活。人性中交織著的光明與黑暗,像一只渾身長滿刺的刺猬,離得太遠會感覺到寒冷,而靠得太近則害怕被刺扎到。朋友圈就像過年走親戚,即便你心中有一萬個不痛快,總是不愿意撕破臉,或屏蔽對方,或不給對方看,或僅展示最后三天,于是通訊錄里的聯系人越來越多,朋友圈越來越大,可再不會有能真正觸動你內心的”小紅點”出現,人類讓一個產品變得越來越復雜,然后說它無法滿足人類的需求,這大概是一開始就始料不及的吧!

引言

有人說,人性遠比計算機編程更復雜,因為即使是人類迄今為止最偉大的發明——計算機,在面對人類的自然語言時同樣會張惶失措 。人類有多少語言存在著模棱兩可的含義,我認為語言是人類最大的誤解,人類時常喜歡揣測語言背后隱藏的含義,好像在溝通時表達清晰的含義會讓人類沒有面子,更不用說網絡上流行的猜測女朋友真實意圖的案例。金庸先生的武俠小說《射雕英雄傳》里,在信息閉塞的南宋時期,江湖上裘千丈的一句鬼話,就攪得整個武林天翻地覆。其實,一兩句話說清楚不好嗎?黃藥師、全真七子、江南六怪間的種種糾葛,哪一場不是誤會?一眾兒武功震古爍今的武林高手,怎么沒有絲毫的去偽存真的能力,語言造成了多少誤會。

可即便人類的語言復雜得像一本無字天書,可人類還是從這些語言中尋覓到蛛絲馬跡。古人有文王”拘而演周易”、東方朔測字卜卦,這種帶有”迷信”色彩的原始崇拜,就如同今天人們迷信星座運勢一般,都是人類在上千年的演變中不斷對經驗進行總結和訓練的結果。如此說起來,我們的人工智能未嘗不是一種更加科學化的”迷信”,因為數據和算法讓我們在不斷地相信,這一切都是真實地。生活在數字時代的我們,無疑是悲哀的,一面努力地在別人面前隱藏真實地自己,一面不無遺憾地感慨自己無處遁逃,每一根數字神經都緊緊地聯系著你和我,你不能渴望任何一部數字設備具備真正的智能,可你生命里的每個瞬間,都在悄然間被數據地折射出來。

今天這篇文章會基于 Python 對微信好友進行數據分析,這里選擇的維度主要有:性別、頭像、簽名、位置,主要采用圖表和詞云兩種形式來呈現結果,其中,對文本類信息會采用詞頻分析和情感分析兩種方法。常言道:工欲善其事,必先利其器也。在正式開始這篇文章前,簡單介紹下本文中使用到的第三方模塊:

* itchat:微信網頁版接口封裝Python版本,在本文中用以獲取微信好友信息。

* jieba:結巴分詞的 Python 版本,在本文中用以對文本信息進行分詞處理。

* matplotlib: Python 中圖表繪制模塊,在本文中用以繪制柱形圖和餅圖

* snownlp:一個 Python 中的中文分詞模塊,在本文中用以對文本信息進行情感判斷。

* PIL: Python 中的圖像處理模塊,在本文中用以對圖片進行處理。

* numpy: Python中 的數值計算模塊,在本文中配合 wordcloud 模塊使用。

* wordcloud: Python 中的詞云模塊,在本文中用以繪制詞云圖片。

* TencentYoutuyun:騰訊優圖提供的 Python 版本 SDK ,在本文中用以識別人臉及提取圖片標簽信息。

以上模塊均可通過 pip 安裝,關于各個模塊使用的詳細說明,請自行查閱各自文檔。

數據分析

分析微信好友數據的前提是獲得好友信息,通過使用 itchat 這個模塊,這一切會變得非常簡單,我們通過下面兩行代碼就可以實現:


itchat.auto_login(hotReload=True)
friends=itchat.get_friends(update=True)

同平時登錄網頁版微信一樣,我們使用手機掃描二維碼就可以登錄,這里返回的friends對象是一個集合,第一個元素是當前用戶。所以,在下面的數據分析流程中,我們始終取friends[1:]作為原始輸入數據,集合中的每一個元素都是一個字典結構,以我本人為例,可以注意到這里有Sex、City、Province、HeadImgUrl、Signature這四個字段,我們下面的分析就從這四個字段入手:

 

好友性別

分析好友性別,我們首先要獲得所有好友的性別信息,這里我們將每一個好友信息的Sex字段提取出來,然后分別統計出Male、Female和Unkonw的數目,我們將這三個數值組裝到一個列表中,即可使用matplotlib模塊繪制出餅圖來,其代碼實現如下:

defanalyseSex(firends):
  sexs=list(map(lambdax:x['Sex'],friends[1:]))
 counts=list(map(lambdax:x[1],Counter(sexs).items()))
 labels=['Unknow','Male','Female']
 colors=['red','yellowgreen','lightskyblue']
 plt.figure(figsize=(8,5), dpi=80)
 plt.axes(aspect=1)
 plt.pie(counts,#性別統計結果
   labels=labels,#性別展示標簽
   colors=colors,#餅圖區域配色
   labeldistance=1.1,#標簽距離圓點距離
   autopct='%3.1f%%',#餅圖區域文本格式
   shadow=False,#餅圖是否顯示陰影
   startangle=90,#餅圖起始角度
   pctdistance=0.6#餅圖區域文本距離圓點距離
 )
 plt.legend(loc='upper right',)
 plt.title(u'%s的微信好友性別組成'%friends[0]['NickName'])
 plt.show()

這里簡單解釋下這段代碼,微信中性別字段的取值有Unkonw、Male和Female三種,其對應的數值分別為0、1、2。通過Collection模塊中的Counter()對這三種不同的取值進行統計,其items()方法返回的是一個元組的集合,該元組的第一維元素表示鍵,即0、1、2,該元組的第二維元素表示數目,且該元組的集合是排序過的,即其鍵按照0、1、2 的順序排列,所以通過map()方法就可以得到這三種不同取值的數目,我們將其傳遞給matplotlib繪制即可,這三種不同取值各自所占的百分比由matplotlib計算得出。下圖是matplotlib繪制的好友性別分布圖:

 

看到這個結果,我一點都不覺得意外,男女比例嚴重失衡,這雖然可以解釋我單身的原因,可我不覺得通過調整男女比例就能解決問題,好多人認為自己單身是因為社交圈子狹小,那么是不是擴展了社交圈子就能擺脫單身呢?我覺得或許這樣會增加脫單的概率,可幸運之神應該不會眷顧我,因為我的好運氣早在我24歲以前就消耗完啦。在知乎上有一個熱門的話題:現在的男性是否普遍不再對女性展開追求了?,其實哪里會有人喜歡孤獨呢?無非是怕一次又一次的失望罷了。有的人并不是我的花兒,我只是恰好途徑了她的綻放。曾經有人說我是一個多情的人,可她永遠不會知道,我做出的每一個決定都熾熱而悲壯。所謂”慧極必傷,情深不壽;謙謙君子,溫潤如玉”,世人苦五毒者大抵如此。

好友頭像

分析好友頭像,從兩個方面來分析,第一,在這些好友頭像中,使用人臉頭像的好友比重有多大;第二,從這些好友頭像中,可以提取出哪些有價值的關鍵字。這里需要根據HeadImgUrl字段下載頭像到本地,然后通過騰訊優圖提供的人臉識別相關的API接口,檢測頭像圖片中是否存在人臉以及提取圖片中的標簽。其中,前者是分類匯總,我們使用餅圖來呈現結果;后者是對文本進行分析,我們使用詞云來呈現結果。關鍵代碼如下 所示:

defanalyseHeadImage(frineds):
 # Init Path
 basePath=os.path.abspath('.')
 baseFolder=basePath+'\\HeadImages\\'
 if(os.path.exists(baseFolder)==False):
  os.makedirs(baseFolder) 
 # Analyse Images
 faceApi=FaceAPI()
 use_face=0
 not_use_face=0
 image_tags=''
 forindexinrange(1,len(friends)):
  friend=friends[index]
  # Save HeadImages
  imgFile=baseFolder+'\\Image%s.jpg'%str(index)
  imgData=itchat.get_head_img(userName=friend['UserName'])
  if(os.path.exists(imgFile)==False):
   withopen(imgFile,'wb') asfile:
    file.write(imgData)  
  # Detect Faces
  time.sleep(1)
  result=faceApi.detectFace(imgFile)
  ifresult==True:
   use_face+=1
  else:
   not_use_face+=1  
  # Extract Tags
  result=faceApi.extractTags(imgFile)
  image_tags+=','.join(list(map(lambdax:x['tag_name'],result))) 
 labels=[u'使用人臉頭像',u'不使用人臉頭像']
 counts=[use_face,not_use_face]
 colors=['red','yellowgreen','lightskyblue']
 plt.figure(figsize=(8,5), dpi=80)
 plt.axes(aspect=1)
 plt.pie(counts,#性別統計結果
   labels=labels,#性別展示標簽
   colors=colors,#餅圖區域配色
   labeldistance=1.1,#標簽距離圓點距離
   autopct='%3.1f%%',#餅圖區域文本格式
   shadow=False,#餅圖是否顯示陰影
   startangle=90,#餅圖起始角度
   pctdistance=0.6#餅圖區域文本距離圓點距離
 )
 plt.legend(loc='upper right',)
 plt.title(u'%s的微信好友使用人臉頭像情況'%friends[0]['NickName'])
 plt.show() 
 image_tags=image_tags.encode('iso8859-1').decode('utf-8')
 back_coloring=np.array(Image.open('face.jpg'))
 wordcloud=WordCloud(
  font_path='simfang.ttf',
  background_color="white",
  max_words=1200,
  mask=back_coloring,
  max_font_size=75,
  random_state=45,
  width=800,
  height=480,
  margin=15
 ) 
 wordcloud.generate(image_tags)
 plt.imshow(wordcloud)
 plt.axis("off")
 plt.show()

這里我們會在當前目錄新建一個HeadImages目錄,用以存儲所有好友的頭像,然后我們這里會用到一個名為FaceApi類,這個類由騰訊優圖的SDK封裝而來,這里分別調用了人臉檢測和圖像標簽識別兩個API接口,前者會統計”使用人臉頭像”和”不使用人臉頭像”的好友各自的數目,后者會累加每個頭像中提取出來的標簽。其分析結果如下圖所示:

 

可以注意到,在所有微信好友中,約有接近1/4的微信好友使用了人臉頭像, 而有接近3/4的微信好友沒有人臉頭像,這說明在所有微信好友中對”顏值 “有自信的人,僅僅占到好友總數的25%,或者說75%的微信好友行事風格偏低調為主,不喜歡用人臉頭像做微信頭像。這是否說明”好看的皮囊”并非是千篇一律,長得好看的人實在是少數中的少數。所以,當女生的妝容越來越向著”韓式半永久粗平眉”、”瓜子臉”和”大紅唇”靠攏的時候,當男生的服飾越來越向著”大背頭”、”高領毛衣”和”長款大衣”靠攏的時候,我們能不能真正得個性一次。生命中有太多被世俗綁架著的事情,既要和別人不一樣 ,同時還要和大多數人一樣,這是人生在世的無可奈何??紤]到騰訊優圖并不能真正得識別”人臉”,我們這里對好友頭像中的標簽再次進行提取,來幫助我們了解微信好友的頭像中有哪些 關鍵詞,其分析結果如圖所示:

 

通過詞云,我們可以發現:在微信好友中的簽名詞云中,出現頻率相對較高的關鍵字有:女孩、樹木、房屋、文本、截圖、卡通、合影、天空、大海。這說明在我的微信好友中,好友選擇的微信頭像主要有日常、旅游、風景、截圖四個來源,好友選擇的微信頭像中風格以卡通為主,好友選擇的微信頭像中常見的要素有天空、大海、房屋、樹木。通過觀察所有好友頭像,我發現在我的微信好友中,使用個人照片作為微信頭像的有15人,使用網絡圖片作為微信頭像的有53人,使用動漫圖片作為微信頭像的有25人,使用合照圖片作為微信頭像的有3人,使用孩童照片作為微信頭像的有5人,使用風景圖片作為微信頭像的有13人,使用女孩照片作為微信頭像的有18人,基本符合圖像標簽提取的分析結果。

好友簽名

分析好友簽名,簽名是好友信息中最為豐富的文本信息,按照人類慣用的”貼標簽”的方法論,簽名可以分析出某一個人在某一段時間里狀態,就像人開心了會笑、哀傷了會哭,哭和笑兩種標簽,分別表明了人開心和哀傷的狀態。這里我們對簽名做兩種處理,第一種是使用用結巴分詞進行分詞后生成詞云,目的是了解好友簽名中的關鍵字有哪些,哪一個關鍵字出現的頻率相對較高;第二種是使用SnowNLP分析好友簽名中的感情傾向,即好友簽名整體上是表現為正面的、負面的還是中立的,各自的比重是多少。這里提取Signature字段即可,其核心代碼如下:

defanalyseSignature(friends):
 signatures=''
 emotions=[]
 pattern=re.compile("1f\d.+")
 forfriendinfriends:
  signature=friend['Signature']
  if(signature !=None):
   signature=signature.strip().replace('span', '').replace('class', '').replace('emoji', '')
   signature=re.sub(r'1f(\d.+)','',signature)
   if(len(signature)>0):
    nlp=SnowNLP(signature)
    emotions.append(nlp.sentiments)
    signatures+=' '.join(jieba.analyse.extract_tags(signature,5))
 withopen('signatures.txt','wt',encoding='utf-8') asfile:
   file.write(signatures)
 # Sinature WordCloud
 back_coloring=np.array(Image.open('flower.jpg'))
 wordcloud=WordCloud(
  font_path='simfang.ttf',
  background_color="white",
  max_words=1200,
  mask=back_coloring,
  max_font_size=75,
  random_state=45,
  width=960,
  height=720,
  margin=15
 )
 wordcloud.generate(signatures)
 plt.imshow(wordcloud)
 plt.axis("off")
 plt.show()
 wordcloud.to_file('signatures.jpg')
 # Signature Emotional Judgment
 count_good=len(list(filter(lambdax:x>0.66,emotions)))
 count_normal=len(list(filter(lambdax:x>=0.33andx<=0.66,emotions)))
 count_bad=len(list(filter(lambdax:x<0.33,emotions)))
 labels=[u'負面消極',u'中性',u'正面積極']
 values=(count_bad,count_normal,count_good)
 plt.rcParams['font.sans-serif']=['simHei']
 plt.rcParams['axes.unicode_minus']=False
 plt.xlabel(u'情感判斷')
 plt.ylabel(u'頻數')
 plt.xticks(range(3),labels)
 plt.legend(loc='upper right',)
 plt.bar(range(3), values, color='rgb')
 plt.title(u'%s的微信好友簽名信息情感分析'%friends[0]['NickName'])
 plt.show()

通過詞云,我們可以發現:在微信好友的簽名信息中,出現頻率相對較高的關鍵詞有:努力、長大、美好、快樂、生活、幸福、人生、遠方、時光、散步。果然我的微信好友都是溫暖、正直的好青年??! :smile:其實,簽名這個設定,從某種程度上是在反映人的一種心態,人在年輕時不免”為賦新詞強說愁”,等到你真正到了這個精神境界,突然發現年輕時圖樣圖森破,或許這就是我們不愿意讓別人了解過去的原因,因為伴隨著人的成長,某一種瞬間的狀態簡直不忍直視,QQ空間陪伴了我們這代人的整個青春,令人印象深刻的”那年今日”功能,有時讓我們感到回憶的溫暖,有時讓我們感到歲月的蕭殺,”當時只道是尋?!钡奈锸侨朔?,”回首向來蕭瑟處”的淡定從容,”今夕復何夕”的失落惆悵……都在這一行行簽名里留下深深淺淺的印記。在知乎上有關于簽名的話題討論,對此感興趣的朋友不妨找時間看看。:smile:

 

通過柱狀圖,我們可以發現:在微信好友的簽名信息中,正面積極的情感判斷約占到55.56%,中立的情感判斷約占到32.10%,負面消極的情感判斷約占到12.35%。這個結果和我們通過詞云展示的結果基本吻合,這說明在微信好友的簽名信息中,約有87.66%的簽名信息,傳達出來都是一種積極向上的態度。

朋友圈中基本上有兩類用戶,第一類用戶使用朋友圈記錄自己的生活,第二類用戶使用朋友圈輸出自己的觀點。顯然,對于第二類用戶,它并不介意別人了解它的過去,它更在乎它從始至終輸出的觀點是否一致。所以,不管朋友圈里別人在或曬美食、或曬旅游、或秀恩愛、或曬寶寶、或煲雞湯等等,在我看來這都是一種生活方式,精神層次和物質層次比你高的人群,覺得你朋友圈里的內容”無趣”,這是符合人類一貫的認知方式的。

在大多數情況下,反而是那些和你層次差不多的人群,對不熟悉的人或者事物妄加判斷,如果你不喜歡我朋友圈里的內容,請直接屏蔽我就好,因為這樣我們還可以做朋友;如果你因為喜歡A而在我這里和我說B不好,這就真的是三觀不合啦。我相信沒有完全興趣匹配的兩個人,即使是男女朋友或者情侶之間,總之人與人相處嘛,真誠和互相尊重是基本要求。

 

好友位置

分析好友位置,主要通過提取Province和City這兩個字段。Python中的地圖可視化主要通過Basemap模塊,這個模塊需要從國外網站下載地圖信息,使用起來非常的不便。百度的ECharts在前端使用的比較多,雖然社區里提供了pyecharts項目,可我注意到因為政策的改變,目前Echarts不再支持導出地圖的功能,所以地圖的定制方面目前依然是一個問題,主流的技術方案是配置全國各省市的JSON數據,這里博主使用的是BDP個人版,這是一個零編程的方案,我們通過Python導出一個CSV文件,然后將其上傳到BDP中,通過簡單拖拽就可以制作可視化地圖,簡直不能再簡單,這里我們僅僅展示生成CSV部分的代碼:

defanalyseLocation(friends):
 headers=['NickName','Province','City']
 withopen('location.csv','w',encoding='utf-8',newline='',) as csvFile:
  writer=csv.DictWriter(csvFile, headers)
  writer.writeheader()
  forfriendinfriends[1:]:
   row={}
   row['NickName']=friend['NickName']
   row['Province']=friend['Province']
   row['City']=friend['City']
   writer.writerow(row)

下圖是BDP中生成的微信好友地理分布圖,可以發現:我的微信好友主要集中在寧夏和陜西兩個省份。數字時代的神經牽動著每一個社交關系鏈的人,我們想要竭力去保護的那點隱私,在這些數據中一點點地折射出來。人類或許可以不斷地偽裝自己,可這些從數據背后抽離出來的規律和聯系不會欺騙人類。數學曾經被人稱為最沒有用的學科,因為生活中并不需要神圣而純粹的計算,在不同的學科知識里,經驗公式永遠比理論公式更為常用??墒谴藭r此刻,你看,這世界就像一只滴滴答答轉動著的時鐘,每一分每一秒都是嚴絲合縫的。

 

本文小結

寫這篇文章的時候,我一直不知道該如何下筆,因為微信是一個神奇的存在,它是一個國民級別的全民APP,所以,微信的產品設計一直都是一個有趣的現象,從最初底部Tab的數目、每個Tab的名稱、”發現”頁面的定制、小程序入口、朋友圈入口到朋友圈評論等等一系列的設計細節,都是值得我們透過人性和心理去研究的。即使是被人們封神的”張小龍”,在面對結構最為復雜的中國用戶群體的時候,他的瀟灑中依舊不免充滿無奈,從對朋友圈的置之不理就可以看出,這是一個怎么做都不會讓人滿意的功能,任何一個生態在面對巨大的用戶群體的時候,功能的增減就會變成一個難題,所謂”林子大了什么鳥都有”,知乎面對的是同樣的問題,營銷類公眾號在不斷消費社會話題的同時,引導著一批又一批粉絲的價值取向,人類總渴望著別人了解自己,可人類真的了解自己嗎?這篇博客是我對數據分析的又一次嘗試,主要從性別、頭像、簽名、位置四個維度,對微信好友進行了一次簡單的數據分析,主要采用圖表和詞云兩種形式來呈現結果??偠灾痪湓?,”數據可視化是手段而并非目的”,重要的不是我們在這里做了這些圖出來,而是從這些圖里反映出來的現象,我們能夠得到什么本質上的啟示,我一位朋友問我怎么什么都想抓取,為什么啊,因為我不懂人類??!


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢