如何做商品信息數據分析和展現？

商品價格和人們生活息息相關，比如農產品價格波動不僅會對農民收入和農民生產積極性產生直接影響，更關乎百姓的日常生活和切身利益。經?？葱侣効吹睫r民辛苦了一個季度的農作物全都爛在地里，因為價格太低廉，或者沒有銷路。雖然說物價波動是一種正常的經濟現象，但是在一定程度上物價穩，人心才穩，社會才穩。為保持經濟平穩健康發展、保障群眾生活，穩定物價，信息公開顯得尤為重要。價格監測和預測是維持物價穩定的一個重要環節。而對于商品價格、產量、以及銷路、銷量等數據公開，建立產品價格分析、監測、預測平臺可以為相關政府管理部門提供生產調控、決策分析的依據，成為農門種植的依據，避免盲目種植。國家也有譬如南菜北運、西果東送等等政策但是數據實時公開，友好的向全國人民展示我認為還有很大的提升空間。

實現過程：

針對從價格信息網抓取來的數據利用eclipse工作平臺開發出了商品信息數據分析及展現系統，實現了價格展示、價格分析、價格預測、居民消費指數分析、商品流通情況以及作物主要產地及產量的展示。價格分析包括價格走勢、價格對比（市場之間對比）、價格展示（各省對比）。價格預測最后采用基于時間序列的神經網絡算法做了初步短期價格預測。居民消費指數CPI作為反映消費者支付商品和勞務的價格變化情況，也是一種度量通貨膨脹水平的工具，主要包括同比環比及其漲跌情況、CPI構成比例以及各省月度CPI展示等。

分析結果以帶有時間軸的折線圖、柱狀圖、地圖熱力圖、餅狀圖形式展示，界面美觀，和用戶交互性強，簡單易懂。

一、數據獲取

獲取方式：

針對數據來源網站信息大多有規律的更新，但網頁數據結構保持不變，使用的方式有兩種：

1.使用Excel工具抓取

1)通過Excel從網頁導入數據，選中自己要導入的數據。

2)新建宏，重復上步操作

3)觀察數據發布的網頁地址規律，修改宏代碼

（使用該方法的好處是可用Excel對獲取來的數據進行數據處理）

2.使用RCurl爬蟲

（方便對抓回來的數據用R直接對數據進行相關分析計算）

數據處理：

因為各種原因，價格信息網提供的商品價格信息有數據單位不統一、商品名稱不規范、市場名稱前后不一、缺失值等等問題。經過對這些數據的分析和總結，對數據進行了統一商品名稱格式、規范市場名稱、規范數據單位、去重和缺失值5方面的處理。

存儲方式：

將處理好的數據，建好表結構存儲到mysql數據庫中。

二、數據展現

展現方式：使用Echarts在網頁顯示。

展現內容：

1． 價格分析

① 價格走勢：

這里主要展示的是將爬取來的每日商品價格數據按商品類型取平均值（右側圖例選擇要查看的商品類型），做曲線圖。通過下面時間軸拖動、拉長查看某一范圍內的價格走勢；也可通過區域縮放按鈕查看某一段曲線的詳細走勢。

② 價格對比：

針對從濰坊物價信息網獲取來的數據，根據價格采集地點進行價格對比。大體分為兩類：超市價格和集市價格。以柱狀圖的方式可直觀的看出某天某種商品在不同地點的價格高低情況。如要查看2014-08-01的價格對比情況。

效果展示如下：

鼠標移動切換標簽展示集市商品價格對比。

③ 全國商品價格

在地圖上，以熱力圖的形式展現全國各省某種商品價格的高低。鼠標懸停顯示具體價格信息。

此外，可以具體到某省下的各市價格展示：

繼續往下深入，具體到某市下各區、鎮價格展示（以濰坊市為例）：

2.居民消費指數

CPI (Consumer price index) 居民消費指數,反應通貨膨脹或者緊縮的程度，一般來講，物價全面的持續的上漲就會被認為發生的通貨膨脹。

① 同比環比（數據來自濰坊物價信息網）

可選擇查看整體CPI漲跌情況，或者影響CPI八大類中某一類CPI漲跌情況。

如選擇食品類，還可繼續查看食品類下的具體漲跌情況

效果展示如下：下方為時間軸，可以選擇相關年份查看

② CPI比例

用餅狀圖的方式可直觀展現八大類及其分類對整體CPI的構成影響。下方為時間軸，展現不同時間段的構成比例。

③ 各省月度CPI（下方為時間軸，可以選擇年月份查看）

3.商品流通情況

國家有南菜北運、西果東送的政策，友好的相關信息展示，為合理分配資源開辟市場提供相關決策依據。

效果展示如下：

4.各農作物主要產地

鼠標懸停顯示產地產量信息。

效果展示如下：

5.價格預測

主要包含兩部分：1 .價格預警 2.商品價格預測

價格預警：采用Ajax技術每隔一小時自動刷新屬于，紅色為預警標識。

計算上一周價格移動平均值，和當前價格做差，漲跌絕對值大于0.5紅色箭頭標識預警。

效果展示如下：

商品價格預測（以大白菜價格為例）：

虛線為預測價格，實線為實際價格

三、數據預測

預測工具：rapidminer

數據來源：濰坊物價信息網

實現算法：基于時間序列神經網絡的短期價格預測

實現過程：

（以大白菜價格為例）

訓練集：選取2013-2014內大白菜的價格。

測試集：抽取1/3作為測試集。

預測模型：方案有兩種一是采用支持向量機SVM，二是采用神經網絡，下面對兩種模型進行評估。

指數平滑和移動平均

模型如下：

首先使用支持向量機進行移動平均和指數平滑的計算（這里窗口大小設為5，alpha設為0.8）

部分結果如下：

折線圖如下：

可以看出移動平均線和本期實際價格有一定誤差，而指數平滑出來的價格exponential_smoothing(本期價格)和本期價格基本重合，而趨勢線（trend藍線）效果不是很好。

再使用神經網絡進行移動平均和指數平滑的計算（參數設置如上）

部分結果如下：

折線圖如下：

可以看出時間序列幾何平均法（average）和本期價格誤差不大，而指數平滑exponential_smoothing基本和本期價格一致。趨勢線基本符合價格漲跌情況，在14年4月出現了大幅度上升，這樣就能發現價格異常的產品，從而對其價格預警。

為了評估模型預測的精度，加入時間序列包中Validation 操作符,并設定好相關參數。

Validation 操作符內部需要放置某種算法，這里采用支持向量機 SVM：

預測精度：

下面再采用神經網絡Neural Net 比較一下預測精度：

預測精度：

可以看出采用神經網絡預測精度高一些，所以下面采用神經網絡算法進行模型訓練及預測。

這里窗口大小設為5

模型如下：

預測結果如下：

紅色線為實際價格 ，藍色線為預測價格。

從圖中可以看出，預測價格基本還行。

不足與展望：

因為時間和能力有限，作品本身還有很大的提升空間。比如數據抓取和處理沒有實現完全自動化。數據預測因素單一，需要收集更多的數據來進一步產品價格預測精度，及時發現價格異常的農產品。商品價格波動的主導因素很復雜，像供需關系、生產成本、自然條件、科技發展、運輸存儲、國家政策、自然災害等都是造成價格波動的主導因素。這也為提高商品價格預測的精度帶來了很多困難。如何有效、準確的預測商品價格還需要繼續學習和研究。

自己對物價這方面的研究很有興趣，因為它和人們的生活息息相關，一方面對農民收入和農民積極性產生直接影響，另一方面又關乎我們每一個人的日常生活和切身利益。物價過高，漲速過快，就會造成百姓生活壓力過大、心里不安影響人們的幸福度。所以，促公開，推進信息價格透明化是一項很有意義的工作。穩定高效的商品智能分析系統可以增強相關部門決策的科學性、針對性和及時性，希望自己能夠通過進一步的努力更加完善。