
大數據之于教育之大機遇與大挑戰
大數據概念一提出就得到了學術界、政府、企業以及社會的普遍重視,在全球范圍內掀起了大數據管理與應用的熱潮。在此背景下,貴州省政府創建了中國首個國家級大數據發展集聚區——貴陽·貴安大數據產業發展集聚區,將大數據產業作為破解發展瓶頸、實現后發趕超的戰略選擇,調整優化全省的產業結構、推動大數據在重點行業領域深度應用,培育大數據產業鏈和骨干企業,同時也為全國其他地區和各行業領域發展大數據提供有益的嘗試和探索。為保證上述目標的實現,大數據的應用是首當其沖的關鍵,而應用大數據為風險管理服務則是一個極具重要意義的大數據應用領域。
企業在經濟環境下生存、在市場環境中競爭,面臨著諸多不確定性;這些不確定性給企業的經營管理帶來了極大的風險。為了及時識別這些風險并進行有效的管控,需要對各種數據進行分析,從中發現企業經營中的策略失誤和執行缺陷。傳統的風險識別方法主要是通過對財務數據或者財務報表數據的分析來展開的,然而由于財務數據的滯后性、統計口徑形成的失真,以及頻發的財務粉飾或財務欺詐,造成了僅僅用財務數據來識別分析企業經營風險的局限性。為克服上述缺點,發展利用大數據來進行風險識別與管理則是一條非常誘人并且實踐證明具有現實意義的路徑,這也是大數據應用的一個重要方面。
“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。應用大數據來識別企業的經營風險就是要從全社會各個渠道將與企業經營相關的全方位信息進行采集、整合、處理,通過特定的風險識別模型(機理模型、統計模型、規則模型等)辨識風險,從而采取有效的風險應對。目前金融業是應用大數據為風險管理服務的主要行業;工商企業也開始應用大數據來管理交易對手的應收賬款風險或信用風險、股權投資風險、板塊或資產配置風險等。服務于風險管理的大數據主要來源于企業、工商局、市場交易信息、公檢法關于經濟案件的信息以及表征企業經營屬性的其他信息,通過對這些大數據的統計分析構建了識別風險、應對風險的新型風險管理工具。
目前在風險管理過程中已使用的大數據
應用大數據服務于風險管理,就是通過采集各種類型的、可以從不同側面反映企業或個體工商戶經營狀態、經營品質和經營能力的數據,通過對數據的存儲、整理與整合、統計以及經過風險辨識模型的加工處理,來進行風險揭示或風險預警,達成有效的風險管理。下面我們來分別論述可以用于風險管理的各類“大數據”。
1工商數據
所謂工商數據是指來自于工商局的企業注冊信息以及后續的變更信息,主要反映了企業的性質、經營范圍以及股東或控制人的狀況。這其中非常有價值的是股東數據,通過識別股東在多家企業的控股狀況,當其中某一家企業出現風險時,有可能傳遞到或殃及到其控制的其他企業。另外,通過股東的關聯控股企業的監測與分析,也可以發現其中負面的或形成財務粉飾的關聯交易數據。
2公檢法數據
公檢法數據目前主要是指來源于法院系統的經濟案件數據以及來自于公安機關的金融欺詐報案數據。法院的經濟案件數據已被商業銀行廣發使用,通過經濟糾紛事件來推斷貸款企業或申請貸款企業的信用狀況以及可能面臨的道德風險;而公安局的報案數據對于發現金融欺詐、非法集資、惡性高利貸等有著直接的應用價值。
3海關數據
中國外向型經濟的特點以及中國經濟與世界經濟體系的日益融合,使得海關統計的企業進出口貿易數據集中地反映了商品進出口企業的經營狀況,特別是較長周期的數據監測與分析,很好地揭示了這些企業的經營風險,是銀行識別貸款客戶風險以及工商企業識別應收賬款風險的重要信息源。
4征信數據
人民銀行的征信數據是目前國內積累時間最久、覆蓋面最大的數據源,涵蓋了歷史上在商業銀行貸款違約的客戶信息。目前人民銀行征信數據屬于限制開放的信息源,主要服務于商業銀行以及準許的非銀金融機構。各省在人民銀行征信數據之外,還嘗試建立了聯合征信體系,是對人民銀行征信數據的有效補充,在風險管理應用中也具有重要意義。
55.銀監會關聯客戶數據
銀監會向商業銀行披露在商業銀行貸款客戶的關聯企業數據,揭示了貸款企業在多家銀行貸款和貸款違約的信息。此外,還揭示了信用擔保中的關聯關系,即互相擔保和循環擔保情況,為商業銀行進行貸款審批、貸后風險管理、擔保管理等提供了分析和決策依據。
66.環保數據
環保部以及各地環保局關于對違反環境保護法企業的立案及處罰數據,一方面反映了當事企業的社會責任管理缺失、信用狀況惡化的狀態;另一方面也反映了由于環保限制或環保處罰,而可能導致的企業經營的不確定性或者可能面臨的巨大經營風險。這部分數據往往也是銀行或交易對手進行相關決策的重要參考信息。
7倉儲物流數據
對于制造業或類制造業企業而言,倉儲物流數據準確地反映了企業經營的“繁榮”程度,同時這個數據也是供應鏈金融或供應鏈融資的基礎數據。掌握企業的倉儲物流數據,就可以繞開通過財務報表來分析企業經營風險的缺陷,特別是對于貿易融資(流動性貸款)和應收賬款風險管理有著信息采集直接、風險控制便利的種種優點。
8社保數據
企業繳納社會保險的充足性和及時性,從另一個層面反映了企業的經營狀態。換句話說,一個經營較差或面臨嚴峻經營風險的企業,可能無力支付足額(優惠的)的社會保險繳納額或者出現不能及時繳納社會保險,這顯然是一個明確的企業面臨經營風險的信號。
9工資賬戶數據
工資通常是企業運行成本中占比最高的一項支出,對工資賬戶數據的監測以及進行時間序列的波動統計分析,往往可以從這一側面折射出企業的經營狀況或興旺的程度。長久以來商業銀行就有過通過對貸款企業工資賬戶的監測來識別其信用風險的應用實踐,實際上工資賬戶的監測與分析不僅能夠反映企業的經營風險,還可以對工資定價以及勞動力市場的成本水平提供極有價值的數據。
10用電用水數據
制造業或類制造業企業的用電用水數據從一個特定的視角反映了其生產的繁忙程度。對這類的數據的監測及波動分析,也可以用來反映了企業的經營風險,它是企業全部風險識別的一個重要補充維度。
11輿情或負面事件數據
輿情或負面事件數據是指在互聯網上新聞、微信、微博、論壇以及博客等出現的關于特定機構的負面消息,其表現形式可以是一段文字、視屏、音頻、圖片或其他組合形式。關于特定機構的負面消息或負面事件,可能揭露了其面臨的各種風險,甚至是面臨的危機,這在各種風險管理中都不應該忽視的重要信息或風險預警信號。
12電商交易數據
電商網站上的交易數據較好地反映了商品生產企業或商品銷售企業的經營狀況,據此數據來評定商戶的信用等級或信用風險在以往獲得了較為滿意的準確度。因此,對于從事貸款業務和投資業務的金融機構,如果能獲得企業的交易數據就可以較便利地識別企業經營風險。之所以僅提及電商是因為其上的交易數據是電子化的,并且數據管理集中、商品生產企業或商品銷售企業的覆蓋面較大。
13財務報表數據
隨著中國經濟的發展,大量的中國企業在全球范圍內成為上市公司。這些企業多數通常經營業績較好,在其所在的行業中頗具有代表性或先進性。因此廣泛采集上市公司定期披露的財務報表可以較為便利地將相關指標加工成企業對標數據,通過對標來發現企業的經營管理風險。
除了上述各種類型已經存在的“大數據”外,行業的經濟景氣分析報告、國家宏觀經濟指標數據、市場利率、匯率以及其他的市場指數指標數據等也是揭示企業可能受此影響而面臨特定風險的重要信號,也應該納入大數據應用于風險管理的范疇。
應用大數據需要的專項技術和措施
在前述大數據采集、存儲、整合梳理的基礎上,形成了面向風險管理應用的數據集合或數據倉庫。然而要想迅捷、有效地使用這些數據為風險管理服務,還必須發展和創立一些專項的技術,包括大數據檢索技術、基于大數據的風險識別模型、云平臺下的風險預警機制以及一旦發現風險后的信息處置機制等。
1數據檢索技術
大數據搜索引擎是大數據應用的基本工具,通過搜索引擎快速地提取我們需要的風險信號,進行風險分析和風險預警。市面上類似Hadoop的大數據搜索引擎,對于服務于風險管理的大數據而言有著成本過于高昂的缺點,需要發展一種專門用于二次信息采集、圍繞著風險主題組織數據的低成本檢索工具,作為各種風險管理應用提取所需信息的工具。
2風險識別模型
利用大數據來識別特定對象的風險,必然面臨著風險信號出處多樣、內容駁雜、質量良莠不齊的狀況。在這種情況下,傳統的風險識別模型往往不能勝任有效辨識風險的任務,需要發展多種基于規則的、基于機理的、基于多種信息整合的以及基于統計學原理的大數據風險識別模型,才能保證大數據有效地服務于風險管理。
3風險預警機制
在風險識別模型的基礎上,還需要開發出一整套基于大數據信息特征的風險容忍度規則體系,針對辨識出的風險決定是否發出預警消息。作為一種集中式的大數據服務體系(云體系)由于其服務對象的多樣性,風險容忍度必然是多樣化的,這使得建立適用于多種服務對象的風險容忍度規則體系存在著工作量繁重、提取風險偏好困難的障礙,需要廣泛地調查研究、收集信息來建立有實用價值的容忍度規則體系。
4大數據管理運營機制
為保證大數據能夠高質量、持續地為風險管理服務,需要建立一整套的大數據維護、管理和營銷的機制,按照市場化的企業經營管理模式為那些需要通過大數據來進行風險管理的機構(客戶)提供優質的信息產品,包括大數據本體上的打包數據、風險分析、風險預警、行業狀態、對標數據、競爭分析等等,讓風險管理大數據服務在企業化運營的體制下進入良性循環、永續經營的狀態。
應用大數據面臨的挑戰
建立上述服務于風險管理的大數據管理體系,我們還面臨著一系列的困難與挑戰,主要表現在法律法規限制或法律法規配套、數據采集的技術壁壘以及數據服務的權限配置或數據安全的限制等上面。這些障礙如果不能有效破除,勢必會極大影響大數據服務于風險管理的實際應用,甚至造成其社會經濟價值的大大降低。
法律法規限制是應用大數據為風險管理服務的第一個障礙。我們面臨的困境是上面提及的各類數據在現實中都有且保存完好,但其中相當一部分信息在采集上卻遇到了各種限制,需要在隱私保護、證券法、數據安全或數據保密等法律或規則下,建立適度的法律法規配套,使我們能夠在一定的規則下采集到需要的數據,創建大數據應用的基礎環境。
另外,應用于風險管理的大數據來源于多個渠道,在這些原始數據的存儲保管上,存在著眾多異構的管理體系,從中采集數據勢必會遇到數據接口復雜、工作量巨大的困難,更為重要的是數據標準化管理將面臨嚴峻的挑戰,需要充分研究不同體系中數據存儲的結構和特性,建立適用于集中管理框架的數據標準,保證采集的大數據具有較高的能夠滿足風險管理應用而要求的數據質量。
風險管理大數據應用對象的確定涉及到了大數據體系運營的商業模式的選擇,這是一個需要認真思考的重大問題。換句話說,如果不能在一個確認的商業模式下來進行大數據產品結構的設計,就很難實現大數據風險管理應用的價值,也就根本不能保證大數據應用風險管理這項事業的成功。然而商業模式的設計牽扯到組織結構、資金募集、股權關系、治理結構、客戶營銷、核心技術、經營管理方方面面,是一項需要全面布局、綜合平衡的系統工程,是應用大數據為風險管理服務這項事業的成功保證。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25