
數據的無量綱化處理和標準化處理的區別是什么
請教:兩者除了方法上有所不同外,在其他方面還有什么區別?
解答:
標準化處理方法是無量綱化處理的一種方法。除此之外,還有相對化處理方法(包括初值比處理)、函數化(功效系數)方法,等等。由于標準化處理方法可以與分布函數結合,所以應用比較廣泛。如果指標有正、逆之分,功效系數方法也不錯。初值比處理方法主要應用在灰色系統關聯分析方面。
標準化并不能解決正向化問題,如果要將數據正向化,需要其他無量鋼化的方法,例如我要將數據全部變成0到100之間的數,那么可以用compute計算公式:
(x-min(x))/(max(x)-min(x))*100
數據的標準化處理
(1)數據的中心化處理
數據的中心化處理是指平移變換,即
該變換可以使樣本的均值變為 0,而這樣的變換既不改變樣本點間的相互位置,也
不改變變量間的相關性。但變換后,卻常常有許多技術上的便利。
(2)數據的無量綱化處理
在實際問題中,不同變量的測量單位往往是不一樣的。為了消除變量的量綱效應,
使每個變量都具有同等的表現力,數據分析中常用的消量綱的方法,是對不同的變量進
行所謂的壓縮處理,即使每個變量的方差均變成1,即
還可以有其它消量綱的方法,如
(3)標準化處理
所謂對數據的標準化處理,是指對數據同時進行中心化-壓縮處理,即
用在哪方面 數理統計分析試驗結果、鑒別各因素對結果影響程度的方法稱為方差分析(Analysis Of Variance),記作ANOVA。
我們已經作過兩個總體均值的假設檢驗,如兩臺機床生產的零件尺寸是否相等,病
人和正常人的某個生理指標是否一樣。如果把這類問題推廣一下,要檢驗兩個以上總體
的均值彼此是否相等,仍然用以前介紹的方法是很難做到的。(均值法)
從用幾種不同工藝制成的燈泡中,各抽取了若干個測量其壽命,要推斷這幾種工藝制成的燈泡壽命是否有顯著差異;用幾種化肥和幾個小麥品種在若干塊試驗田里種植小麥,要推斷不同的化肥和品種對產量有無顯著影響。(方差分析)。
模型
方差分析一般用的顯著性水平是:取α = 0.01,拒絕0 H ,稱因素A 的影響各水平的差異顯著,取α = 0.01,不拒絕0 H ,但取α = 0.05,拒絕0 H ,稱因
素A的影響顯著;取α = 0.05,不拒絕0 H ,稱因素A 無顯著影響。
例子 例1 為考察5 名工人的勞動生產率是否相同,記錄了每人4 天的產量,并算出其平均值,如表3。你能從這些數據推斷出他們的生產率有無顯著差別嗎?
工人
天 1 A 2 A 3 A 4 A 5 A
1 256 254 250 248 236
2 242 330 277 280 252
3 280 290 230 305 220
4 298 295 302 289 252
平均產量269 292.25 264.75 280.5 240
解 編寫程序如下:
x=[256 254 250 248 236
242 330 277 280 252
280 290 230 305 220
298 295 302 289 252];
p=anova1(x)
求得p = 0.1109 >α = 0.05,故接受0 H ,即5 名工人的生產率沒有顯著差異。
曲線擬合(判斷,估計,兩者的關系)
線性最小二乘法 已知一組(二維)數據,即平面上的n個點(xi , yi) ,
i = 1,2,L,n,… i x 互不相同,尋求一個函數(曲線) y = f (x),使f (x)在某種準則下與所有數據點最為接近,即曲線擬合得最好。
模型
例5 某鄉鎮企業1990-1996 年的生產利潤如表5。
表5
年份 1990 1991 1992 1993 1994 1995 1996
利潤(萬元) 70 122 144 152 174 196 202
試預測1997 年和1998 年的利潤。
解 作已知數據的的散點圖,
x0=[1990 1991 1992 1993 1994 1995 1996];
y0=[70 122 144 152 174 196 202];
plot(x0,yo,’*’)
發現該鄉鎮企業的年生產利潤幾乎直線上升。因此,我們可以用1 0 y = a x + a 作為
擬合函數來預測該鄉鎮企業未來的年利潤。編寫程序如下:
x0=[1990 1991 1992 1993 1994 1995 1996];
y0=[70 122 144 152 174 196 202];
a=polyfit(x0,y0,1)
y97=polyval(a,1997)
y98=polyval(a,1998)
求得20 1 a = , 4
0 a = ?4.0705×10 ,1997 年的生產利潤y97=233.4286,1998 年的生產利潤為y98=253.9286 最小二乘優化(mtalab cftool)
回歸分析
用途 簡單地說,回歸分析就是對擬合問題作的統計分析。
前面我們講過曲線擬合問題。曲線擬合問題的特點是,根據得到的若干有關變量的
一組數據,尋找因變量與(一個或幾個)自變量之間的一個函數,使這個函數對那組數
據擬合得最好。通常,函數的形式可以由經驗、先驗知識或對數據的直觀觀察決定,要
作的工作是由數據
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25