5.     用proc distance做什么？

我們知道數據變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時ratio變量。那想要對離散變量進行聚類怎么呢？一種想法自然是講所有的離散變量都轉成0-1變量。這會有如下幾個問題：

1)    變量的信息可能會有損失，比如次序型變量轉成0-1變量后，次序信息就很難保留；

2)    當離散變量的取值非常多時，轉成0-1變量后生成的新變量也會非常多，這樣也會造成很多處理上的不便；

3)    0-1變量也沒法做標準化等等一些運算，因為這種運算其實是沒有意義的

那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計算距離或者相似度開始的。一個很自然的想法就是針對離散變量定義有意義的距離（對離散變量和連續變量混合類型的數據）。Proc distance就是用來算這種距離的一個很好的過程。距離或者相似度可以看成是連續數據，自然就可以用sas里面的聚類算法了。

6.     用proc stdize做什么？

前面說過聚類算法首先要算的距離，然后通過距離來執行后續的計算。在距離計算的過程方差比較大的變量影響會更大，這個通常不是我們希望看到。所以非常有必要講參與聚類的變量轉換成方差盡量相同。Proc stdize就能實現這種功能。Proc stdize不僅提供了將變量轉換了均值為0，方差轉換為1的標準化，還提供了很多其它類型的標準化。比如，range標準化（變量減去最小值除以最大值和最小值得差）

7.     用proc varclus做什么？

在做回歸分析的時候，我們知道變量過多會有兩個問題：

1)    變量過多會影響預測的準確，尤其當無關緊要的變量引入模型之后；

2)    變量過多不可避免的會引起變量之前的共線性，這個會影響參數估計的精度

聚類分析實際上也存在類似的問題，所以有必要先對變量做降維。說到降維，馬上有人會說這個可以用主成分啊，這個的確沒錯。但是主成分的解釋性還是有點差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus——斜交主成分。

我們常說的主成分實際上正交主成分。斜交主成分是在正交主成分的基礎上再做了一些旋轉。這樣得到的主成分不僅能保留主成分的優點（主成分變量相關程度比較低）。另外一方面又能有很到的解釋性，并且能達到對變量聚類的效果。使同類別里面的變量盡可能相關程度比較高，不同類別里面的變量相關程度盡可能低。這樣根據一定的規則我們就可以在每個類別里面選取一些有代表性的變量，這樣既能保證原始的數據信息不致損失太多，也能有效消除共線性。有效提升聚類分析的精度。

8.     用proc mds 和proc princomp做什么？

將原始數據降到兩維，通過圖形探測整個數據聚類后大致大類別數

9.     用proc aceclus做什么？

聚類算法尤其是k-means算法要求聚類數據是球形數據。如果是細長型的數據或者非凸型數據，這些算法的表現就會相當差。一個很自然的變通想法就是，能不能將非球形數據變換成球形數據呢？答案是可以的。這就要用到proc aceclus。

/*********************************************************/
/*1.模擬數據1;測試標準化方法對聚類的影響
模擬數據，樣本量相同，均值和方差不相同*/
/*********************************************************/
data compact;
keep x y c;
n=100;
scale=1; mx=0; my=0; c=1;link generate;
scale=2; mx=8; my=0; c=2;link generate;
scale=3; mx=4; my=8; c=3;link generate;
stop;
generate:
do i=1 to n;
x=rannor(1)*scale+mx;
y=rannor(1)*scale+my;
output;
end;
return;
run;
title ‘模擬數據1’;
proc gplot data=compact;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

proc stdize data=compact method=std
out=scompacted2;
var x y;
run;
title ‘標準化后的模擬數據1’;
proc gplot data=scompacted2;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

/*********************************************************/
/*2.create result table*/
/*********************************************************/
data result;
length method$ 12;
length misclassified 8;
length chisq 8;
stop;
run;

%let inputs=x y;
%let group=c;
%macro standardize(dsn=,nc=,method=);
title “&method”;
%if %bquote(%upcase(&method))=NONE %then %do;
data temp;
set &dsn;
run;
%end;
%else %do;
proc stdize data=&dsn method=&method out=temp;
var &inputs;
run;
%end;
proc fastclus data=temp maxclusters=&nc least=2
out=clusout noprint;
var &inputs;
run;
proc freq data=clusout;
tables &group*cluster / norow nocol nopercent
chisq out=freqout;
output out=stats chisq;
run;
data temp sum;
set freqout end=eof;
by &group;
retain members mode c;
if first.&group then do;
members=0; mode=0;
end;
members=members+count;
if cluster NE . then do;
if count > mode then do;
mode=count;
c=cluster;
end;
end;
if last.&group then do;
cum+(members-mode);
output temp;
end;
if eof then output sum;
run;
proc print data=temp noobs;
var &group c members mode cum;
run;
data result;
merge sum (keep=cum) stats;
if 0 then modify result;
method = “&method”;
misclassified = cum;
chisq = _pchi_;
pchisq = p_pchi;
output result;
run;
%mend standardize;

%standardize(dsn=compact,nc=3,method=ABW(.5));
%standardize(dsn=compact,nc=3,method=AGK(.9));
%standardize(dsn=compact,nc=3,method=AHUBER(.5));
%standardize(dsn=compact,nc=3,method=AWAVE(.25));
%standardize(dsn=compact,nc=3,method=EUCLEN);
%standardize(dsn=compact,nc=3,method=IQR);
%standardize(dsn=compact,nc=3,method=L(1));
%standardize(dsn=compact,nc=3,method=L(2));
%standardize(dsn=compact,nc=3,method=MAD);
%standardize(dsn=compact,nc=3,method=MAXABS);
%standardize(dsn=compact,nc=3,method=MEAN);
%standardize(dsn=compact,nc=3,method=MEDIAN);
%standardize(dsn=compact,nc=3,method=MIDRANGE);
%standardize(dsn=compact,nc=3,method=NONE);
%standardize(dsn=compact,nc=3,method=RANGE);
%standardize(dsn=compact,nc=3,method=SPACING(.3));
%standardize(dsn=compact,nc=3,method=STD);
%standardize(dsn=compact,nc=3,method=SUM);
%standardize(dsn=compact,nc=3,method=USTD);

proc sort data=result;
by misclassified;
run;
title ‘匯總數據’;
title2 ‘聚類判定類別錯誤樣本數排序’;
proc print data=result;
run;