SAS信用評分之番外篇異常值的識別

今天想分享給大家的是我早期建模的時候一個識別異常值的辦法，也許你在“信用風險評分卡研究”看過，但是代碼只能識別一個變量，我將這個代碼作了改良，但是我在這里必須聲明一點，就是假設你身處的公司數據并不多的話，我不建議你使用這個代碼，因為我是簡單粗暴的將異常值直接剔除了。

就因為我的數據不多，所以我之前在做建模的時候使用的是先等量分組再最優分段的方式來使變量不用識別異常值，說道這里，我又需要跟大家提醒一下就是關于最優分段的代碼，說有過擬合的現象。這里跟大家解釋一下就是關于最優分段過擬合，因為最優分段的基礎是建立在等量分組的基礎上，所以重點就是在等量分組上，假設你領導能接受的最小一組的總數據量的1/20，那么你就在等量分組中分20組，保證在后面的產出至少一組都是1/20以上，以此類推。

進入正題，我來講這個識別異常值的代碼，首先，這個代碼只針對連續變量，而且是正態分布或者是接近正態分布的變量，若是雙峰或者左偏單峰，或者右偏單峰都不適用這個代碼的識別。其實這個代碼有很多局限性，所以我寫出來之后也不是經常的用到，所以叫做番外篇。

接下來的這個代碼分為兩部分，第一就是針對缺失值大于30%的變量在業務上可以解釋的通的，那這個變量做異常值處理的時候就會去除缺失值做異常值處理。對于缺失值小于30%,就讓其變量的缺失值跟其他值一起做異常值處理。第二就是針對判定為異常值觀測不會就直接刪掉，而是先輸出該觀測，等到全部的變量做完了異常值檢查之后，再判斷這個觀測出現了幾次的異常。這時候你定一個伐值，假設是5次就刪掉，那就是只要一個觀測在這批變量中出現過5次判斷為異常的那就會刪掉?；舅悸肪褪沁@樣子啦。那就上代碼吧。

/*使用標準差挑出異常數，每個變量單獨挑出在三倍標準差的異常值,這里是在5各變量中都顯示異常的觀測則剔除*/

*%Extremes(DSin, VarX, IDVar, NSigmas, DSout);

*DSin 填入原數據集;

*VarX 要檢查異常的變量;

*IDVar 數據集的主鍵，用于標識是那條觀測;

*NSigmas 在幾倍標準差內屬于異常值，在后續的執行代碼中，我寫的是3;

*DSout輸出的數據集;


%macro Extremes(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp;

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

%macro Extremes1(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp(where=(&VarX.^=.));

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

/*這個宏是產生一個變量列表。這的宏在這里的過程是，因為字符變量前期我已經定義完全，沒有異常值，所以只檢查在

原數據集中的數值變量是否有異常值*/

*var_namelist(data=,coltype=,tarvar=);

*data 填入原始數據集;

*coltype 變量的類型，數值是“num”,字符是“char”;

*tarvar 填入你不要做異常值檢驗的變量，這里只能填一個，理論上填的是主鍵;

*dsor 輸出的數據集;

%macro var_namelist(data=,coltype=,tarvar=,dsor=);

    %let lib=%upcase(%scan(&data.,1,'.'));

    %let dname=%upcase(%scan(&data.,2,'.'));

    %global var_list var_num;

    proc sql ;

      create table &dsor. as

        select name

        from sashelp.VCOLUMN

        where left(libname)="&lib." and left(memname)="&dname." and type="&coltype." and lowcase(name)^=lowcase("&tarvar.");

    quit;

%mend;


/*這個宏是上面兩個宏的總宏，之前的兩個宏是服務于這個宏。這個宏就是最后輸出異常值的匯總的appl_id的數據集*/

*a 填入數據集的名字即可;

%macro  ivar(data,tar_var,id);

  proc datasets lib=work;

  delete kk;

  run;

   %var_namelist(data=&data.,coltype=num,tarvar="&tar_var.",dsor=score_total_list_1)

  data _null_;

   set score_total_list_1;

   call symput (compress("var"||left(_n_)),compress(name));

   call symput(compress("n"),compress(_n_));

   run;

     %do i= 2 %to &n.;

        proc sql;

        select count(case when &&Var&i=. then 1 else 0 end)/count(*) into:num&i.

        from &data.;

      quit;

     %if  &&num&i.<0.3 %then %do;

      %Extremes(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

       %end;

       %else %do;

      %Extremes1(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

     %end;

        proc append base=kk data=aa_&i.(keep=&id.);

       run;

        proc datasets lib=work;

      delete aa_&i.;

      run;

        %end;


%mend;

ivar(data,tar_var,id);

data:輸入你的數據集。

Tar_var:輸入你的因變量。

Id:輸入你的主鍵。

輸出的數據集是主鍵，對其計數就知道他在多少個變量里面表現為異常值，再根據自己判斷的伐值進行刪除。

我個人覺得這個代碼的對于邏輯回歸模型的可用性不是太強，因為邏輯回歸中對于變量并沒與太多的要求，若是你建模用的模型是線性回歸估計可能對你有用。那么這次的分享就到這里吧。