淺談數據分析師的必備技能SQL

很久沒寫東西了，正好群里有童鞋最近要換工作，提到有關數據庫方面的問題，個人認為，做數據分析的并沒有必要把數據庫開發之類的弄懂，你只需要從相應的數據庫中調用你需要的數據即可，至于數據庫設計相關的安全事務，開發之類的問題那是數據庫工程師的事情，而作數據分析師的你了解SQL語言即可。當然，誰都不會嫌自己的知識多，掌握的東西越多對自己的發展當然也就越有利。

了解SQL的必要性

俗話說“巧婦難為無米之炊”，沒有數據怎么分析。而SQL對于你來說就好比電腦的鍵盤鼠標，雖說沒有了它也能照常運行，但對使用它的人來說靈活性卻下降了許多。而這一點也正是許多數據分析從業者所缺少的（包括我），記得白鴉曾在他的博客中發表過數據分析師很少的言論。不管數據分析師在什么樣的團隊，其所起的作用都是統計和調查，數據挖掘、可行性及策略分析等類似的功能。真正的數據分析師，或者能達到企業期望要求的數據分析師為什么鳳毛麟角。為什么滿足企業要求的數據分析師鳳毛麟角，其中一個主要的原因就是學統計的人不會數據庫，而學計算機的同學不會建模分析。

SQL使得數據的采集過程變得更加方便快捷，此處的方便快捷可以從2方面得以體現，1.在分析數據時候不必再苦苦請求其他同事，自己需要什么數據自己直接去導，而不再是從別人手中接過譬如.xls或.csv之類的數據文檔；2.便捷快速的清洗出自己所需要的原始數據，譬如你需要的是每個月銷售額排名前20的產品相關數據，這時你就可以直接從數據庫導出數據時來完成數據篩選的過程，而不是傻傻的導出所有產品銷售數據再進行二次處理。關于如何利用SPSS從數據庫中挑選自己所需要的數據參見Syntax代碼旅途。此外，在EXCEL的多表操作中也涉及相關SQL語句，如數據透視表的應用等。

SQL查詢相關小技巧

·使用AND時，將不為真的條件放在前面

數據庫系統遵循運算符的優先級，并且運算過程是從左至右的，將條件不為真的放在前面，則能夠省去and后面的相關運算，以達到減少數據庫系統運算工作量的目的，提高工作效率。

·使用OR運算符時，則將最可能為真的條件放在前面

和上面and的原理類似，and運算符要求兩邊條件都為真，整個條件才為真，而or只需要一邊為真，將條件為真的放在前面可使or運算符不需要檢查右邊的條件，從而節約時間，提高工作效率。

·distinct比group by更快

distinct和group by通常起限制結果為唯一的記錄行的作用，處理此類問題時distinct往往比group by更加迅速。

·限制聯合的結果

從數據庫中提取的信息量越少，速度也就越快，而加適當的限制條件除了滿足自身的需求之外，另外一個原因就是為了加快處理查詢速度。e.g:

select var1, var2 from table1 inner join table2 on table1.id=table2.id where condition;

·對子查詢使用in運算符

在子查詢過程中，運用select語句往往會使數據庫系統考慮更多的東西，從而降低工作效率，相比較而言，運用in運算符則可以有效的解決這個問題。e.g：下面的子查詢中第1句將比第2句更加有效

select var1, var2 from table1 where var1 in (select var1 from table2 where condition);

select var1, var2 from table1 where var1=(select var1 from table2 where condition) ;

·盡量避免使用select * from

指定確定的列可以讓你清楚的了解你所需要采集的變量，利用select * from不只是效率低下，更不利于你的后續分析，所以對于select * from則是能避免則盡量避免。數據分析師培訓

·對整數類型列進行搜索

這類問題主要針對字符變量的查詢而言，對應的字符變量如果有相應的編碼對應，直接將編碼設置為查詢條件將比直接查詢字符變量來得更加迅速。

數據采集中常用的SQL語句

相同的SQL語句運用到不同數據庫中會有略微的差別，對字符變量的要求，相關函數的變化，以及語法規則的不同等等，例如：oracle數據庫中對字段命名別名時不需要as 字符，沒有month()，year（）等時間函數等等，access數據庫中在使用inner join執行內部聯合時條件需用（），當然還有很多的細微差別，大家可以自己去尋找總結。下面的示例以SQL SERVER為基礎編寫。

1. 抽取非重復數據

select distinct var1 from tableName;

2. 抽取某個時間段間的數據

select var1,var2 from 數據表 where 字段名 between 時間1 and 時間2;
3. 連接多個變量

select ‘123’+cast(456 as varchar);

select ‘123’+cast(456 as varchar)+’789′;

4. 用SQL語句找出表名為Table1中的處在ID字段中1-200條記錄中Name字段包含w的所有記錄

select * from Table1 where id between 1 and 200 and Name like ‘%w%’;

5. 找出擁有超過10名客戶的地區的列表

select country from test group by country having count(customerId)>10;
6. 關于取出每個部門工資最高的前三人

select * from table t where 工資 in (select top 3 工資 from table where 部門 = t.部門 order by 工資 desc);
7. 兩個結構完全相同的表a和b，主鍵為index，使用SQL語句，把a表中存在但在b表中不存在的數據插入的b表中

insert into b select * from a where not exists(select * from b where “index”=a.”index”);
8.從一個數據庫中的多個數據表提取相關變量

Select table1.var1,table2.var2,table2.var3,

From table1 inner join table2

On tabel1.var1=table2.var1

Inner join table3

On tabel1.var2=table3.var2

(order by ……)