作者 | CDA數據分析師

俗話說，巧婦難為無米之炊。不管你廚藝有多好，如果沒有食材，也做不出香甜可口的飯菜來，所以想要做出飯菜來，首先要做的就是要買米買菜。而數據分析就好比是做飯，首先也應該是準備食材，也就是獲取數據源。

一、導入外部數據

導入數據主要用到的是Pandas里的read_x()方法，x表示待導入文件的格式。

1、導入.xlsx文件

在Excel中導入.xlsx格式的文件時很簡單的，雙擊打開就可以了。在Python中導入.xlsx文件的是read_excel()這種方法。

（1）基本導入

在導入文件的時候首先要指定文件的路徑，也就是這個文件在電腦中的哪個文件夾下存放著。

電腦中的文件路徑默認是使用\的，這個時候需要在路徑前面加一個r（轉義符）避免路徑里面的\被轉義。也可以不加轉義符r，但是需要把路徑里面所有的\轉換成/，這個規則在導入其他格式文件的時候也是一樣的，我們一般會選擇在路徑前面加轉義符r。

（2）指定導入哪個Sheet

.xlsx格式的文件可以有很多個Sheet，你可以通過設定sheet_name參數來指定要導入哪個Sheet的文件。

除了可以指定具體Sheet的名字，還可以傳入Sheet的順序，從0開始計數。

如果不指定sheet_name參數的時候，那么默認導入的都是第一個sheet的文件。

（3）指定行索引

將本地文件導入DataFrame的時候，行索引使用的是從0 開始的默認索引，可以通過設置index_col參數來設置。

index_col表示用.xlsx文件中的第幾列做行索引，從0 開始計數。

（4）指定列索引

將本地文件導入DataFrame的時候，默認使用的是源數據表的第一行作為列索引，也可以通過設置header參數來設置列索引。header參數值默認為0，即用第一行作為列索引；也可以是其他行，只需要傳入具體的那一行即可；也可以使用默認從0開始的數作為列索引。

（5）指定導入列

有的時候本地文件的列數太多，而我們又不需要那么多列的時候，我們就可以通過設定usecols參數來指定要導入的列。

可以給usecols 參數具體的某個值，表示要導入第幾列，同樣是從0開始計數，也可以以列表的形式傳入多個值，表示要傳入哪些列。

2、導入.csv文件

在Excel中導入.csv格式的文件和打開.xlsx格式的問價是一樣的，雙擊即可。而在Python中導入.csv問價用的方法是read_csv()。

（1）直接導入

只需要指明文件路徑即可。

（2）指明分隔符號

在Excel和DataFrame中的數據都是很規整的排列的，這都是工具在后臺根據某條規則進行切分的。read_csv()默認文件中的數據都是以逗號分開的，但是有的文件不是用逗號分開的，這個時候就需要人為指定分隔符號，否則就會報錯。

新建一個以空格作為分隔符號的文件，如下圖所示：

如果用默認的逗號作為分隔符號，看看導入的數是什么樣的。

我們看到所有的數據還是一個整體，并沒有被分開，把分隔符號換成空格以后再看看效果：

使用正確的分隔符號以后，數據被規整的分好了。常見的分隔符號除了逗號、空格，還有制表符（\t）。

（3）指明讀取行數

假設現在有一個幾百兆的文件，你想了解一下這個文件里有哪些數據，那么這個時候你就沒必要把全部數據都導入，你只要看到前面幾行即可，因此只要設置nrows參數即可。

（4）指定編碼格式

Python用得比較多的兩種編碼格式是UTF-8和gbk，默認編碼格式是UTF-8。我們要根據導入文件本身的編碼格式進行設置，通過設置參數encoding來設置導入的編碼格式。有的時候兩個文件看起來一樣，它們的文件名一樣，格式一樣，但是如果它們的編碼格式不一樣，也是不一樣的文件

比如當你把一個Excel文件另存為時會出現兩個選項，雖然都是.csv文件，但是這兩種格式代表兩種不同的文件，如下圖所示:

如果CSV UTF-8（逗號分隔）（*.csv）格式的文件，那么導入的時候就需要加encoding參數。

你也可以不加encoding參數，因為Python默認的編碼格式就是UTF-8。

如果CSV（逗號分隔）（*.csv）格式的文件，那么在導入的時候就需要把編碼格式更改為gbk，如果使用UTF-8就會報錯。

（5）engine指定

當文件路徑或者文件名中包含中文時，如果還用上面的導入方式就會報錯。

這個時候我們就可以通過設置engine參數來消除這個錯誤。這個錯誤產生的原因是當調用read_csv()方法時，默認使用C語言作為解析語言，我們只需要把默認值C更改為Python就可以了，如果文件格式是CSV UTF-8（逗號分隔）（*.csv），那么編碼格式也需要跟著變為utf-8-sig，如果文件格式是CSV（逗號分隔）（*.csv）格式，對應的編碼格式則為gbk。

（6）其他

.csv文件也涉及行、列索引設置及指定導入某列或者某幾行，設定方法與導入.xlsx文件一致。

3、導入.txt文件

（1）Excel實現

在Excel中導入.txt文件時，我們需要通過依次單擊菜單欄中的數據>獲取外部數據>自文本，然后選擇要導入的.txt文件所在的路徑，如下圖所示：

選完路徑以后會出現如下圖所示的界面，預覽文件就是我們要導入的文件，確認無誤后按下一步按鈕即可。

因為我們舉例.txt 文件用空格分開的，所以在分隔符號項勾選空格復選框，如果待導入的.txt 文件是用其他分隔符號分隔的，那么選擇對應的分隔符號，然后直接按完成按鈕即可，如下圖所示：

（2）Python實現

在Python中導入.txt文件用的方法是read_table()是將利用分隔符號分開的文件導入DataFrame的通用函數。它不僅可以導入.txt文件，還可以導入.csv文件。

從上面的代碼可以看出，函數在導入.csv文件時，與read_csv()函數不同的是，即使是逗號分隔開的問價也是需要用sep指明分隔符號的，而不是像read_csv()函數那樣，如果文件是逗號分隔的，則可以不用寫。

read_table()函數其他參數的用法與read_csv()函數的基本一致。

4、導入sql文件

（1）Excel實現

Excel可以直接連接數據庫，通過依次單擊菜單欄中的數據>自其他來源導入sql文件。如果你的數據庫是SQL Server，那么直接選擇來自SQL Server即可；如果是MySQL數據庫，那么你需要選擇來自數據連接向導，然后通過建立數據向導來與MySQL連接，如下圖所示：

（2）Python實現

Python導入SQL文件主要分為兩步，第一步將Python與數據庫進行連接，第二步是利用Python執行SQL查詢語句。

將python與數據庫連接時利用的是python模塊，這個模塊Anaconda沒有，需要我們手動安裝的，打開Anaconda Promt，然后輸入pip install pymysql進行安裝即可，安裝完成以后直接用import導入就可以使用了，具體連接方法如下：

連接好數據庫以后，我們就可以執行SQL查詢語句了，利用的是read_sql()方法。

除了sql和con這兩個關鍵參數，read_table()函數也有用來設置行索引的參數index_col，設置列索引的columns，實例如下：

二、新建數據

這里的新建數據主要指新建DataFrame數據，我們在之前談到過，利用pd.Dataframe()方法進行新建。

三、熟悉數據

當我們有了數據源以后，先別急著分析，應該先熟悉數據，只有對數據充分熟悉了，才能更好的進行分析。

1、利用head預覽前幾行

當數據表中包含數據行數過多時，而我們又想看一下每一列數據都是什么樣的數據時，就可以只把數據表中前幾行數據顯示出來進行查看。

（1）Excel實現

Excel其實沒有嚴格意義的顯示前幾行，當你打開一個數據表時，所有的數據就全部都展示出來了，如果數據的行數過多，則可以通過滾動條來控制。

（2）Python實現

在Python中，當一個文件導入后，可以用head()方法來控制要顯示哪些行。只需要在head后面的括號中輸入要展示的行數即可，默認展示前5行。

2、利用shape獲取數據表的大小

熟悉數據的第一點就是先看一下數據表的大小，即數據表有多少行、多少列。

（1）Excel實現

在Excel中查看數據表有多少行，一般都是選中某一列，右下角就會出現該表的行數，如下圖所示：

在Excel中選中某一行，右下角就會出現該表的列數，如下圖所示：

（2）Python實現

在Python中獲取數據表的行、列數利用的是shape方法。

Shape方法會以元組的形式返回行、列數，上面代碼中的（4,4）表示df表有4行4列數據。這里需要注意的是，Python中利用shape方法獲取行數和列數時不會把行索引和列索引計算在內，而Excel中是把行索引和列索引計算在內的。

3、利用info獲取數據類型

熟悉數據的第二點就是看一下數據類型，不同的數據類型的分析思路是不一樣的，比如數值類型的數據可以求均值，但是字符串類型的數據就沒法求均值了。

（1）Excel實現

在Excel中若想看某一列數據具體是什么類型的，只要把這一列選中，然后再菜單欄中的數字那一欄就可以看到這一列的數據類型。

年齡為數值類型，如下圖所示：

性別為文本類型，如下圖所示：

（2）Python實現

在Python中我們可以利用info（）方法查看數據表中的數據類型，而且不需要一列一列查看，在調用info（）方法以后就會輸出整個表中所有列的數據類型。

通過info（）方法可以看出表df的行索引index是0到3，總共4columns，分別是編號、年齡、性別以及注冊時間，且4columns中只有年齡是int類型，其他columns都是object類型，共占用內存208bytes。

4、利用describe獲取數值分布情況

熟悉數據的第三點就是掌握數值的分布情況，即均值是多少，最值是多少，方差及分位數分別又是多少。

（1）Excel實現

在Excel中如果想看某列的數值分布情況，那么手動選中這一列，在Excel的右下角就會顯示出這一列的平均值、計數及求和，且只顯示這三個指標，如下圖所示。

（2）Python實現

在Python中只需要利用describe（）方法就可以獲取所有數值類型字段的分布值。

表df中只有年齡這一列是數值類型，所以調用describe（）方法時，只計算了年齡這一列的相關數值分布情況。我們可以新建一個含有多列數值類型字段的DataFrame。

上面的表df中年齡、收入、家屬數都是數值類型，所以在調用describe（）方法的時候，會同時計算這三列的數值分布情況。