作者：Parul Pandey

來源：SQL數據庫開發

一些小的技巧在編程領域可能會非常有用，在數據科學領域同樣如此。數據科學愛好者 Parul Pandey 在近日發表了一篇博文，分享了在數據科學中非常實用的 10 個小技巧。

有時候，一點小小的黑客行為可以節省時間，挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物，并且可以真正提高生產力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數據分析項目時，它們會非常有用。

1.Profiling the pandas dataframe

Profiling 是一個幫助我們理解數據的程序，而 Pandas Profiling 正是實現這一點的一個 python包。這是對 pandas 數據幀進行探索性數據分析的一種簡單快速的方法。pandas df.describe（）和 df.info（）函數通常用作 EDA 過程的第一步。但是，它只提供了非?；镜臄祿攀?，對于大型數據集沒有太大幫助。另一方面，pandas 分析函數使用 df.profile_report（）擴展 pandas 數據幀，以便快速進行數據分析。它用一行代碼顯示了大量信息，在交互式 HTML 報告中也顯示了這些信息。

對于給定的數據集，pandas 分析包計算以下統計信息：

Pandas Profiling 包計算統計信息

安裝

pip install pandas-profiling

--或者

conda install -c anaconda pandas-profiling

使用

讓我們使用古老的 Titanic 數據集來演示通用的 Python 分析器的功能。

#importing the necessary packages
import pandas as pd
import pandas_profiling

# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)

注：在這篇文章發表一周后，Pandas-Profiling 發布了一個升級版本 2.0.0。其語法發生了一些變化，事實上，功能已經包含在 pandas 中，報告也變得更加全面。以下是最新的語法用法：

使用

要在 Jupyter notebook 中顯示報告，請運行：

#Pandas-Profiling 2.0.0
df.profile_report()

這一行代碼就是在 Jupyter notebook 中顯示數據分析報告所需的全部代碼。報告非常詳細，必要時包括圖表。

還可以將報告導出到具有以下代碼的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")

2.為 pandas plots 帶來交互性

pandas 有一個內置的.plot（）函數作為數據幀類的一部分。然而，用這個函數呈現的可視化并不是交互式的，這使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot（）函數繪制圖表的易用性。如果我們不需要對代碼進行重大修改，就可以像繪制 pandas plots那樣繪出交互式圖表呢？你可以在 Cufflinks 庫的幫助下做到這一點。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結合起來，便于繪制?，F在讓我們來看看如何安裝這個庫并讓它在 pandas 中工作。

安裝

pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks

使用

#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf

import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)

是時候用 Titanic 數據集來展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右視圖顯示的是靜態圖表，左圖表是交互式的，更詳細地說，所有這一切在語法上都沒有重大變化。

3.一點點 Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數，旨在解決標準數據分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。

所有可用的 magic 函數列表

magic 命令有兩種：行 magics（前綴為一個% 字符并在一行輸入上操作）和單元 magics（用%% 前綴關聯并在多行輸入上操作）。如果設置為 1，則可以調用 magic 函數，而無需鍵入初始百分比。

讓我們看看其中一些在常見數據分析任務中可能有用的功能：

% pastebin

%Pastebin 將代碼上載到 Pastebin 并返回 URL。Pastebin 是一種在線內容托管服務，我們可以在其中存儲純文本（如源代碼片段），然后可以與其他人共享 URL。事實上，Github gist 也類似于 Pastebin，盡管有版本控制。

考慮使用包含以下內容的 python script file.py：

#file.py
def foo(x):
    return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函數用于呈現 Jupyter noteboo 中的靜態 matplotlib 繪圖。嘗試用 notebook 替換內嵌部件，以輕松獲得可縮放和可調整大小的繪圖。確保在導入 Matplotlib 庫之前調用了函數。

%matplotlib inline vs %matplotlib notebook

• %run

%run 函數在 notebook 內運行 python 腳本。

%run file.py

• %%writefile

%WriteFile 將單元格的內容寫入文件。在這里，代碼將被寫入一個名為 foo 的文件，并保存在當前目錄中。

• %%latex

%%latex 函數將單元格內容呈現為 LaTeX。它可用于在單元中編寫數學公式和方程。

4.發現和消除錯誤

interactive debugger 也是一個神奇的函數，但我已經為它提供了自己的一個類別。如果在運行代碼單元時遇到異常，請在新行中鍵入%debug 并運行它。這將打開一個交互式調試環境，將您帶到發生異常的位置。您還可以檢查程序中分配的變量值，并在此處執行操作。要退出調試器，請單擊 q。

5.輸出也可以很漂亮

如果您想為數據結構生成美觀的表示，pprint 是你想要的模塊，它在打印字典或 JSON 數據時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。

6.突出報警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內容或任何需要突出顯示的內容。注釋的顏色取決于警報的類型。只需在需要突出顯示的單元格中添加以下代碼。

藍色警報框：信息提示

	Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.

黃色警報框：警告

	Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

綠色警報框：成功

	Use green box only when necessary like to display links to related content.

紅色警報框：危險

	It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.打印單元格的所有輸出

考慮一個包含以下代碼行的 Jupyter notebook 單元：

In [1]: 10+5          
         11+6

Out [1]: 17

通常情況下，單元格中只有最后一個輸出會被打印出來，對于其他輸出，我們需要添加 print（）函數。好吧，其實我們只需在 notebook 頂部添加以下代碼片段就可以打印所有輸出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

現在所有的輸出都被一個接一個地打印出來

In [1]: 10+5          
         11+6
         12+7

Out [1]: 15
Out [1]: 17
Out [1]: 19

要恢復到原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件運行 python 腳本

從命令行運行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運行同一腳本（如 python）時添加了一個額外的-i hello.py，那么它提供了更多的優勢。讓我們看看怎么做。

首先，只要程序不結束，python 就不會退出解釋器。因此，我們可以檢查變量的值以及程序中定義的函數的正確性。

其次，我們可以通過以下方式輕松調用 Python 調試器，因為我們仍在解釋器中：

import pdb
pdb.pm()

這將使我們進入異常發生的位置，然后我們可以處理代碼。

查看來源可以點擊這里。

9.自動注釋代碼

ctrl/cmd+/自動將單元格中選定的行注釋掉，再次點擊組合將取消對同一行代碼的注釋。

10.刪除容易恢復難

你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經歷？如果有，那么這里有一個快捷方式可以撤消刪除操作。

如果刪除了單元格的內容，則可以通過按 ctrl/cmd+z 輕松恢復該內容。

如果需要恢復整個已刪除單元格，請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

結論

在本文中，我列出了在使用 Python 和 Jupyter notebook時收集到的主要技巧。我相信它們會對你有用，你會從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧！