自然語言處理（NLP）是人工智能領域中一個快速發展的分支，它提供了許多技術和方法來對自然語言進行處理。其中，詞嵌入（word embedding）是NLP中最重要的技術之一，因為它允許將自然語言轉換為計算機可以理解和處理的向量表示形式。

BERT（Bidirectional Encoder Representations from Transformers）是一種有監督的預訓練模型，它使用了Transformer架構，并在大型語料庫上進行了訓練，可以用于各種自然語言處理任務，如文本分類、句子配對等。

BERT模型的輸出包含多個層級，其中第一層是輸入層，最后一層是輸出層，而在中間的隱藏層中，每一個單詞都被映射到一個低維度的向量空間中。這些向量就是所謂的BERT詞嵌入。

提取BERT詞嵌入非常簡單，只需要將文本輸入BERT模型中，并獲取相應隱藏層的輸出即可。具體步驟如下：

首先，我們需要安裝相應的Python庫，包括transformers和torch?？梢允褂靡韵旅顏戆惭b這些庫：

!pip install transformers
!pip install torch

接下來，加載BERT模型并設置為評估模式，以保證Dropout和BatchNormalization層不會被激活。我們可以使用以下代碼完成這一步驟：

from transformers import BertTokenizer, BertModel

# 加載BertTokenizer和BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 設置為評估模式
model.eval()

然后，我們需要將文本轉換為BERT可接受的輸入格式。具體來說，我們需要使用BertTokenizer對文本進行分詞，并將結果轉換為BERT的輸入ID和Attention Mask張量。以下是一個示例代碼：

text = "I love natural language processing."
tokens = tokenizer.tokenize(text)
input_ids = torch.tensor([tokenizer.convert_tokens_to_ids(tokens)])
attention_mask = torch.ones_like(input_ids)

最后，我們可以將輸入張量傳遞給BERT模型并獲取相應的隱藏層輸出。具體來說，我們將輸入ID和Attention Mask張量傳遞給BertModel，并獲取相應的所有隱藏層輸出。以下是一個示例代碼：

with torch.no_grad():
  outputs = model(input_ids, attention_mask=attention_mask)

hidden_states = outputs[2]

在此示例中，我們獲取了BERT模型的所有隱藏層輸出，可以根據需要選擇其中任意一層作為詞嵌入。

總之，BERT是一種非常強大的預訓練模型，可以用于各種自然語言處理任務。它的詞嵌入提取非常簡單，只需要將文本輸入BERT模型中，并獲取相應隱藏層的輸出即可。