TensorFlow Datasets（TFDS）是一個用于下載、管理和預處理機器學習數據集的庫。它提供了易于使用的API，允許用戶從現有集合中選擇并下載各種數據集。然而，在一些情況下，用戶可能需要使用本地數據集進行模型訓練和測試。在本文中，我們將介紹如何使用TFDS加載本地數據集。

為了加載本地數據集，我們需要做以下幾個步驟：

1.準備數據集 2.創建TFDS數據集描述文件 3.使用描述文件加載數據集

準備數據集

首先，我們需要準備我們要使用的數據集。這通常涉及到收集、清洗和組織數據，以便可以輕松地訪問數據。在本例中，我們將使用一個簡單的示例數據集，其中包含數字圖像和相應的標簽。

該數據集的目錄結構類似于以下內容：

data/
    0/
        image1.png
        image2.png
        ...
    1/
        image1.png
        image2.png
        ...
    ...

在上面的目錄結構中，每個數字目錄代表一個唯一的標簽，并包含與該標簽相關聯的所有圖像。

創建TFDS數據集描述文件

接下來，我們需要創建一個TFDS數據集描述文件。該文件告訴TFDS如何讀取和使用我們的本地數據集。描述文件通常是一個Python模塊，其中包含有關數據集的元數據和函數，該函數將數據集加載到內存中。

在描述文件中，我們需要定義以下元數據：

1.名稱：數據集的名稱。 2.版本：數據集的版本號。 3.描述：數據集的簡短描述。 4.特征：數據集的特征（例如，輸入和輸出的形狀、數據類型等）。 5.拆分：數據集應該如何劃分以進行訓練、驗證和測試。 6.下載URL（可選）：如果數據集沒有被打包成一個文件，請提供一個URL以下載數據集。

以下是一個簡單的描述文件示例：

import tensorflow_datasets as tfds import os # Define the metadata for the dataset _DESCRIPTION = 'A dataset containing images of digits.' _VERSION = tfds.core.Version('1.0.0')
_NAME = 'my_dataset' def my_dataset(split): # Define the path to the data directory data_dir = os.path.join(os.getcwd(), 'data') # Define the classes classes = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9'] # Load the data dataset_builder = tfds.builder(_NAME)
    dataset_builder.data_dir = data_dir
    dataset_builder.add_images(
        os.path.join(data_dir, '*/*'), 
        labels=classes,
    ) return dataset_builder.as_dataset(split=split)

在上面的代碼中，我們定義了一個名為my_dataset的函數，該函數將數據集加載到內存中。我們還定義了元數據，包括數據集的名稱、版本和描述，以及數據集的特征和拆分方式。

最后，我們使用tfds.builder()函數創建了一個dataset_builder對象，并使用add_images()方法將圖像添加到數據集中。請注意，此處我們使用了data_dir變量來指定數據集的路徑。如果您的數據集存在其他位置，則需要更改此變量的值以反映正確的路徑。

使用描述文件加載數據集

使用上述描述文件，我們可以通過調用tfds.load()函數來加載本地數據集。這個函數需要傳遞三個參數：數據集名稱、數據集拆分方式和描述文件的路徑或模塊。

以下是一個簡單的例子：

import tensorflow_datasets as tfds # Load the data my_dataset = tfds.load(
    name='my_dataset',
    split='train',
    data_dir='./data',
    download=False,
    with_info=True,
) # Print

在上面的代碼中，我們使用tfds.load()函數來加載名為my_dataset的數據集，使用了train拆分并指定了數據集路徑。此外，我們將with_info參數設置為True以獲取有關數據集的元信息。

一旦數據集被加載到內存中，我們可以像其他TFDS數據集一樣使用它進行訓練或測試。

總結

在本文中，我們介紹了如何使用TFDS加載本地數據集。首先，我們準備了數據集，并創建了一個TFDS數據集描述文件。然后，我們使用tfds.load()函數將數據集加載到內存中，并使用它來訓練或測試模型。雖然這種方法可能需要更多的手動操作，但它允許用戶使用自己的數據集進行機器學習，從而獲得更好的控制和靈活性。

相信讀完上文，你對算法已經有了全面認識。若想進一步探索機器學習的前沿知識，強烈推薦機器學習之半監督學習課程。

學習入口：https://edu.cda.cn/goods/show/3826?targetId=6730&preview=0
涵蓋核心算法，結合多領域實戰案例，還會持續更新，無論是新手入門還是高手進階都很合適。趕緊點擊鏈接開啟學習吧！