PyTorch 是一種非常流行的深度學習框架，但是它不太適合在嵌入式系統和實時部署上使用，因為它在計算上的速度相對較慢。為了加速 PyTorch 模型的推理，可以使用 NVIDIA 的 TensorRT 庫。TensorRT 旨在優化深度學習模型的推理，并提供了一個 API，可以將訓練好的模型轉換為 TensorRT 可以優化的格式。

本文將介紹如何將 PyTorch 模型轉換為 TensorRT 格式，并使用 C++ 代碼來加載和運行優化的模型。

步驟一：安裝必要的軟件

在開始之前，您需要安裝以下軟件：

• CUDA
• cuDNN
• PyTorch
• TensorRT
• CMake

確保將這些軟件正確安裝并配置。

步驟二：將 PyTorch 模型轉換為 ONNX 格式

首先，需要將 PyTorch 模型轉換為 ONNX 格式。ONNX 是一種開放式神經網絡交換格式，可以使模型在不同框架之間移植。對于本示例，我們將使用 ResNet18 模型演示如何將其轉換為 ONNX 格式。

import torch
import torchvision.models as models

# 加載模型
model = models.resnet18(pretrained=True)
model.eval()

# 創建一個虛擬輸入張量
x = torch.randn(1, 3, 224, 224)

# 將模型轉換為 ONNX 格式
torch.onnx.export(model, x, "resnet18.onnx", opset_version=11)

torch.onnx.export 函數將模型及其輸入張量作為輸入，并將其導出到指定的文件中。在此示例中，我們將該文件命名為 resnet18.onnx。

步驟三：使用 TensorRT 轉換器將 ONNX 模型轉換為 TensorRT 格式

接下來，我們將使用 TensorRT 轉換器將 ONNX 模型轉換為 TensorRT 格式。TensorRT 提供了一個用于轉換 ONNX 模型的 Python API。

import tensorrt as trt
import onnx

# 加載 ONNX 模型
onnx_model = onnx.load("resnet18.onnx")

# 創建 TensorRT 引擎
TRT_LOGGER = trt.Logger(trt.Logger.WARNING)
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, TRT_LOGGER) as parser:
    # 解析 ONNX 模型
    parser.parse(onnx_model.SerializeToString())

    # 配置構建器
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30

    # 構建引擎
    engine = builder.build_cuda_engine(network)
    
    # 保存 TensorRT 引擎
    with open("resnet18.engine", "wb") as f:
        f.write(engine.serialize())

在此示例中，我們首先加載 ONNX 模型，然后創建一個 TensorRT 構建器和網絡。接下來，我們使用 TensorRT 的 ONNX 解析器解析 ONNX 模型。一旦解析完畢，我們就可以使用構建器構建引擎。最后，我們將引擎序列化并保存到磁盤上。

步驟四：使用 C++ 代碼加載和運行優化的模型

現在，我們已經將 PyTorch 模型轉換為 TensorRT 格式并保存了 TensorRT 引擎。接下來，我們需要使用 C++ 代碼加載并運行優化的模型。

以下是加載引擎并運行推理的簡單示例：

#include 
#include 
#include "NvInfer.h"

using namespace nvinfer1;

int main()
{
    // 讀取 TensorRT

引擎 std::ifstream engineFile("resnet18.engine", std::ios::binary); engineFile.seekg(0, engineFile.end); int modelSize = engineFile.tellg(); engineFile.seekg(0, engineFile.beg); std::vector engineData(modelSize); engineFile.read(engineData.data(), modelSize);

// 創建 TensorRT 的執行上下文
IRuntime* runtime = createInferRuntime(gLogger);
ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), modelSize);
IExecutionContext* context = engine->createExecutionContext();

// 創建輸入和輸出張量
const int batchSize = 1;
const int inputChannel = 3;
const int inputHeight = 224;
const int inputWidth = 224;
const int outputClass = 1000;

float inputData[batchSize * inputChannel * inputHeight * inputWidth];
float outputData[batchSize * outputClass];

// 設置輸入數據
// ...

// 執行推理
void* bindings[] = {inputData, outputData};
context->execute(batchSize, bindings);

// 處理輸出數據
// ...

// 清理內存
// ...

}

在此示例中，我們首先讀取之前保存的 TensorRT 引擎。然后，我們使用 TensorRT 的運行時 API 創建一個執行上下文，并從引擎中創建一個 CUDA 引擎對象。

接下來，我們設置輸入和輸出張量，并將輸入數據傳遞給模型。最后，我們使用執行上下文執行推理，并處理輸出數據。

## 總結

在本文中，我們介紹了如何使用 TensorRT 將 PyTorch 模型轉換為優化的 TensorRT 格式，并使用 C++ 代碼加載和運行優化的模型。這種方法可以加速深度學習模型的推理速度，并使它們更適合于嵌入式系統和實時部署。