YOLOv8 Tensorrt Python/C++部署教程

B站教学视频

https://www.bilibili.com/video/BV1Pa4y1N7HS

Github仓库地址

https://github.com/Monday-Leo/YOLOv8_Tensorrt

Introduction

基于Tensorrt加速Yolov8，本项目采用ONNX转Tensorrt方案
支持Windows10和Linux
支持Python/C++

YOLOv8_12">YOLOv8

Environment

Tensorrt 8.4.3.
Cuda 11.6 Cudnn 8.4.1
onnx 1.12.0

Quick Start

安装yolov8仓库，并下载官方模型。

pip install ultralytics==8.0.5
pip install onnx==1.12.0
# download offical weights(".pt" file)
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt

使用官方命令导出ONNX模型。

yolo mode=export model=yolov8n.pt format=onnx dynamic=False

使用本仓库v8_transform.py转换官方的ONNX模型，会自动生成yolov8n.transd.onnx。

python v8_transform.py yolov8n.onnx

将生成的onnx模型复制到tensorrt/bin文件夹下，使用官方trtexec转化onnx模型。FP32预测删除--fp16参数即可。

trtexec --onnx=yolov8n.transd.onnx --saveEngine=yolov8n_fp16.trt --fp16

C++

配置Opencv、Tensorrt环境，具体可参考https://github.com/Monday-Leo/Yolov5_Tensorrt_Win10

打开本仓库的CMakeLists.txt，修改Opencv、Tensorrt路径，之后cmake。

#change to your own path
##################################################
set(OpenCV_DIR "E:/opencv/build")  
set(TRT_DIR "E:/TensorRT-8.4.3.1")  
##################################################

将预测图片zidane.jpg和模型yolov8n_fp16.trt放入exe文件夹，直接运行程序，没有做warmup预测，首次预测时间不准，想要精确计时请自行修改代码做warmup。想要修改模型路径和图片路径请修改主程序。

int main() {
	std::string img_path = "zidane.jpg";
	std::string model_path = "yolov8n_fp16.trt";
	single_inference(img_path,model_path);
	return 0;
}

Python

在刚才的C++工程中右键yolov8，点击属性，修改为动态链接库。

将本仓库的python_trt.py复制到dll文件夹下。

设置模型路径，dll路径和想要预测的图片路径，特别注意模型路径需要加b’’

det = Detector(model_path=b"./yolov8n_fp16.trt",dll_path="./yolov8.dll")  # b'' is needed
img = cv2.imread("./zidane.jpg")

Reference

https://github.com/ultralytics/ultralytics

https://github.com/shouxieai/infer