模型部署

YOLOv5-PTQ量化部署

目录前言一、PTQ量化浅析二、YOLOv5模型训练1. 项目的克隆和必要的环境依赖1.1 项目克隆1.2 项目代码结构整体介绍1.3 环境安装 2. 数据集和预训练权重的准备2.1 数据集2.2 预训练权重准备 3. 训练模型3.1 修改数据配置文件3.2 修改模型配置文件3.3 训练模型3.4 mAP测试三、Y…

TensorRT-Plugin编写

1 TensorRT Plugin 初识实现原生不支持的算子是 Plugin 最基础的能力，当然它还可以做更多事情，比如手动融合 TensorRT 没有自动融合的层或块。总结来说，TensorRT Plugin 的功能主要有以下几点： (1) 实现 TensorRT 原生不支持…

8.1.tensorRT高级(3)封装系列-模型编译过程封装，简化模型编译代码

目录前言1. 模型编译过程封装2. 问答环节总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-模型编译过程封装…

8.3.tensorRT高级(3)封装系列-tensor封装，索引计算，内存标记及自动复制

目录前言1. Tensor封装总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-tensor封装，索引计算&a…

ubuntu系统安装tensorRT-8.6.1版本（2023-8月最新版）

目录前言pip安装可能出现的报错： tar.gz安装前言看了无数教程和b站视频，啊啊啊啊啊啊啊啊啊啊啊tensorRT要我狗命啊。我要写全网tensorRT最全的博客!!! 总体来说成功安装方式有两种，pip安装和tar.gz安装（其实官网安装方式居多…

9.1.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-道路分割分析

目录前言1. 道路分割总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-道路分…

构建交互式数据集展示：Gradio的Dataset模块详解

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

9.3.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-车道线检测

目录前言1. 车道线检测总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-车道…

模型部署之——ONNX模型转RKNN

提示：这里可以添加学习目标提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、加载Docker镜像二、转换脚本一、加载Docker镜像加载rknn官方提供的基于x86架构下模型转换的镜像文件，生成…

解决No version of NDK matched the requested version问题

在Android studio打包APK过程中报错：No version of NDK matched the requested version 21.0.6113669.Versions available locally:20.0.5594570、21.4.7075529、23.1.7779620、24.0.8215888、25.2.9519653、26.1.10909125 安装指定版本的NDK 根据报错提示&#xf…

NCNN 源码学习【二】：模型加载

正文这次先来看一段NCNN应用代码中，最先出现的部分，模型加载 ncnn::Net squeezenet; squeezenet.load_param("squeezenet_v1.1.param"); squeezenet.load_model("squeezenet_v1.1.bin");首先我们可以看到一个 ncnn的类Net&am…

8.5.tensorRT高级(3)封装系列-基于生产者消费者实现的yolov5封装

目录前言1. yolov5封装总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-基于生产者消费者实现的yolov5封装…

ML：场景实战之模型部署、测试的疑难杂症(如Training-Serving Skew等，比如AUC指标线下上涨但线上却下降等问题)的经验总结

ML：场景实战之模型部署、测试的疑难杂症(如Training-Serving Skew等，比如AUC指标线下上涨但线上却下降等问题)的经验总结目录一、Training-Serving Skew(训练-服务偏差)的简介 1、TSS的概述 2、TSS的原因排查

7.5.tensorRT高级(2)-RAII接口模式下的生产者消费者多batch实现

目录前言1. RAII接口模式封装生产者消费者2. 问答环节总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-RAI…

定制你的Blocks UI布局：Gradio的Block Layouts模块介绍

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

基于RV1126平台分类模型全流程部署（附工程）

基于RV1126平台分类模型全流程部署环境安装模型训练ONNX模型转换RKNN模型转换可执行文件上板推理环境安装首先要在虚拟机上安装瑞芯微Rv1126的SDK，重要的是要具有rknn_toolchain 一般在以下路径： sdk/external/rknn-toolkit 按照doc里面的步骤安装即…

paddleLite在Android部署初体验（环境问题）

paddleLite初体验（环境问题） Android Studio下载Paddle Lite Demo打开项目环境配置下载到手机 Paddle Lite是百度开发的一种方便部署的深度学习推理框架，笔者最近想接触一些模型部署相关项目，就先接触了一下Paddle Lite&#xff0…

MMDeploy学习笔记（二）：MMDeploy环境配置

MMDeploy学习笔记（二）：MMDeploy环境配置MMDeploy环境配置安装验证安装成功MMDeploy环境配置首先安装MMCV、MMDetection等基础环境，然后进行MMDeploy的环境配置 MMDeploy是OpenMMLab推出的开源模型部署算法库，旨在为各…

一图看懂TensorFlow2.0系列（十）教你怎么用TensorFlow2.0实现模型的保存与部署

我的开源项目 - 使用OnnxRuntime在CPU端部署RTMPose玩转实时2D姿态估计

1 RTMPose RTMPose论文地址：https://arxiv.org/abs/2303.07399。 RTMPose是一种Top-Down范式的2D姿态估计框架，魔魔魔魔改Simcc，更加轻量化且更加有效，更加具有工业应用特质。 RTMPose的亮点主打的就是工业级别的推理速度和精度…

2023-简单点-什么是protobuf?

protobuf mother: 谷歌作用序列化人话： 存储数据的一种结构优势在？ 类型安全易用性好序列化/反序列性能好兼容性好不仅可以定义结构体，还可以定义rpc服务接口劣势在？ 可读性较差：没有schema的情况下&a…

9.2.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-深度估计

目录前言1. 深度估计总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-深度估…

用Flask搭建简单的web模型部署服务

目录结构如下： 分类模型web部署 classification.py import os import cv2 import numpy as np import onnxruntime from flask import Flask, render_template, request, jsonifyapp Flask(__name__)onnx_session onnxruntime.InferenceSession("mobilen…

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT） 前言量化Post-Training-Quantization（PTQ）Quantization-Aware-Training（QAT） 参…

Could not resolve all dependencies for configuration ‘:app:androidApis‘.

android studio出现Could not resolve all dependencies for configuration ‘:app:androidApis’. 试过很多种方法，但是都不好使，不管怎么样都是提示如下报错： Using insecure protocols with repositories, without explicit opt-in, is un…

基于Torchserve部署SBERT模型＜语义相似度任务＞

文章目录1 获取模型2 安装torchserve3 封装模型和接口3.1 准备模型3.2 准备接口文件3.3 封装4 部署模型4.1 启动torchserve4.2 模型推理4.3 语义相似度推理相关报错及解决办法查询结果404查询结果503查看logs/tmp/models这是一个关于如何使用TorchServe部署预先训练的HuggingFa…

Gradio HTML组件详解

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

YOLOv7-PTQ量化部署

目录前言一、PTQ量化浅析二、YOLOv7模型训练1. 项目的克隆和必要的环境依赖1.1 项目的克隆1.2 项目代码结构整体介绍1.3 环境安装 2. 数据集和预训练权重的准备2.1 数据集2.2 预训练权重准备 3. 训练模型3.1 修改模型配置文件3.2 修改数据配置文件3.3 训练模型3.4 mAP测试三、…

【模型部署】TensorRT的安装与使用

文章目录1.TensorRT的安装1.1 cuda/cudnn以及虚拟环境的创建1.2 根据cuda版本安装相对应版本的tensorRT2. TensorRT的使用2.1 直接构建2.2 使用 Python API 构建2.3 使用 C API 构建2.4 IR 转换模型2.4.1 使用 Python API 转换2.4.2 使用 C API 转换2.5 模型推理2.5.1 使用 Pyt…

2023-简单点-什么是onnx?

onnx open neural network exchange 开放神经网络交换 mother: 微软和fb 是一种模型的开放格式，跨平台兼容格式优势在？ 跨平台呀不要再考虑 x86啊，arch64 等不同cpu架构劣势？ 听说老改动； 资料比较乱&#x…

Gradio库的Gallery模块介绍与select方法详解

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

【yolov8部署实战】VS2019环境下使用Onnxruntime环境部署yolov8目标检测|含源码

一、前言部署yolo项目，是我这几个月以来做的事情，最近打算把这几个月试过的方法，踩过的坑，以博客的形式，分享一下。关于下面动态中讲到的如何用opencv部署，我在上一篇博客中已经详细讲到了：【…

『模型部署』神经网络模型部署[运行时|指令执行|处理器架构|TensorRT]

『模型部署』神经网络模型部署[运行时|指令执行|处理器架构|TensorRT] 文章目录一. 神经网络部署1.1. 程序语言运行时(Runtime)1.2. C++运行时(Runtime) 与 C++ 标准1.3. 神经网络运行时(Runtime)1.4. 神经网络表示1.5. 神经网络部署&例子二. TensorRT教程2.1. 前置条件-计…

AIoT人工智能物联网----刷机、系统安装、示例、摄像头等

软件链接见文末 1. jetson nano硬件介绍载板模组卡座:放置核心板 micro SD卡接口：插SD卡，将操作系统写入SD卡，然后插入；建议至少为32GB。当然根据使用情况可以是64GB；卡的质量一定要好，读写速度快。之前买了同品牌128G的比64G的慢很多。所以大小合适就好M.2 Key E …

掌握Gradio的Audio模块：实时交互与多功能展示

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

Gradio Blocks：queue、integrate和load方法介绍

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

7.2.tensorRT高级(2)-学习深度学习中涉及的线程知识

目录前言1. 多线程2. 问答环节2.1 线程启动相关问题2.2 线程启动函数参数相关问题总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次…

《美团机器学习实践》读后感和一点思考

前言：最近拜读了美团算法团队出品的《美团机器学习实践》，这本书写于2018年，一个大模型还没有标配的时代。这本书侧重于工业界的实践，能清楚地让我们了解到工业界和学术界对机器学习的关注方向上的差异，值得一读。因为…

NCNN 源码学习【三】：数据处理

一、Topic：数据处理这次我们来一段NCNN应用代码中，除了推理外最重要的一部分代码，数据处理： ncnn::Mat in ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_v…

使用Gradio创建交互式复选框组件

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

探索Gradio库中的Image模块及其强大功能

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

用通俗易懂的方式讲解：使用 LangChain 和 LlamaIndex 从零构建PDF聊天机器人

随着大型语言模型（LLM）（如ChatGPT和GPT-4）的兴起，现在比以往任何时候都更容易搭建智能聊天机器人，并且可以堆积如山的文档，为你的输入提供更准确的响应。无论你是想构建个人助理、定制聊天机器…

8.2.tensorRT高级(3)封装系列-内存管理的封装，内存的复用

目录前言1. 内存管理封装2. 补充知识总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-内存管理的封装&…

探索Gradio的CheckboxGroup模块：交互式多选框组件

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

LLM相关的一些调研

Prompt Engine 可以参考该项目，该项目提供关于提示词书写的规则。由openai以及吴恩达完成。 https://github.com/datawhalechina/prompt-engineering-for-developers由于目前chatgpt 无法直接在国内访问，推荐在claude on slack上尝试。关于claude api h…

KuiperInfer深度学习推理框架-源码阅读和二次开发(1)：算子开发流程之算子注册

前言：KuiperInfer是一个从零实现一个高性能的深度学习推理库，中文教程已经非常完善了。本系列博客主要是自己学习的一点笔记和二次开发的教程，欢迎更多的AI推理爱好者一起来玩。这篇写一下算子开发流程，重点是算子注册机制和背后的…

八. 实战：CUDA-BEVFusion部署分析-环境搭建

目录前言0. 简述1. CUDA-BEVFusion浅析2. CUDA-BEVFusion环境配置2.1 简述2.2 源码下载2.3 模型数据下载2.4 基础软件安装2.5 protobuf安装2.5.1 apt 方式安装2.5.2 源码方式安装 2.6 编译运行2.6.1 配置 environment.sh2.6.2 利用TensorRT构建模型2.6.3 编译运行程序 2.7 拓展…

构建交互式数据框架：使用Gradio的Dataframe模块

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）

YOLOv5改进点 2022.10.30 复现TPH-YOLOv5 2022.10.31 完成替换backbone为Ghostnet 2022.11.02 完成替换backbone为Shufflenetv2 2022.11.05 完成替换backbone为Mobilenetv3Small 2022.11.10 完成EagleEye对YOLOv5系列剪枝支持 2022.11.14 完成MQBench对YOLOv5系列量化支持…

gradio库中的Dropdown模块：创建交互式下拉菜单

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…

人工智能模型转ONNX 连接摄像头使用ONNX格式的模型进行推理

部署之后模型的运算基本上能快5倍。本地部署之后，联网都不需要，数据和隐私不像在网上那样容易泄露了。模型部署的通用流程各大厂商都有自己的推理工具。训练的归训练，部署的归部署，人工智能也分训练端和部署端，每一…

基于RV1126平台检测模型全流程部署（附工程）

基于RV1126平台检测模型全流程部署模型训练ONNX导出ONNX模型简化Python部署C部署本工程地址：https://github.com/liuyuan000/Rv1126_YOLOv5-Lite 模型训练这次选用的是方便部署的YOLOv5 Lite模型，是一种更轻更快易于部署的YOLOv5，主要摘…