由于相关的检测需要部署在Jetson Orin Nano,Jetson Orin Nano由于自带TensorRT,而TensorRT的相关部署代码还没有涉及到,现有的代码是使用openvino进行部署的,所以为了方便起见,先安装个OpenVINO,让相关代码能在jetson上跑起来,后续再研究一下tensorRT的使用。
1. jetson orin nano
NVIDIA Jetson Orin Nano是一款基于Ampere架构的GPU开发板,具有1024个NVIDIA CUDA核心和32个Tensor核心。 它提供8GB和4GB两个版本,功耗在7W至15W之间,算力相当于是NVIDIA Jetson Nano的80倍。 它适用于多个并发AI推理管道,可以通过高速接口连接多个传感器,因此可为新时代机器人提供理想的解决方案。 它可以广泛应用于智能机器人开发、智能无人机开发、智能相机开发。
1.1 Ampere架构
Ampere 架构是由 NVIDIA 开发的一种 GPU 架构,主要用于数据中心和高性能计算(HPC)领域。它是 NVIDIA 继 Turing 和 Volta 架构之后推出的第三代架构,旨在提供更高的性能和能效,特别是在深度学习和 AI 训练方面。
2. OpenVINO
OpenVINO工具套件是一款开源工具套件,可以缩短延迟,提高吞吐量,加速AI推理过程,同时保持精度,缩小模型占用空间,优化硬件使用。它简化了计算机视觉、大型语言模型(LLM)和生成式AI等领域的AI开发和深度学习集成。
3. jetson orin nano不能直接使用openvino官网的命令安装的原因
Jetson Orin Nano是基于ARM64架构的设备,而OpenVINO官方提供的安装包主要针对x86架构,所以直接使用OpenVINO官网提供的命令在Jetson Orin Nano上安装时,会遇到不兼容的问题。
所以针对这种情况,选择的方式是在Jetson Orin Nano上面使用源码安装的方式进行安装,下面记录一下相关的步骤。
4. 安装步骤
- 从github网站下载源码:GitHubGitHub - openvinotoolkit/openvino at 2024.6.0
git clone https://github.com/openvinotoolkit/openvino.git # 下载源码
git checkout 2024.6.0 # 切换为2024.6.0版本(因为之前用的是这个版本,为了避免切换版本不必要的麻烦,继续用这个)
git submodule init # 初始化子模块
git submodule update # 更新openvino下面的子模块(就是将openvino涉及到的第三方库下载下来)
2. 接着创建build目标进行编译
cd openvino # 进入openvino的文件夹
mkdir build
- 打开cmake-gui进行相关配置
4.1 缺少scons
安装命令:
安装命令:sudo apt install scons
4.2 没有安装Node.js和npm
解决方案:
- 更新包管理器
sudo apt update
- 安装Node.js和npm
curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash -
sudo apt install -y nodejs
3. 验证是否成功安装
node -v
npm -v
以上就解决了相关问题。
4.3 配置和生成
4.4 编译
configure(配置)和generate(生成)结束之后,进行到build 目录下,进行编译
make -j4 # 使用4个线程进行编译
sudo make install # 如果没有改cmake-gui里面的CMAKE_INSTALL_PREFIX的话,默认的安装路径是/usr/local
编译好了
安装好了