神经网络引擎 - NNEngine - Neural Network Engine

演示视频：概述、单眼深度估计演示、艺术风格转制演示

教程视频：实现深度估计

文档：链接

只需调用几个蓝图节点，你就能加载并运行最前沿的人工智能。

该插件支持 ONNX（开放神经网络交换），这是一种广泛使用的开源机器学习模型格式。

许多机器学习框架，如PyTorch和TensorFlow，可以导出其模型为ONNX格式。

ONNX Model Zoo 上提供了许多训练好的模型。

性能是我们的首要考虑。

该插件支持运行时的模型优化和在各种硬件上的GPU加速，同时该插件本身也经过优化。

演示项目包含了

• 人类检测
• 人体姿态估计
• 人脸检测
• 面部标志估计
• 眼动追踪

使用单一RGB摄像头。

另外，示例项目包括

• 使用单目RGB相机进行深度估计
• 任意艺术风格的转移

是可用的。

与CUDA和TensorRT一起使用的前提条件

配合CUDA和TensorRT使用，

• 你需要禁用 NNERuntimeORT 插件，该插件自 UE5.5 起默认启用（这是因为该插件和 NNERuntimeORT 使用不同版本的 ONNX 运行时）。

• 你需要安装以下版本的CUDA、cuDNN和TensorRT。

Windows：

cuDNN 和 TensorRT 的版本在 RTX30** 系列及其他版本中有所不同。我们只测试了GTX1080Ti、RTX2070、RTX3060Ti和RTX3070。其他则未被检测。

除RTX30**系列（RTX20**、GTX10**）以外的版本

• CUDA： 11.0.3
• cuDNN：8.0.2（2020年7月24日），适用于CUDA 11.0
• TensorRT： 7.1.3.4 for CUDA 11.0

RTX30**系列版本

• CUDA： 11.0.3
• cuDNN：8.0.5（2020年11月9日），适用于CUDA 11.0
• TensorRT： 7.2.2.3 for CUDA 11.0

Ubuntu：

• CUDA：11.4.2 适用于 Linux x86_64 Ubuntu 18.04
• cuDNN：8.2.4（2021年9月2日），适用于CUDA 11.4，Linux x86_64
• TensorRT：8.2.3.0（8.2 GA 更新2）适用于Linux x86_64，CUDA 11.0-11.5

建议在 TensorRT 中缓存 TensorRT 时添加以下环境变量：

• “ORT_TENSORRT_ENGINE_CACHE_ENABLE”，并将其值设为“1”。
• “ORT_TENSORRT_CACHE_PATH”，并将其值设置为你想保存缓存的任意路径，例如“C：\temp”。