2026-01-09

借助 NVIDIA 视觉编程接口库（VPI），您可以更有用地使用 Jetson Thor 的计较机能。

构建自立呆板人需要具有靠得住且低延迟的视觉感知能力，以实此刻动态情况中的深度预计、障碍物辨认、定位与导航。这些功效对于计较机能有较高要求。NVIDIA Jetson平台虽为深度进修提供了强盛的GPU撑持，但跟着AI模子繁杂性的晋升以和对于及时机能的更高需求，GPU可能面对过载危害。若将所有感知使命彻底依靠GPU履行，不仅轻易造成机能瓶颈，还有可能致使功耗上升及散热压力加重，这于功耗受限且散热前提有限的挪动呆板人运用中尤为凸起。

为解决上述挑战，NVIDIA Jetson平台将高机能GPU与专用硬件加快器相联合。Jetson AGX Orin及Jetson Thor等平台均配备专用硬件加快器，专为高效履行图象处置惩罚及计较机视觉使命而设计，从而开释GPU资源，使其可以或许专注在处置惩罚更繁杂的深度进修事情负载。NVIDIA视觉编程接口（VPI）进一步充实激活了差别类型硬件加快器的机能潜力。

于本博客中，咱们将切磋利用这些加快器的上风，并具体先容开发者怎样经由过程VPI充实阐扬Jetson平台的机能潜力。作为示例，咱们将展示怎样应用这些加快器开发一个用在立体视差的低延迟、低功耗的感知运用。起首，咱们将构建单路立体摄像头的事情流，随后扩大最多流事情流，于Thor T5000上撑持8路立体摄像头同时以30 FPS运行，其机能相较Orin AGX 64 GB晋升至10倍。

于最先开发以前，让咱们快速相识Jetson平台提供的各种加快器，它们的上风地点，可以或许撑持哪些运用场景，以和VPI怎样为开发提供助力。

除了了GPU以外，Jetson还有配备了哪些其他加快器？

Jetson装备配备了强盛的GPU，合用在深度进修使命，但跟着AI繁杂性的晋升，对于GPU资源的高效治理变患上愈发主要。Jetson为计较机视觉（CV）事情负载提供了专用的硬件加快引擎。这些引擎与GPU协同事情，于连结矫捷性的同时，显著晋升了计较效率。经由过程VPI，开发者可以更便捷地拜候这些硬件资源，简化试验流程并实现高效的负载分配。

图1：面向Jetson开发者的视觉编程接口（VPI）

下面咱们一一深切相识每一个加快器，以和其用途与上风。

可编程视觉加快器(PVA)：

PVA是一款可编程的数字旌旗灯号处置惩罚（DSP）引擎，配备跨越1024位的单指令大都据（SIMD）单位，以和撑持矫捷直接内存拜候（DMA）的当地内存，专为视觉及图象处置惩罚使命优化，具有精彩的每一瓦机能。它可以或许与CPU、GPU和其他加快器异步运行，除了NVIDIA Jetson Nano外，其他所有Jetson平台均配备该加快器。

经由过程VPI，开发者可以挪用现成的算法，如AprilTag检测、物体追踪，及立体视差预计。对于在需要自界说算法的场景，Jetson开发者此刻还有可以使用PVA SDK，该SDK提供了C/C++ API和相干东西，撑持直接于PVA上开发视觉算法。

光流加快器(OFA)：

OFA是一种固定功效的硬件加快器，用在基在立体摄像头对于的数据，计较光流及立体视差。OFA撑持两种事情模式：于视差模式下，经由过程处置惩罚立体摄像头的摆布校订图象来天生视差图；于光流模式下，则用在估算持续两帧之间的二维运动矢量。

视频及图象合成器(VIC)：

VIC是Jetson装备中的一种专用硬件加快器，具有固定功效，可以或许高效节能地处置惩罚图象缩放、重映照、扭曲、色采空间转换及降噪等基础图象处置惩罚使命。

哪些用例可以从这些加快器中获益？

于某些场景下，开发者可能会思量采用GPU之外的解决方案，以更好地满意特定运用的需求。

GPU资源过载运用:为实现高效运行，开发者应优先将深度进修（DL）事情负载分配给GPU，同时使用VPI将计较机视觉使命卸载至PVA、OFA或者VIC等专用加快器。例如，DeepStream的Multi+ Object Tracker于Orin AGX平台上若仅依靠GPU，可处置惩罚12路视频流；而经由过程引入PVA实现负载平衡后，撑持的视频流数目可晋升至16路。

功耗敏感型运用:于尖兵模式（sentry mode）或者连续监控等场景中，将重要计较使命转移至低功耗加快器（如PVA、OFA、VIC），有助在显著晋升效率。

存于热限定的工业运用:于高温运行情况下，合理分配使命至各种加快器可有用降低GPU负载，削减因过热致使的机能撙节，从而于限制的热预算内维持不变的延迟与吞吐体现。

怎样利用VPI解锁所有加快器

VPI提供了一个同一且矫捷的框架，使开发者可以或许于Jetson模组、事情站或者配备自力GPU的PC等差别平台上无缝拜候加快器。

此刻，咱们来看一个综合应用上述内容的示例。

示例：立体视觉事情流

现代呆板人体系凡是采用被动立体视觉技能实现对于周围情况的三维感知。是以，计较立体视差图成为构建繁杂感知体系的要害环节。本文将先容一个示例流程，帮忙开发者天生立体视差图和其对于应的置信度图。同时，咱们将展示怎样使用VPI提供的各种加快器，构建低延迟、高能效的处置惩罚事情流。

图2：于Jetson多加快器上部署的立体视觉流程示用意。PVA+：可编程视觉阵列；VIC：视频与图象合成器；OFA：光流加快器。

于CPU长进行预处置惩罚：预处置惩罚步调可以于CPU上运行，由于它只发生一次。该步调计较一个校订映照（rectification map），用在改正立体相机帧中的镜头畸变。

于VIC长进行重映照：这一步调利用估计算的校订映照对于相机帧去畸变并对于齐，确保两条光轴程度且平行。VPI撑持多项式与鱼眼畸变模子，并答应开发者界说自界说warp映照。更多细节可参考Remap文档。

于OFA上计较立体视差：校订后的图象对于作为半全局匹配（SGM）算法的输入。于现实运用中，SGM可能会孕育发生噪声或者过错的视差值。经由过程天生置信度图，可以剔除了低置信度的视差预计，从而晋升成果质量。有关SGM算法和其撑持参数的更多信息，请参阅立体视差文档。

于PVA上天生置信度图：VPI提供三种置信度图模式：绝对于值（Absolute）、相对于值（Relative）及推理（Inference）。绝对于值及相对于值模式需要两个OFA通道（左/右视差）并联合PVA的交织查抄机制；而推理模式仅需一个OFA通道，并于PVA上运行一个轻量级CNN（包罗两个卷积层及两个非线性激活层）。跳过置信度计较虽然速率较快，但会孕育发生噪声视差图；比拟之下，采用相对于值或者推理模式可显著晋升视差成果的精度与靠得住性。

VPI的同一内存架构防止了跨引擎的没必要要数据复制，其异步流与事务机制使开发者可以或许提早计划使命负载及同步点。由硬件治理的调理撑持跨引擎并行履行，既开释了CPU资源，又经由过程高效的流式流程设计防止了延迟。

利用VPI构建高机能立体视差事情流

最先利用Python API

本教程先容怎样利用VPI Python API实现基础的立体视差事情流，且无需举行图象重映照。

需要提早预备：

NVIDIA Jetson装备（例如Jetson AGX Thor）

经由过程NVIDIA SDK Manager或者apt安装VPI

Python库：vpi、numpy、Pillow、opencv-python

于本教程中，咱们将：

加载摆布立体图象

转换图象格局以适配处置惩罚需求

同步数据流，确保信息预备就绪

履行立体匹配算法以计较视差

对于输出成果举行后处置惩罚并生存

设置及初始化

第一步是导入所需的库并创立VPIStream对于象。VPIStream充任号令行列步队，可用在提交使命以实现异步履行。为了演示并行处置惩罚，咱们将利用两个流。

import vpiimport numpy as npfrom PIL import Imagefrom argparse import ArgumentParser# Create two streams for parallel processingstreamLeft = vpi.Stream()streamRight = vpi.Stream()

streamLeft用在处置惩罚左边图象，streamRight用在处置惩罚右边图象。

加载及转换图象

VPI的Python API可直接利用NumPy数组。咱们起首经由过程Pillow加载图象，然后使用VPI的asimage函数将其封装为VPI图象对于象。接着，将图象转换为合用在立体匹配算法的格局。于本例中，图象将从RGBA8格局转换为Y8_ER_BL格局（即8位灰度、块线性结构）。

# Load images and wrap them in VPI imagesleft_img = np.asarray(Image.open(args.left))right_img = np.asarray(Image.open(args.right))left = vpi.asimage(left_img)right = vpi.asimage(right_img)# Convert images to Y8_ER_BL format in parallel on different backendsleft = left.convert(vpi.Format.Y8_ER_BL, scale=1, stream=streamLeft, backend=vpi.Backend.VIC)right = right.convert(vpi.Format.Y8_ER_BL, scale=1, stream=streamRight, backend=vpi.Backend.CUDA)

左边图象经由过程streamLeft提交至VIC后端举行处置惩罚，右边图象则经由过程streamRight提交给NVIDIA CUDA后端。这类设计使患上两项操作可以或许于差别的硬件单位上并行履行，充实表现了VPI的焦点上风。

同步并履行立体差异

于履行立体差异计较以前，必需确保两张图象均已经预备就绪。咱们挪用streamLeft.sync()来壅闭主线程，直至左边图象的转换完成。随后，即可向streamRight提交vpi.stereodisp操作。

# Synchronize streamLeft to ensure the left image is readystreamLeft.sync()# Submit the stereo disparity operation on streamRightdisparityS16 = vpi.stereodisp(left, right, backend=vpi.Backend.OFA|vpi.Backend.PVA|vpi.Backend.VIC, stream=streamRight)

立体差异算法于VPI后端（OFA、PVA、VIC）的组合上运行，以充实使用专用硬件，终极天生一张S16格局的差异图，用在暗示两幅图象中对于应像素之间的程度偏移。

后处置惩罚及可视化

对于原始差异图举行后处置惩罚以实现可视化时，将Q10.5定点格局暗示的差异值缩放到0-255规模内并生存。

# Post-process the disparity map # Convert Q10.5 to U8 and scale for visualizationdisparityU8 = disparityS16.convert(vpi.Format.U8, scale=255.0/(32*128), stream=streamRight, backend=vpi.Backend.CUDA)# make accessible in cpudisparityU8 = disparityU8.cpu()#save with pillowd_pil = Image.fromarray(disparityU8)d_pil.save('./disparity.png')

末了一步是将原始数据转换为人类可读的图象，此中灰度值代表深度信息。

利用C++ API的多流差异事情流

进步前辈的呆板人技能依靠在高吞吐量，而VPI经由过程并行多传播输实现了这一需求。依附简便的API与硬件加快器的高效联合，VPI使开发者可以或许构建快速且靠得住的视觉处置惩罚流程——与波士顿动力（Boston Dynamics）新一代呆板人体系的处置惩罚流程相似。

VPI采用VPIStream对于象，这些对于象作为进步前辈先出（FIFO）的号令行列步队，可异阵势向后端提交使命，从而实现差别硬件单位上的并行运算履行（异步流）。

对于在使命要害、寻求极致机能的运用，VPI的C++ API是抱负之选。

如下代码片断源自C++基准测试，用在演示多流立体视差事情流的构建与履行历程。该示例经由过程SimpleMultiStreamBenchmarkC++运用实现：起首预天生合成的NV12_BL格局图象，以消弭运行时天生数据带来的开消；随后并行处置惩罚多个数据流，并丈量每一秒帧数（FPS）以评估吞吐机能。此外，该东西撑持生存输入图象以和差异图及置信度图，便在调试阐发。经由过程预天生数据的方式，本示例可有用模仿高速及时事情负载场景。

资源配置、对于象声明与初始化

咱们起首声明并初始化VPI中履行该流水线所需的全数对于象，包括创立流、输入/输出图象以和立体视觉处置惩罚所需的有用载荷。因为立体算法的输入图象格局为NV12_BL，是以咱们将其与Y8_Er图象类型一同设置为中间格局转换的格局。

int totalIterations = itersPerStream * numStreams;std::vector leftInputs(numStreams), rightInputs(numStreams), confidences(numStreams), leftTmps(numStreams), rightTmps(numStreams);std::vector leftOuts(numStreams), rightOuts(numStreams), disparities(numStreams);std::vector stereoPayloads(numStreams);std::vector streamsLeft(numStreams), streamsRight(numStreams);std::vector events(numStreams);int width = cvImageLeft.cols;int height = cvImageLeft.rows;int vic_pva_ofa = VPI_BACKEND_VIC | VPI_BACKEND_OFA | VPI_BACKEND_PVA;VPIStereoDisparityEstimatorCreationParams stereoPayloadParams;VPIStereoDisparityEstimatorParams stereoParams;CHECK_STATUS(vpiInitStereoDisparityEstimatorCreationParams(&stereoPayloadParams));CHECK_STATUS(vpiInitStereoDisparityEstimatorParams(&stereoParams));stereoPayloadParams.maxDisparity = 128;stereoParams.maxDisparity= 128;stereoParams.confidenceType = VPI_STEREO_CONFIDENCE_RELATIVE;for (int i = 0; i scale to 8-bit and save) CHECK_STATUS( vpiImageLockData(confidences[i], VPI_LOCK_READ, VPI_IMAGE_BUFFER_HOST_PITCH_LINEAR, &confData)); vpiImageDataExportOpenCVMat(confData, &cvConfidence); cvConfidence.convertTo(cvConfidence, CV_8UC1, 255.0 / 65535.0, 0); CHECK_STATUS(vpiImageUnlock(confidences[i])); std::ostringstream fpStreamConf; fpStreamConf rFrame = totalTimeSeconds / totalIterations;double throughputFPS= totalIterations / totalTimeSeconds;std::cout Y8_BL_ER" 立体视差全事情流（相对于模式，分辩率：960 × 600，最年夜差异：128）的帧率（FPS）加快比随流数目变化环境：Orin AGX（64 GB）、Jetson Thor、T5000别离到达12二、122.五、2十二、111.九、54.六、58.九、78.三、299.7。 作为Jetson平台的深度用户，波士顿动力借助视觉编程接口（VPI）来加快其感知体系的处置惩罚流程。

VPI撑持无缝拜候Jetson的专用硬件加快器，提供一系列优化的视觉算法（如AprilTags及SGM立体匹配），以和ORB、Harris Corner、Pyramidal LK等特性检测器，及由OFA加快的光流计较。这些技能组成了波士顿动力感知体系的焦点，可经由过程负载平衡同时支撑原型验证与体系优化。经由过程采用VPI，工程师可以或许快速适配硬件更新，显著缩短从开发到实现价值的周期。

要点总结

Jetson Thor平台以和VPI等库于硬件功效上的前进，使开发者可以或许为边沿端呆板人设计出高效且低延迟的解决方案。

经由过程充实阐扬Jetson平台上各款可用加快器的怪异上风，像波士顿动力如许的呆板人公司可以或许实现高效且可扩大的繁杂视觉处置惩罚，从而鞭策智能自立呆板人于多种实际运用场景中的落地与成长。

关在作者

Chintan Intwala 是 NVIDIA 焦点计较机视觉产物治理团队的成员，专注在构建 AI 赋能的云技能，为各行各业的年夜型计较机视觉开发者提供撑持。于插手 NVIDIA 以前，Chintan 曾经于 Adobe 事情，专注在构建 AI/ML 及 AR/Camera 产物和功效。他拥有麻省理工学院斯隆分校 (MIT Sloan) 的 MBA 学位，并已经得到跨越 25 项美国专利。

Jonas Toelke 是 NVIDIA 焦点计较机视觉团队的一员，带领的团队专注在构建颠末优化的计较机视觉产物，为各行各业的 TegraSoC 提供撑持。插手 NVIDIA 以前，Jonas 曾经就职在 Halliburton，专注在构建 AI/ ML 运用以解决石油物理问题。他拥有慕尼黑理工年夜学工程学博士学位，并已经得到 20 项专利。

Colin Tracey 是 NVIDIA 的高级体系软件工程师。他于 Jetson 及 DRIVE 平台的嵌入式计较机视觉库及 SDK 上事情。

Arjun Verma 是 NVIDIA 的体系软件工程师，也是 NVIDIA 嵌入式装备计较机视觉产物的焦点开发者。Arjun 近来刚从佐治亚理工学院得到呆板进修硕士学位。

原文标题：于 NVIDIA Jetson Thor 上晋升呆板人感知效率

文章来由：【微旌旗灯号：NVIDIA-Enterprise，微信公家号：NVIDIA英伟达企业解决方案】接待添加存眷！文章转载请注明来由。

NVIDIA Jetson AGX Thor Developer Kit开发情况配置指南 NVIDIA Jetson AGX Thor 专为物理 AI 打造，与上一代产物 NVIDIA Jetson AGX Orin 比拟，天生式 发表在 11-08 09:55 •6786次浏览 怎样于NVIDIA Jetson AGX Thor上经由过程Docker高效部署vLLM推理办事 继体系安装与情况配置后，本期咱们将继承带各人深切 NVIDIA Jetson AGX Thor 的开发教程之旅，相识怎样于 Jetson A 发表在 11-13 14:08 •3755次浏览 怎样于NVIDIA Jetson AGX Thor上部署1200亿参数年夜模子 上一期先容了怎样于 NVIDIA Jetson AGX Thor 上利用 Docker 部署 v 发表在 12-26 17:06 •3688次浏览 NVIDIA Jetson的相干资料分享 Jetson概述爆炸式增加的AI模子的繁杂性专为自立呆板开发职员设计的AI计较板加速AI处置惩罚的SDK“JetPack”概述NVIDIA Jetson是 发表在 11-09 08:26 基在 NVIDIA Jetson 利用硬件于环设计呆板人 Hardware-in-the-Loop（硬件于环，HIL）测试是一种强盛的东西，用在验证及核实 包括呆板人技能及计较机视觉于内的 繁杂体系的机能。本文切磋了 HIL 测试是怎样经由过程 NVIDIA 发表在 06-14 18:35 •1718次浏览 NVIDIA Jetson还有能让AI驱动维修呆板人？ 这位边沿 AI 范畴的“绝地武士”利用 NVIDIA Jetson Orin Nano 开发者套件作为呆板人的年夜脑，让这个身高不到四英尺、眼睛只有一个简朴收集摄像头的呆板人可以或许辨认物体 发表在 08-18 15:37 •1528次浏览 利用NVIDIA Jetson打造呆板人导盲犬 Selin Alara Ornek 是一位富有远见的高中生。她利用呆板进修及 NVIDIA Jetson边沿 AI 及呆板人平台，为视障人士打造了机 发表在 11-09 13:51 •1348次浏览 NVIDIA Jetson + Isaac SDK 于人形呆板人范畴的方案详解 NVIDIA Jetson + Isaac SDK 于人形呆板人范畴的 方案详解 ，涵盖芯片型号、软件平台、开发东西链、运用场景与典型客户等。 1、方案概述：Jetson + Isaa 发表在 07-30 16:05 •3240次浏览 NVIDIA Jetson + Isaac SDK 人形呆板人方案周全解析 NVIDIA Jetson + Isaac SDK 人形呆板人方案周全解析 1、方案概述 Jetson 硬件平台 ：提供 AI + GPU 运算能力，共同多传感器、视觉、传动节制系统 发表在 07-30 16:12 •1936次浏览 基在 NVIDIA Blackwell 的 Jetson Thor 现已经发售，加快通用呆板人时代的到来 ·专为物理 AI 及呆板人打造的呆板人计较机 NVIDIA Jetson AGX Thor 开发者套件及量产级模组，现已经发售。 ·跨越 20 发表在 08-26 09:28 •1237次浏览 NVIDIA三台计较机解决方案怎样协同助力呆板人技能 NVIDIA DGX、基在 NVIDIA RTX PRO 办事器的 Omniverse 及 Cosmos，以和 Jetson AGX Thor，正周全加快从人形 发表在 08-27 11:48 •2109次浏览 ADI借助NVIDIA Jetson Thor平台加快人形呆板人研发进程 当前，人形呆板人正慢慢迈向现实运用部署阶段，其落地节拍取决在物理智能与及时推理能力的成长。跟着NVIDIA Jetson Thor平台的正式面市，Analog Devices, Inc 发表在 08-29 14:07 •2788次浏览 奥比中光3D相机矩阵接入NVIDIA Jetson Thor平台 8月28日，奥比中光公布其Gemini 330系列3D深度相机正周全兼容NVIDIA Jetson Thor(物理AI 与呆板人运用最终平台)。将来完成适配后，奥比中光双目视觉相机可将 发表在 08-30 09:42 •2364次浏览 NVIDIA IGX Thor呆板人处置惩罚重视磅发布 IGX Thor 基在 NVIDIA Blackwell 架构，可为工业、呆板人开发及医疗运用提供及时 AI 机能、安全性及靠得住性。 发表在 11-03 14:40 •658次浏览 NVIDIA Jetson系列开发者套件助力打造面向将来的智能呆板人 NVIDIA Jetson AGX Thor、AGX Orin 以和 Jetson Orin Nano Super 开发者套件，助力打造面向将来的智能 发表在 12-13 10:20 •2530次浏览-YABO