在近日举行的GTC大会上，蔚来AI平台负责人白宇利带来非常有价值的分享，他首次对外透露了蔚来自研的全栈式自动驾驶系统（NAD）的部署和开发情况，同时也将蔚来自动驾驶研发平台（NADP）这个神秘的“Peta Factory”带到了公众视野中。
据了解，NADP是服务于蔚来自动驾驶核心业务方向的研发平台，用于开发NAD功能。以“Peta”为名是因为每辆车每天能生成55 petabit数据（1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits），而NADP是所有流程、工作流、数据以及底层软硬件的组合。NADP能够以一站式平台管理大量复杂的AI应用，并将模型开发效率提高20倍，从而缩短自动驾驶汽车的上市周期，开发出更新、更快的架构。
在模型训练、测试和部署的过程中，为了确保新改进能够切实地解决相应问题，且不会引发任何新问题，NADP需要执行10万项推理任务，包括数据挖掘、仿真和回归测试。经过众多方案的对比和筛选，蔚来选用了NVIDIA Triton推理服务器作为核心组件，构建了NADP的高性能推理服务。
NVIDIA Triton推理服务器是NVIDIA AI平台的一部分，它是一款开源推理服务软件，可助力标准化模型的部署和执行，并在生产环境中提供快速且可扩展的AI。
Triton推理服务器可助力团队在任意基于GPU或CPU的基础设施上部署、运行和扩展任意框架中经过训练的AI模型，进而精简AI推理。同时，AI研究人员和数据科学家可在不影响生产部署的情况下，针对其项目自由选择合适的框架。它还帮助开发者跨云、本地、边缘和嵌入式设备提供高性能推理。
正如白宇利在分享中提到：“我们基于NVIDIA Triton推理服务器构建了高性能推理服务。此服务非常适用于NADP，并可轻松集成模型仓库、工作流、Jupyter、Prometheus和许多其他组件，从而简化AI推理。Triton让编排和扩展变得更轻松，还能将推理速度提高至6倍，并可节省24%的资源。”
蔚来基于NVIDIA Triton搭建的推理服务平台，在数据挖掘业务场景下，通过服务器端模型前处理和多模型DAG式编排，GPU资源平均节省24%；在部分核心pipeline上，吞吐能力提升为原来的5倍，整体时延降低为原来的1/6。
Triton在设计之初，就融入了云原生的设计思路，为后面逐步围绕Triton搭建完整的云原生平台性推理解决方案提供了相当大的便利。
作为NADP推理平台的核心组件，Triton与NADP的各个组件形成了一套完整的推理一站式解决方案。从集成效率、高性能、易用性、高可用四方面，在NADP推理平台中提供助力。
目前，NADP数据挖掘业务下的相关模型预测服务已经全部迁移至Triton推理服务器，为上百个模型提供了高吞吐预测能力。同时在某些任务基础上，通过自实现前处理算子、前后处理服务化、BLS串联模型等手段，将一些模型任务合并起来，极大的提升了处理效率。
NVIDIA Triton推理服务器支持所有主要模型框架（TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python 等），可用于在x86和Arm CPU、NVIDIA GPU 和AWS Inferentia上运行模型。
目前，NVIDIA Triton正在被全世界各行各业数以千计的组织使用，用于解决人工智能推理挑战。包括：阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS) 和Azure Machine Learning 都在使用NVIDIA Triton进行AI推理和模型部署。
本文属于原创文章，如若转载，请注明来源：蔚来NADP + NVIDIA Triton，搭建稳定高效的推理平台https://smartcity.zol.com.cn/803/8038810.html
