近年来，边缘计算伴随着物联网、5G、AI等技术的蓬勃发展，已成为企业部署应用和人机交互的高频场景，越来越多的新业态出现在边缘环境。与此同时，网络边缘的AI能力也愈发受到重视，ABI在一份调研报告中指出，预计到2024年AI推理功能将覆盖近60%的设备。为此，Lattice公布了低功耗、AI/ML解决方案的最新路线图，这些解决方案可以帮助客户端计算设备等网络边缘应用延长电池寿命，带来创新的用户体验。
上述解决方案采用Lattice sensAI解决方案集合构建，在Lattice Nexus FPGA上运行，可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备，这些设备能够现场进行升级，未来会支持更多的AI算法。由于边缘设备对功耗的敏感度和尺寸有比较严格的要求，而小封装和低功耗恰好是Lattice FPGA的特点。“AI技术的快速创新对可编程逻辑器件——FPGA来说是有利的，FPGA可以配合AI技术随时为用户提供最佳体验。新的应用方式需要更快的硬件实现，这就需要硬件和算法上的优化，对于边缘端的部署提出了更大的挑战。”莱迪思半导体亚太区资深市场开拓经理林国松说。
Lattice的网络边缘AI可以做到从1毫瓦到低于1瓦的功耗范围，相比ASIC并不逊色。同时，Lattice还具有预处理、后处理、图像处理、滤波等灵活的计算资源，可以进行性能拓展，并且内嵌了可靠的安全功能。除此之外，硬件可编程的加速和机器算法可以更灵活的实现，在成本和功耗上相较于专用芯片有着不小的优势。
如今，客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。Lattice Nexus FPGA和sensAI解决方案集合是开发计算机视觉和传感器融合应用的平台，可以提升用户的参与和协作，保护用户隐私。例如，客户端设备可以分析摄像头采集的图像数据，确定后方人员是否离用户过于靠近，还可以在用户的注意力转移到别处时模糊屏幕，保护隐私，或是调暗屏幕，延长电池使用时间。
据了解，sensAI解决方案集合的新版本（v4.1）支持Lattice基于AI的应用路线图，提供了客户端计算AI体验参考设计，涉及智能家居、智慧城市、智能工厂、智能汽车等场景，包括：用户检测，用户接近或离开设备时会自动启动或关闭客户端设备；注意力追踪，当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间；面部取景，在视频会议应用中提升视频体验；旁边者检测，检测站在设备后面潜在的窥视者，模糊屏幕以保障数据隐私。这些定制化的设计服务由Lattice利用Caffe、TensorFlow、TensorFlowLite、Keras等框架进行训练后，再通过Lattice的神经网络编译器生成对应的可执行指令，这些指令最终会由Lattice的芯片调取使用。
在硬件优化过程中，AI设计方案会与Lattice Radiant和DIAMOND结合生成FPGA比特流，之后录入训练模型形成类似于CPU的功能，所产生的量化权重和指令更多指向于执行的代码，二者结合后构造出AI体验项目。软件优化方面，Lattice提供了PROPEL软件，以便用户可以对内部结果进行类似C语言代码的控制，而不是使用比较难上手的FPGA开发代码。
Lattice软件优化的设计方法（左侧是AI开发引擎，可以同时进行视觉收取和软核心控制）
sensAI还更新了神经网络编译器，支持Lattice sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro-NX进行了优化。sensAI兼容其他广泛使用的机器学习平台，包括新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。
应用过程中，Lattice会把网络预装到容器中，用户只需将其移植到电脑上即可进行相应的训练和使用。sensAI 4.1在性能和准确度方面的提升有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。新版本的CrossLink-NX在分辨率为224×224×3色RGB的情况下，速度可以达到33fps。在sensAI 4.1新增的CetusPro-NX器件中，容量、算力、功耗都得到了优化，并且配有相应的开发版——声音和视觉机器学习版，以及CNN Plus加速器。
Lattice sensAI提升下一代智能PC使用体验
当前，PC已成为人们工作和生活中接触时间最长的电子工具之一，这也是sensAI重点布局的市场。林国松认为，下一代PC的特性将呈现在三个方面，即智能和感知、强大的协作能力和轻薄的外观设计。对此，sensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测和面部取景功能。其中，用户检测可以辅助判定用户是否在电脑面前，并支持瞬时启动，通过注意力追踪可以延长28%的电池寿命,旁观者检测可以保护隐私数据，面部取景则支持协作式会议。sensAI还支持现场软件更新，从而保持AI算法的演进，可以让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。
使用Lattice sensAI之后的功耗情况
Lattice sensAI会针对灯光、场景、面部、头部穿戴等复杂场景进行压力测试，以确保最优的用户体验。此外，电脑上的各类Lattice器件均支持实时在线和感知，包括瞬时启动、感知用户、声音和手势控制、视频和音频体验，以及用户健康通知等功能。目前，Lattice正在与芯片、软件/操作系统、传感器等领域的AI生态系统伙伴合作，制定Lattice客户端计算AI体验的发展路线图。
sensAI是Lattice解决方案系列中的重要一环，除此之外，Lattice还有一些其他的解决方案，例如安全保护方案Sentry、工业控制方案AutoMate等等。明年上半年，Lattice还会推出针对5G的全新方案。与此同时，Lattice也在加快推出新的器件，预计在明年上半年发布相应的新品。这种快节奏的创新力离不开Lattice对于研发的持续投入。Lattice在美国拥有两个研发中心，分别位于俄勒冈州和硅谷，并且在上海也设立了研发中心，三个研发中心之间可以接力工作实现24小时的不间断创新。
数十年来，低功耗、小尺寸的FPGA始终是Lattice核心竞争力。通过sensAI支持各类网络边缘AI解决方案，客户端设备具备了情境感知能力，让它们知道自身在何时、何地、以何种方式被使用，Nexus FPGA则让这一切以更低的功耗实现。“如何把方案的体验感做得更好，是我们面临的技术挑战，所有应用场景和体验都是不断在优化的。此外，我们也在探索一些场景的延伸。Lattice sensAI真正要落地的场景都是经过多年的持续耕耘，并不是推出一款方案，马上就能立竿见影见到效果。”林国松表示，“我们很高兴的看到，经过多年市场培育之后，客户对Lattice方案的认可度在不断上升，这也让我们有信心在这个方向上继续走下去。”
本文属于原创文章，如若转载，请注明来源：Lattice sensAI赋能网络边缘 助力下一代客户端设备更智能、更低功耗https://smartcity.zol.com.cn/782/7828027.html
