想测试自己电脑的AI性能？不妨试试这个小工具

不得不说，现在的AI实在是太普及了。

远到虽然不知道怎么运行，但一定会用到的天气预报，近到小区门口的人脸识别系统，说人工智能已经遍布生活的每个角落都不过分，甚至包括我们在每年购买电脑、智能手表、智能音箱的时候，也会有“AI性能提升XX%的宣传用语”，但屏幕前的你有没有想过，有没有什么工具可以测试这些设备的AI性能呢？

为了缩小难度，这次我们把目光集中到离日常生活相对较近的手机、电脑和服务器上，事实上由于服务器支撑着整个数字社会的建成，因此业界对其AI性能的基准测试也比较完善，MLperf就是其中的典型代表，这是一个用于机器学习（其实大部分模型是深度学习）的性能测试基准，它由图灵奖得主大卫·帕特森（David Patterson）联合顶尖学术机构发起成立，也是影响力最广的国际AI性能基准评测。MLPerf的测试主要分为两方面，AI训练基准测试以及AI推理基准测试；而手机这边，也有像AIMark这样使用Inception V3、ResNet34、VGG16三个特定算法，通过机器识别图片内容，按照概率高低输出可能的结果列表，通过识别速度来判断手机AI性能，进而给出行测试评分的软件。

MLPerf

那么，普通人日常生活中接触最多的电脑呢？

实际上当你用搜索引擎搜索用语电脑的AI测试软件时，会发现基本没多少可用的搜索结果，基本都是针对手机AI性能的测试工具和benchmark软件，但是功夫不负有心人，笔者最近就找到了一个工具，可以让你简单测试一下自己电脑的推理性能，想学的话，下边的内容一定要仔细阅读哦！

首先要说明的是，这个工具是Principled Technologies开发的AI Benchmark工具AIXPRT，该工具支持Intel OpenVINO、TensorFlow和NVIDIA TensorRT等工具包，可以使用ResNet-50和SSD-MobileNet v1网络运行图像分类和对象检测工作负载，并且可以自定义工作量和测试精度（INT 8，FP16或者FP32）。

当然，要运行AIXPRT，硬件也要满足一定要求，比如系统必须是Windows 10以上或者Ubuntu 18.04 LTS，具体详情可以在Principled Technologies的官网查看。

笔者这里以笔记本上，通过Intel OpenVINO测试CPU INT 8精度的ResNet-50和SSD-MobileNet v1推理性能举例，说明AIXPERT的使用方法（使用TensorFlow和NVIDIA TensorRT工具包的操作步骤可能会稍微有所不同）。

第一步，通过官方网站下载所需要的数据集包，笔者这里建议大家“对症下药”，如果是给笔记本测试就乖乖选择Laptop选项，不然耗费的时间将十分漫长。

全部选择后下载按钮会点亮

第二步，下载完成之后（例如保存到桌面），解压全部文件，之后打开AIXPRT的install文件夹，复制资源管理器中的路径。

复制该路径

第三步，使用管理员权限打开CMD或者Powershell，输入cd /d xxx并回车，此处的xxx即为刚刚复制的路径，之后输入setup_AIXPRT并回车，此时会开始运行install目录下的setup_AIXPRT批处理文件，为你自动安装所需要的软件Python 3.6.5和所需要的依赖项。

一定要使用管理员权限打开

正常情况下，安装成功的界面会如下图所示：

安装成功的截图

如果安装成功，此时就可以关闭CMD了。

这里需要注意的是，如果依赖项总是因为网络问题安装失败，可以自行前往Python官网下载对应的whl文件（一定要认准对应的Python版本号再下载），将其下载到本地之后进行安装。

cp36表示适用于3.6.x版本，win 64字样代表Windows 64位系统

例如笔者在下载opencv_python依赖项时经常报错，因此就自行下载到了AIXPRT目录下。

这里同样需要复制路径和文件名

那如何安装呢，方法也不难，同样是打开CMD，然后输入cd /d xxx并回车，此处的xxx为whl文件的目录，之后输入pip3 install xxxx.whl，此处的xxxx为whl的完整文件名。

成功安装的截图如下图所示：

一定要注意空格

第四步，在成功安装Python和依赖项之后，我们就可以正式运行AIXPRT了，这里我们先使用资源管理器打开AIXPRT文件夹下的Harness文件夹，复制地址。

复制该路径

第五步，管理员权限打开CMD，输入cd /d xxx并回车，此处的xxx即为刚刚复制的路径，之后输入index.py回车，如果依赖项全部安装成功的话，此时的界面会如下图所示

没有报错就等于运行成功

之后静静等待一段时间，AIXPRT会为你生成一个表格，长这个样子：

生成的表格

这份生成的表格主要分这么几个部分：首先是系统信息，这部分会显示你的电脑信息；其次是结果总结，这部分会包含图像识别 (ResNet-50) 和对象检测 (SSD-MobileNet v1) 中的最大吞吐量和最小延迟，显然，吞吐量越高延迟越小，AI性能越高；最后则是测试的详细结果，这部分会包含基准测试所测试的每个AI任务配置的吞吐量和延迟结果。报告会显示AIXPRT多次运行每个AI任务（例如ResNet-50、batch1）并展示平均推理吞吐量和相应的延迟百分位数。

为了直观展示一下不同电脑推理性能的区别，笔者对手头的两台电脑分别跑了一次AIXPRT，并进行了一次横向对比，它们的配置和结果分别如下：

配置图

ResNet-50 INT8推理吞吐量（越高越好）

ResNet-50 INT8推理延迟（越低越好）

SSD-MobileNet-v1 INT8推理吞吐量（越高越好）

SSD-MobileNet-v1 INT8推理延迟（越低越好）

由于该测试主要是针对CPU的，因此基本上可以得出这样一个结论，即Intel Core i5-1135G7的推理吞吐量约为AMD Ryzen 5 PRO 5650的2.7倍，推理延迟则为后者的40%左右，这样的结果并不意外，毕竟Intel近年来在处理器的AI性能上下了不少工夫，11代酷睿中的VNNI、DP4A以及GNA三大AI加速引擎，就为AI性能的提升贡献了不少力量。

那么，屏幕前的你的电脑推理性能如何呢？欢迎在下方评论区讨论。

本文属于原创文章，如若转载，请注明来源：想测试自己电脑的AI性能？不妨试试这个小工具https://smartcity.zol.com.cn/783/7839707.html