提供永久免费的API接口，查看更多API接口，如果您有其他免费API资源，请联系我们，造福人类。

定制开发，免费评估，免费咨询，价格便宜，售后保障，前往开发服务中心或联系开发客服中心

世界即将被人工智能软件淹没，这些软件可能就在贴在灯柱上的贴纸里。 

所谓的TinyML是一个广泛的运动，旨在编写可在低功耗设备上运行的机器学习形式的人工智能，现在它正在获得自己的一套性能和功耗基准测试

测试MLPerf是MLCommons的创建，MLCommons是一个行业联盟，已经发布了计算机的年度基准评估，用于机器学习的两个部分，即所谓的训练，通过在多个实验中优化设置来构建神经网络；所谓的推理，即完成的神经网络在接收新数据时进行预测

然而，这些基准测试的重点是传统的计算设备，从笔记本电脑到超级计算机。MLPerf微小推断，正如新的考试所称，关注的是智能手机上运行的东西的新前沿，甚至可以像邮票一样薄，完全没有电池的东西

MLPerf微小推理的参考实现测试在ST微电子核上运行四个代表性的机器学习taks会产生多少延迟和消耗多少能量  基于ARM的嵌入式系统微控制器板。 

“这就完成了微瓦到兆瓦的基准频谱，”负责监管MLPerf的行业财团MLCommons的执行董事David Kanter在一次新闻发布会上说。 

另外：人工智能行业的性能基准MLPerf也首次测量了机器学习消耗的能量

这些测试以毫秒为单位测量延迟，以微秒为单位测量功耗，以完成四项具有代表性的机器学习任务，两者中越低越好。这是ML Commons第二次引入能量测量。今年4月，该小组在现有的MLPerf推断测试中引入了一种交流功率测量方法，单位为瓦特

TinyML代表了许多使用移动设备的人都很熟悉的任务，比如激活手机的叫醒词，比如“嘿，谷歌”或“嘿，Siri”。（典狱长笑着对听众说，他和同事们不得不把办公室里的“嘿，谷歌”称为“嘿，G，“为了不让对方的手机不断关机。）

在这种情况下，这四项任务包括关键词识别，但也包括其他三项：所谓的视觉唤醒词，即视野中的物体触发某些活动（比如视频门铃）；广泛应用的CIFAR-10数据集上的图像分类；异常检测，一种可能在工厂里使用的视觉检测系统

基准测试是通过一个参考实现构建的，这四个任务在一个小型嵌入式计算机板上运行，即ST Microelectronics的Nucleo-L4R5ZI，它运行一个ARM Cortex-M4嵌入式处理器。 

ML-Commons认为Nucleo的用途足够广泛，可以代表非常低功率的器件。Nucleo为TinyML运行了Google的软件系统，称为TensorFlow-Lite，在本例中是一个专门为微控制器设计的版本

四组将结果提交给基准：  Syntiant，一个位于加州欧文的人工智能处理器设计师；LatentAI，一家位于加州门罗公园的SRI国际研究所的衍生产品，为AI开发SDK；深圳彭城实验室；和HLS4ML，来自费米实验室、哥伦比亚大学、加州大学圣地亚哥分校和欧洲核子研究中心的研究者的集合。p>

Syntiant在ARM Cortex-M0处理器上运行基准测试，而LatentAI使用带有Broardcom芯片的Raspberry Pi 4系统，hls4ml使用Pynq-Z2开发板上的Xilinx处理器。 

从硬件的角度来看，可能最有趣的是彭城实验室的定制处理器，该处理器由彭城实验室设计，由中国半导体制造国际公司制造。这部分运行开放的RISC-V指令集，加州大学伯克利分校的一个项目，它已经获得越来越多的支持，作为ARM芯片指令的替代品。P> > P>一个正式的描述该基准的论文可在OpenReVIEW.NET上下载，由该组织的两位学术顾问、哈佛大学的Colby Banbury和Vijay Janapa Reddi撰写，以及多个撰稿作者。这篇论文已经提交给了今年人工智能领域最大的学术会议NeurIPS

＞P>基准是在十八个月内由来自CERN、哥伦比亚大学和UC圣地亚哥、谷歌、芯片制造商英飞凌、高通、硅实验室、STMIC、瑞萨、AI启动SAMBANOVA系统和芯片设计软件制造商SyopSyes的代表组成的MLCAMP工作成员的集体输入创建的。在其他中。 

哈佛大学的Reddi说，这一设计既是这些顾问投票的结果，也是从建议中进行选择的过程

“这是由投票决定的，但我们确实想了解消费者或顾客的反馈，”雷迪说。 

“有一个群体共识的因素，也有一个可行性的因素，”Kanter说，意思是说，他处理了在实践中可用于测试的数据集的局限性如果你不是在真实的数据集上进行评估，你就不会得到超有意义的结果。”。他补充说，像CIFAR-10这样的数据集确保了结果的“可比性和公认性”。 

“这是一个门控因素，”坎特在谈到数据集问题时说有很多应用程序，我们希望能够衡量其性能，但是，最终，您可以看看哪些是可用的资源，特别是考虑到这是一个初步的解决方案努力。” 

TinyML基准测试的最大挑战之一是软件堆栈，从硬件指令集到机器学习框架的所有编码层，如Google的TensorFlow Lite，构成了一个比通常在TensorFlow、PyTorch和Nvidia的CUDA软件引擎中为PC机和超级计算机编写的程序更丰富的软件集合

这些测试允许提交的公司使用自己版本的神经网络算法，或者使用与其他公司相同的标准模型，分别称为“开放”或“封闭”基准测试结果

另一个复杂问题是确定确切的功率包络线。”测量基于电池的系统的功率是非常具有挑战性的，”坎特指出。测试套件中使用的嵌入式板系统在受控的测试设置中运行，其中任务的绝对运行时电源被电源监视器“截获”，而电源监视器实际上是提供电源的。 

“我们刚刚切断了整个电池子系统，”嵌入式微处理器基准联盟主席彼得·托雷利说，该组织数十年来一直在测量嵌入式系统的性能，该组织致力于基准的能源部分

另外：边缘机器学习：TinyML正在变得越来越大在现实世界中，各种各样的环境将迎接任何实际在移动电话或工厂设备中运行的设备。谷歌TinyML的开发负责人皮特·沃登（Pete Warden）认为，TinyML的努力应该集中在电池供电、没有墙上插座连接的设备上。 

典狱长建议，更简单的TinyML装置可以使用能量收集，因此它们甚至没有电池，而是通过太阳或附近散发热量的生物或结构提供能量。 

尽管原则上，ML Commons与Warden的观点一致，即许多TinyML设备将仅使用电池供电或能量收集，但基准测试包括可能使用墙壁电源的设备，如Raspberri Pi。在3.5瓦的功率下，Raspberri Pi比最小的嵌入式系统的微瓦要大很多。

鉴于基准测试是多么的新，Kanter说，只有哈佛大学Reddi和Banbury的refernece系统在第一组结果中提供了功率测量；其他四个提交者没有提供能量测量值。

“我们预计在下一轮中会看到相当多的能量测量值，“他通过电子邮件告诉ZDNet。

另外：谷歌人工智能执行官认为，数以万亿计的设备世界摆脱了人类的关怀。

工业人工智能先锋C3.AI与分析新贵雪花的合作伙伴将失去苹果iCloud的使用，你损失的不仅仅是存储，Qrypt的云服务将为更好的加密分配熵，UiPath是一家机器人流程自动化初创公司，通过注册，它在第一季度报告中超过了预期，您同意使用条款，并承认隐私政策中概述的数据实践。

您还将获得免费订阅的ZDNet今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅这些时事通讯。

您同意接收CBS系列公司的更新、提醒和促销活动，包括ZDNet的今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅

2023-03-22 10:04:36