BenchCouncil释出五项新人工智能和大资料评测标准 成为新竞争焦点

6月27日，在2019年国际智慧计算机大会主论坛上，国际测试委员会（BenchCouncil）联合中国科学院相关研究机构（计算技术研究所、网络中心、高能物理研究所和中国科学院大学）、国家超级计算深圳中心、北京尖峰新锐资讯科技研究院、中国计量科学院、工信部中国软件评测中心、寒武纪、中国开放指令生态(RISC-V)联盟、中科曙光、中科云达、阿里巴巴、西安交通大学、清华大学、北京大学、之江实验室以及以俄亥俄大学为代表的美国著名大学共同释出了五项新的评测标准，具体包括智慧终端(IoT AI)、边缘智慧（Edge AI）、智慧资料中心、智慧超级计算机 HPC AI以及科学大资料评测标准。

与此同时BenchCouncil第一次公布了资料中心和智慧终端（手机）两个效能榜，该效能榜使用BenchCouncil主导研发的BigDataBench测试标准，并在BenchCouncil新技术实验床“泰”上开展基准测试和验证。

据BenchCouncil执行委员会主席詹剑锋博士介绍，为了保证公正和透明，在BenchCouncil成员协议的约束下，所有的单位都可以公开加入标准的制定和实现，BenchCouncil会在BenchHub程式码共享系统上开源测试标准的所有程式码，并定期在官方主页 http://www.benchcouncil.org上公布效能榜榜单。

BenchCouncil新发布五项人工智能和科学大资料评测标准据了解，基准测试是指通过设计科学的测试方法和工具，实现一类目标物件的定量测试和排名。例如，我们常关心的大学排名就属于基准测试的一种。在资讯科技领域，常对核心元件进行测试，例如中央处理器的效能等，可以使使用者清楚地了解每一款CPU的运算效能是否满足应用程序的要求。随着人工智能逐渐渗透到人类社会的每一个角落，人工智能测试标准的制定成为了资讯科技产业新的竞争焦点，并会引导整个产业的健康有序发展。BenchCouncil方面表示，BigDataBench是一个面向资料中心、高效能运算、终端和边缘装置人工智能的测试标准及工具。

在27日的主论坛上，BenchCouncil释出了五项新的测试标准，分别是资料中心人工智能测试标准、HPC AI500测试基准、 IoT AI测试标准、边缘AI测试标准以及科学大资料测试标准。

与此同时，BenchCouncil发起了临床医学人工智能测试标准专案，呼吁相关机构一起参与医学人工智能测试标准的制定和实现，促进人工智能在临床医学的应用。

BenchCouncil释出的五项测试标准

1.资料中心AI测试标准

资料中心AI测试标准提供元件级和应用级的测试标准。元件级测试标准包括影象分类、影象生成、文字翻译、影象文字提取、影象变换、语音识别、人脸识别、目标检测、视讯预测、影象压缩、推荐、三维物体重建、文字摘要生成、空间变换14个人工智能基本问题领域。并在国际上第一次提供了资料中心以及商业人工智能两个重要的应用级测试标准，能以更综合的方式评价智慧芯片、系统及算法。

2.智慧超级计算机 HPC AI500 测试标准

HPC-AI500是国际上第一用真实的人工智能超算应用来评估智慧超级计算机的测试标准集，它基于增量迭代的方法学和真实的智慧科学计算应用场景，覆盖了当前最有代表性的智慧科学计算领域(宇宙学，气候分析，高能物理)。目前，HPC-AI500基准测试集包含3个典型科学资料集，14个负载的不同软件栈实现。

3.IoT 端人工智能测试标准

随着移动装置和物联网的普及和发展，人工智能在移动和嵌入装置的有着广泛的应用前景。本测试标准旨在针对移动或嵌入装置的智慧算力进行基准测试。使用者可以既可以使用套件中应用负载对装置进行完整的效能测试，也可以通过微测试基准来分析和评测效能瓶颈，继而有针对性的进行优化。

4.Edge（边缘）人工智能测试标准

这是国际上第一个针对边缘计算人工智能应用提出的通用测试框架，将边缘计算的任务切分为云端、边缘计算端和使用者端装置三层架构。基于三层架构将选取的边缘计算人工智能应用划分为不同的元件，这些元件分为资料采集、预处理、推断、训练、传输等。该测试标准选取了一些具有代表性的边缘计算人工智能应用场景：ICU病人监护、监控摄像头、智慧家居、自动驾驶等。

5.科学大资料测试标准

结合典型的应用场景，广泛分析了天文学、生命科学、地球科学、高能物理等领域的资料特点和典型负载，构建了可扩充套件和统一的科学大资料测试标准集以及实现BigDataBench-S，具体包括微生物、天文和高能物理领域的资料集、资料生成工具及测试工具。