APP下载

AI独角兽 进化乃发生:2019第四正规化释出会 一体化AI解决方案

消息来源:baojiabao.com 作者: 发布时间:2024-05-18

报价宝综合消息AI独角兽 进化乃发生:2019第四正规化释出会 一体化AI解决方案

如今,所有的AI独角兽均在深入应用场景,抓紧技术落地,加速进化。第四正规化也是进化队伍中的一个。在过去4年,第四正规化助力7617个客户的12648个场景。但是,因为人工智能算法在产业链中的位置太单薄,向下垂直发展平台和算力是必然选择。

2019年6月20日,第四正规化释出了企业AI转型的“1+N”战略方法和企业级AI 软硬一体整合系统——SageOne。第四正规化CEO戴文渊也总结了在AI赛道摸爬滚打中获得的方法论:“1+N”战略方法帮助企业进行转型。“1”是指利用AI达到极致效果,在自己的核心业务上建立绝对优势;“N”是借力科技创新带来的基础设施成本的降低,规模化的落地于更多业务场景。

此前,第四正规化一直以自动机器学习技术(AutoML)出众。该关键技术在降低AI技术门槛,普及AI技术方面一直处于领先地位。公司也曾介绍,第四正规化对自动机器学习技术的探索领先Google三年。今天,第四正规化也找到了自己的“路径”。

《亲爱的资料》认为:第四正规化一体机包括底层软硬件加速,分散式框架, AI训练引擎,以及AI开发管理工具。大白话就是一体化解决方案大礼包,详细说就是:

企业级 AI 软硬一体整合系统——SageOne,是一个全新的企业级产品物种,摒弃了传统算力堆砌硬件的方式,而采用由软件定义的专用AI系统架构,更好的理解AI 算法的运算架构与逻辑,更深层次软硬件一体化的优化和加速,全面满足企业AI应用的算力需求。

SageOne内建第四正规化领先的自研AI训练引擎、AI推理引擎和AI特征储存引擎三大核心引擎, 通过业界领先的“软件定义计算”软硬一体技术构建了闭环企业AI系统,贯通硬件基础设施、AI核心引擎、AI平台和AI业务应用的全价值链条,全面支撑企业AI"1+N "业务场景应用需求。

以第四正规化高维算法为基础,SageOne搭载第四范自主研发的硬件加速卡——4Paradigm ATX800,内建模型训练和特征工程等多种加速能力,支援自动优化训练超引数、高位特征计算过程I/O加速和高维GBDT训练加速等应用,在企业应用场景中表现出高达10倍的训练效能。

第四正规化为分散式计算重新定义了网络框架,资料同步基本无延时。SageOne内建第四正规化自主研发的高维、分散式网络通讯协议Swift,整合pPRC自研网络通讯框架、零拷贝资料交换协议等AI领先通讯技术,结合基于CLX-AP架构的引数服务器丛集,展现出业界顶级机器学习效能表现。SageOne在高维特征计算过程I/O最大10X加速,高维稀疏场景模型训练比GPU提速5X以上,自研pRPC通讯框架比百度bRPC和GooglegRPC提速3-10X。

内建行业领先的自研实时特征计算引擎和模型预估引擎,SageOne为企业AI应用提供特征处理过程免开发上线、线下线上一致性保证、一键生成预估服务、异构模型统一服务等AI核心应用服务,结合非易失性储存的无限快取和超低延迟内存储存等硬件技术,确保企业AI应用时具备量时序特征计算和万亿维模型实时推理能力的同时,提供百万级并发实时请求支援和99.9%请求毫秒级响应的高并发业务极速响应服务。

以下为释出会技术干货:

软件定义计算 三大AI核心引擎全面释放AI算力

面对企业AI应用需求,传统算力存在的先天缺陷暴露无遗,解决算力问题成为企业AI转型的关键。“软件定义算力”已经成为行业发展的共识和趋势。第四正规化SageOne借助自研AI训练引擎、AI推理引擎和AI特征储存引擎三大引擎的领先技术,针对硬件中的芯片、储存、网络等元件进行了重新定义,根据企业AI应用的实际情况进行了专用计算架构、资源管理和排程等进行深度优化和加速,为企业 “1+N”AI应用提供充沛算力。

1)AI训练引擎——全面加速高维机器学习过程

以自研高维机器学习分散式框架GDBT和高维算法为基础,第四范自主研发的硬件加速卡——4Paradigm ATX800,采用20nm制程,算力达到1.5TFLOPS,内建FlashGBM加速系统,充分用内存和快取内存带宽,支援自动优化训练超引数、高位特征计算过程I/O加速和高维GBDT训练加速等功能,在企业应用场景中表现出多达10倍的训练效能。

此外,第四正规化和英特尔联合实验室一直探索最佳优化技术,并针对最新Cascade Lake-AP处理器的全新AVX512指令集、多核心及主频利用率和CLX AP微架构IO总线的利用率进行全面优化。

SageOne内建第四正规化自主研发的高维、分散式网络通讯协议Swift,整合P-PRC自研网络通讯框架、零拷贝资料交换协议等AI领先通讯技术,结合基于CLX-AP架构的引数服务器丛集,展现出业界顶级机器学习效能表现。SageOne在高维特征计算过程I/O最大10X加速,高维稀疏场景模型训练比GPU提速5X以上,自研pRPC通讯框架比百度bRPC和GooglegRPC提速3-10X。

2)AI推理引擎——实现极速实时AI推理能力

SageOne内建行业领先的自研实时特征计算引擎和模型预估引擎,为企业AI应用提供特征处理过程免开发上线、线下线上一致性保证、一键生成预估服务、异构模型统一服务等AI核心应用服务,结合非易失性储存的无限快取和超低延迟内存储存等硬件技术,确保企业AI应用时具备量时序特征计算和万亿维模型实时推理能力的同时,提供百万级并发实时请求支援和99.9%请求毫秒级响应的高并发业务极速响应服务。

3)AI特征储存引擎——打造超低延时线上AI资料治理

面向AI的资料治理是企业AI规模化落地的基础,针对企业中多源异构资料对接、离线线上资料一致性管理、回流资料自动标准及许可权、审计等众多治理需求,SageOne借由自研内存时序数据库引擎的优势,具备毫秒级海量时序特征供给效能,并通过融合InfiniCache无限快取等技术,实现自动切换储存介质优化TCO和 RAFT一致性灾备与恢复等高效能企业级标准。SageOne利用超低延迟资料访问界面、超高资料吞吐传输通道和水平扩充套件动态扩容服务等突出能力,为企业AI应用构建了超低延迟线上资料治理能力。

“1”-高维算法+实时推理决策 提升企业核心业务的极致效果

企业核心场景的AI应用,每一个百分点的效果提升,对企业都至关重要。第四正规化SageOne软硬一体整合系统具备高维、实时领先优势,更大限度助力企业释放核心业务潜能,让AI 应用紧随业务发展需求。

1)高维算法+海量资料

第四正规化自主研发的高维机器学习算法,面对企业海量多源异构的资料场景,特征维度呈现指数级提升,同时带来模型的预测效果成倍提升,达到更精准的业务价值触达和业务收益。在金融、互联网和医疗行业AI应用中,高维为行业的核心业务效果提升50%——574%。

2)实时AI推理决策

SageOne通过毫秒级资料响应和百万级吞吐量实时提升核心业务成效,让原本只能出现于“事后”的统计分析,转变成为 “事中”实时业务决策AI应用。在企业核心场景的海量实时业务决策中,15个SageOne推理引擎节点都够支撑20亿维特征模型实时2万次并发请求,其中99.9%请求在100ms内响应,大幅提升实时决策在核心业务场景中的关键价值。

“N”—提升AI应用生产效率 打造企业AI规模化落地能力

面对众多的AI应用场景落地需求,很多企业都面临着“全面AI改造”困局,此时规模化落地能力成为企业智慧化转型的关键。借助第四正规化统一的方法论和SageOne强大的AI资料治理和充沛算力,企业可以快速完成AI 应用创新与规模化落地,快速赋能成百上千个业务应用。

1)统一方法论

第四正规化以“库伯学习圈”理论为基础建立了闭环AI应用方法论,通过SageOne将AI应用构建简化为“行为资料采集、反馈资料采集、模型训练、模型应用”四个标准步骤,并借助第四正规化领先的AutoML技术构建规模化的AI生产流水线,将AI应用上线平均周期从30人月降低至数十人天,大幅度节省了人力时间成本。

2)面向AI的资料治理

目前企业AI应用开发周期中资料准备占据了60%人天成本,要实现企业AI规模化高效落地需要建立一套完整的AI的资料治理系统。SageOne不仅具备能够存取 PB 级甚至更大量的日志的实时高效能储存能力,同时解决了企业资料采集访问双实时、全量原始资料 、线上线下一致性及利用回流资料自动标注等AI资料治理能力难题,突破制约AI规模化落地的资料瓶颈。

3)AutoML

AutoML是帮助企业AI走向规模化生产流水线的关键性技术。SageOne内建第四正规化自研的领先AutoML算法,覆盖企业AI应用从资料准备、自动资料标注、自动模型选择、模型一键上线、模型迭代自学习等端到端的全栈流程,助力企业实现低门槛、高效率、大规模构建AI应用。

现场第四正规化还展示了全面国产化的AI软硬一体机——领航,产品内建国产化的CPU、BIOS、网络卡和操作系统等软硬元件,融合第四正规化独有企业级先知Sage平台中自研高维机器学习框架、AutoML和实时自学习等突出优势,提供不逊于市场其他主流软硬一体机的算力表现,保障企业更安全、可靠的算力应用。

第四正规化首席架构师胡时伟介绍:“软件定义计算”软硬一体技术构建了闭环企业AI系统,贯通硬件基础设施、AI核心引擎、AI平台和AI业务应用的全价值链条,全面支撑企业AI"1+N "业务场景应用需求。SageOne软硬一体整合系统具备低门槛、低TCO、高效能、高效率和规模化应用等特点,助力各行业企业解决“1”核心应用的极致业务效果和“N”规模化应用落地效率的难题。”

胡时伟表示:传统算力和AI应用负载之间存在天然的鸿沟,传统算力只是解决在计算、访存、I/O带宽的区域性密集问题,而AI应用负载则需要解决全部密集的问题。发展企业级AI专用算力已经成为行业的普遍共识和大势所趋。

(完)

亲爱的资料

出品:谭婧

美编:黄楠

2019-11-10 09:53:00

相关文章