APP下载

Descartes Labs使用AWS EC2建置超级电脑TOP500排名41

消息来源:baojiabao.com 作者: 发布时间:2026-02-14

报价宝综合消息Descartes Labs使用AWS EC2建置超级电脑TOP500排名41

地理分析平台Descartes Labs使用AWS EC2云端服务,执行High-Performance LINPACK(HPL)基准,达到每秒接近10 PFLOPS,在2021年6月的TOP500超级电脑排名中进入第41名。这项试验证明了按需取得的虚拟超级电脑,已经可以应付超大规模的密集运算任务,而且能在使用完毕,立刻释出所有运算资源。

Descartes Labs使用HPC和机器学习技术,处理来自全世界的感测器资料,并以接近即时的速度,计算、分析和储存这些资料,提供全球农业、矿业、国防情报和消费市场重要的产业分析报告。

Descartes Labs提到,对全球范围的地理空间分析能力,像是环境监测、恶劣天气追踪和预测,或是多模式资料融合以及气候变化分析等,逐渐变得重要,面对极端气候,他们必须更加频繁地处理像是大范围野火事件。最近Descartes Labs就处理了6 PB的Sentinel-1雷达资料,以追踪大陆森林砍伐、野火发生高风险区域,并且监控再生农业的实践。

这类型高效能运算工作负载,需要用到超级电脑大量的计算能力,而当前要建立超级计算机,必须由-或是财力雄厚的研究机构和企业,投资数千万美元建构而成,这个过程除了需要专业知识外,还需要经多年规划和实践,且一旦超级电脑建构完成,便必须要保持使用率,借由使用者排队轮流使用超级电脑,以确保投资的有效性。

Descartes Labs在2019年的时候,尝试在AWS上建构超级电脑,其首次执行的结果为1.93 PFLOPS,同年6月,他们在C5执行个体丛集上执行,总共使用41,472核心,这次在TOP500列表推进排名到达136名,Descartes Labs提到,透过使用AWS美东US-East 1地区的1组节点,大概花费5,000美元,在不需要等待以及付出建置硬件成本的状况下,快速获取超级电脑的运算资源。

于云端建构虚拟超级电脑的好处,除了不需要投入大量资金,只要在需要的时候配置资源,完成运算后,还能立刻释放资源,用户可以按照需要规划使用的资源,不必为了提高利用率而增加运算工作,而且因为不需要购买硬件,能够随时在新兴技术可用时,租用包括GPU或是机器学习专用硬件等资源。

在今年,Descartes Labs团队决定再进行一次更大规模的测试,他们使用了4,096个EC2执行个体,包括C5、C5d、R5、R5d、M5和M5d,总共使用172,692个核心,实现最高效能9.95 PFLOPS,在TOP500排名进到了41名,从2019年到2021两年间,效能提升了417%,是传统系统的效能提升速度的10倍。结束历时9小时的计算,Descartes Labs在24分钟内关闭丛集,停止所有执行个体运作,展示了按需超级电脑的弹性。

2021-06-30 11:55:00

相关文章