脸书开源服务器端推理函式库FBGEMM，以低精度运算加速机器学习推理
与科学计算中使用的传统线性代数函式库不同，FBGEMM不使用FP32或FP64精度，而是透过降低精度计算以加速深度学习模型。
MLPerf 最新发榜，浪潮 AI 服务器囊括数据中心推理全部冠军
2022年4月7日,全球权威AI基准评测MLPerf™公布最新AI推理(Inference)V2.0榜单,浪潮AI服务器以最高性能获得了数据中心(固定任务)的全部16项冠军。MLPerf™由图灵奖得主
DeepSeek开源推理框架 算力成本再降
DeepSeek10月20日宣布把内部推理框架DeepInfer全面开源，并同步放出生产级Token编解码组件。官方称DeepSeekV4.1Flash的高吞吐服务就跑在这套框架上，兼容英伟达与华为昇
2026-10-20 人工智能 我要分享
AI推理创企收购Moondream 自研编译器提速
据TheInformation报道，AI推理服务商PrimeIntellect将收购开源视觉模型创企Moondream。后者团队不足10人，自研编译器可自动生成巨内核，把GPU上大量独立运算合并为连续
2026-10-13 人工智能 我要分享宁畅：1 度电, 实现百万次 AI 推理计算!
1度电可实现多少次AI推理计算?宁畅的答案是:上百万次!11月4日，2022云栖大会上，宁畅公司首席技术官赵雷介绍，依托"全系统定制液冷服务器方案"，宁畅可让1度电能实现上百万次的AI模型推理计算，让
2022-12-21 资讯 我要分享Nvidia开源高效能推理平台TensorRT函式库元件
TensorRT支援热门的深度学习开发框架，可以最佳化这些框架开发的模型，并部署到嵌入式、自动驾驶或是资料中心平台
AI推理云Modal Labs敲定7.5亿美元新融资
据TechCrunch独家消息，AI推理服务商ModalLabs正敲定约7.5亿美元新融资，估值157.5亿美元——较四个月前暴涨逾两倍。开源模型推理需求爆发，Baseten等同行也在以更高估值洽谈融
2026-09-29 科技 我要分享六大门派，围攻云端 AI 芯片光明顶
AI芯片的战场，明显更热闹了。就在上周五，国际权威人工智能（AI）性能基准测试MLPerf公布了最新的数据中心及边缘场景AI推理榜单结果，无论是参与评选的企业还是实际AI芯片表现，都比往届多了不少看头
2022-12-21 资讯 我要分享
比CPU快24倍 看小米如何依托GPU快速构建AI能力
智东西（公众号：zhidxcom）文 | 司马特近期小米官方宣布，截止到7月底，小米AI助理小爱同学月活跃设备超过3000万台，今年7月小爱同学唤醒超10亿次，累计唤醒...
神州鲲泰 KunTai A722—— 人工智能时代的全场景智算平台
新-代人工智能是引领未来的战略性技术，正在与5G、大数据、物联网等领域深度融合，加速推动智能经济发展和产业数字化转型。新一代人工智能的迅速发展将深刻改变人类社会生活、改变世界。根据IDC的调研结果显示
拿下AI榜双冠背后 华为云ModelArts的性能秘密
就在上周三，斯坦福大学发布了最新的 DAWNBench 榜单，这是全球人工智能领域最权威的竞赛之一。华为云 M...
中国移动统一AI平台在科大讯飞1024开发者节荣获“人工智能十大产品金奖”
10月25日，中国移动统一AI平台在工业和信息化部、安徽省人民政府作为指导单位，安徽省经济和信息化厅、合肥市人民政府主办的以"AI共生˙新征程"为主题的第四届世界声博会暨2021科大讯飞全球1024开
英特尔亮出480GB推理卡 风冷插老机架
英特尔在OCP全球峰会公布GPUD系列推理加速卡：单卡最高480GBLPDDR5X显存，能装下3000亿参数模型，350W标准PCIe风冷设计可直接插进现有服务器机架，容量超过英伟达B300的288G
2026-10-19 科技 我要分享
华为云ModelArts刷新斯坦福深度学习训练及推理…
日前，斯坦福大学发布最新的DAWNBench榜单，华为云ModelArts一站式AI开发平台，获得图像识别训练和...
昆仑芯 AI 加速卡 R100 发布：平均性能提升 2.3 倍，峰值性能达 170TOPS
最新12月28日消息，昆仑芯新品R100于2022智算峰会「智能芯力量」专题论坛上正式发布。昆仑芯AI加速卡R100（简称"昆仑芯R100"）定位于边缘大算力推理，较昆仑芯1代AI加速卡K100平均性
2023-01-06 资讯 我要分享Nvidia释出TensorRT 8强化大型语言模型推理
最新的深度学习推理SDK TensorRT 8，能够加速所有基于Transformer模型的对话人工智能，把推理时间缩短到前一代的一半
