深信服智能边缘计算平台解决边缘 AI 落地“老三难”

在各行各业，AI 技术正在深入应用到各个场景。比如在电力行业，有 AI 协助"值守"，电力用户可以减少运维人力成本的投入，保障电力基础设施的正常运转。还能通过 AI 技术分析电力场站的视频监控，可以进行实时运检，提高电力场站的运检效率。

深信服智能边缘计算平台在软硬件适配、模型部署、复杂模型运行等方面简化边缘 AI 应用开发的难度，帮助开发者更加高效实现边缘 AI 应用落地。今天来为大家揭晓深信服智能边缘计算平台如何解决边缘 AI 工程化落地的三大难题。

一、软、硬件异构，兼容适配「难」

由于底层 AI 芯片和框架的方案很多，AI 应用的开发者在做软硬协同及适配开发时难度非常高。基于深信服智能边缘计算平台的云边智能协同底座，实现了适配兼容，在模型迁移适配、AI 应用构建部署以及推理性能优化等多个维度，帮助企业开发者实现云边智能高效协同。

深信服智能边缘计算平台内置的边缘推理引擎 Sangfor Runtime，适配主流的深度学习框架、神经网络模型（包含目标检测、目标追踪、图像分类等），通过一套标准接口，帮助开发者快速实现算法面向边缘 AI 芯片的自动适配以及性能调优，为用户提供一站式边缘 AI 推理服务，进一步降低算法在不同边缘 AI 芯片间的迁移成本。

二、场景多样复杂，模型部署「难」

在实施交付现场，不同摄像头接入的视频流存在多类型场景的智能化分析需求，传统点对点的配置效率低下，加大了交付成本。

在 AI 应用构建阶段，深信服智能边缘计算平台通过可视化界面配置，开发者只需要上传 AI 模型文件，平台将实现自动 AI 镜像打包过程，帮助开发者自动构建可用于边缘节点上运行的 AI 应用镜像，大幅节省应用开发时间。基于深信服边缘 AI 技术，用户在研发边缘 AI 应用时，可以降低成本、提高模型性能。

此外，深信服智能边缘计算平台面向交付人员，提供多模型 AI 应用快速部署与模型智能调度的能力。交付人员基于客户的业务场景需求，根据同时运行算法的数量及算法依赖关系，通过可视化界面配置单模型调度、多模型并行调度、多模型串行调度及混合调度，最终满足不同场景下 AI 多模型应用的分发与部署运行，提高实时部署的便捷性。

三、大而全的复杂模型运行「难」

相较于中心云服务器，边缘节点的资源配置有限，难以运行大而全的复杂模型。如果将云端训练好的 AI 算法模型迁移至资源、算力相对有限的边缘节点，算法开发人员需要做大量模型量化、优化以及算子层面的调整工作，过程繁杂，优化效果高度依赖开发者经验。

深信服智能边缘计算平台支持开发者根据业务需求，在云上部署大模型，边缘部署小模型。边缘侧针对样本数据进行难易判别，简单样本在边缘侧由小模型完成推理，难例样本回传至云端由大模型完成推理，并自动实现云边推理结果汇总。这样，用户在边缘侧推理可获得更短的时延以及更高吞吐量，并兼顾了云侧推理的精度。

以上就是本期关于深信服智能边缘计算平台的分享，关注"深信服科技"公众号，可以获取更多技术内容。