LattePanda新单板 可跑35B本地模型

LattePanda发布了Sigma 2,一款定位为「可嵌入AI单板服务器」的x86主板。它不是摆在产品旁边的算力盒子,而是设计成直接焊进机器人、视觉设备或专业仪器内部的算力核心。
核心是一颗英特尔酷睿Ultra X7 358H处理器,16核,最高频率4.8GHz,集成12个Xe核心的Arc B390显卡与独立NPU。三者合计提供最高180 TOPS的INT8算力,其中显卡122 TOPS、NPU 50 TOPS。内存为最高64GB的LPDDR5X-8533,带宽136.5 GB/s,可划出最多59GB作为显存使用。
这个显存容量决定了它能跑什么模型。官方给出的例子是350亿参数级别的量化混合专家模型,配合INT4量化和OpenVINO,可在本地以每秒约30个词元的速度运行Qwen3.6-35B-A3B,并留出长上下文智能体所需的KV缓存空间。
扩展性按服务器规格堆:三个M.2 M-Key插槽、一个E-Key插槽、一路PCIe 4.0 x2的OCuLink、两个雷电4接口,双万兆网口,另有USB 3.2 Gen 2、HDMI 2.1、DisplayPort 2.1与eDP 1.5。板载的RP2350微控制器提供GPIO与实时硬件控制,预装MicroPython固件,方便AI程序直接驱动传感器和执行器。
软件侧支持Windows 11与Ubuntu 24.04 LTS及以上,兼容OpenVINO、llama.cpp和Ollama。出厂时板载固态里已预装Ubuntu、显卡与NPU驱动、OpenVINO模型服务器、OpenClaw以及若干本地模型,省掉部署环节。厂商承诺三年以上的产品生命周期,并提供开机画面与BIOS定制。价格尚未公布。
编译自 TechPowerUp,原标题:"LattePanda Launches LattePanda Sigma 2: The Embeddable AI Single Board Server"