近期在人工智能发展，业界除了持续借由新硬件提升性能、新算法提升效率外，另一项议题就是 AI 也需要从云端转移到终端，而在高通 Snapdragon 技术大会上，也由 Google 、微软与高通的代表 Pete Warden 、Marc Tremblay 与 Gary Brotman 三人畅谈为何 AI 技术需要从云转移到终端。
AI 暂时还不会将所有工作转移到终端
在目前 AI 技术应用，多是由云平台架构与大量的服务器同时进行学习与推理，再透过网络技术传送到终端装置；然而在终端装置性能提升后，现在新一代终端装置的运算核心也具备一定程度的 AI 运算能力，不过以工作划分与需求来说，云平台依旧是最主要的资料搜集以及模型训练的场所，因为唯有云平台才具备充裕的储存与学习所需的算力，然而终端装置则扮演着进行数据搜集与推理的新角色。
终端装置负责推理，一方面除了硬件效能足够以外，也是因为许不少可能的应用会牵涉到即时性以及个人隐私，然而若透过云平台进行推理，就会遇到网络稳定度以及资料上传的情况，然而若在云端平台预先将 AI 模型进行训练，就可将 AI 模型导入终端，使终端能够借此进行推理。
在终端进行建立学习模型，有可能吗？
如果考虑到隐私问题，或许能在终端设备进行模型训练会是最佳的选择，然而在现阶段的学习框架还有些难处，但依照学习的复杂度，也不是毫无可能，如果只是简单的区分单一物体与其它物体，那是有可能的，例如训练手机从家中的爱猫与其它野猫照片中分辨哪些是爱猫照片，这样的模型建立在现在是有机会达到的。
此外，有一项比较前瞻的想法则是将已经训练完的模型拆解，仅针对变动较多或是个人化的部分进行培训，这样一来可降低培训模型所需的硬件资源与时间，且可利用较低的资源达成培训 AI 模型的目的，不过这样的想法目前也还在测试中。
软、硬件双管齐下使终端 AI 得以落实
虽然现在高阶行动运算平台已经具有相当强大的运算力，不过提升基本运算力只是其中一个手段，且还要考虑到功耗，但以现在半导体制程的发展速度，半衰期已经变慢，光是期待终端运算力提升是不够的，也需从框架进行变革。
例如 Google 就针对行动运算平台推出 TensorFlow Lite 框架，精简原本的 TensorFlow 框架，可借由行动装置内的 DSP 甚至 IoT 装置都能执行，此外将浮点运算网络变成 8bit 网络，并缩减网络规模大小缩减，由原本 200MB 缩小到 1MB ，让电力有限的行动装置也能轻松执行。
至于微软现在也在为实现端末 AI 进行实验，他们希望能将 AI 的模型培训做到即时化，牺牲精度的方式提升运算效率，先求有量再求品质，微软现在也积极的测试这样做法的可行性，希望为运算效能有限的终端带来学习能力。
