派生资本 边缘AI国产新突破，小设备也能“跑”百亿级参数大模型

在数智化转型加速演进的浪潮中派生资本，算力自主可控逐渐成为产业发展的核心命题。记者6月11日从爱簿智能获悉，该团队近期研制出面向边缘场景的E300 AI计算模组并推向市场。

据悉，该成果实现了50TOPS（每秒50万亿次整数运算）的国产算力突破，无需庞大、昂贵的服务器，能将320亿参数（简称“32B”）大模型轻量化地部署在本地（大模型本地部署，通常指将大模型装在本地的设备上，不用联网、不依靠远程服务器），解决了边缘AI场景中算力不足和延迟高的问题，有望加速AI为教育、能源、医疗、金融、交通等数字经济重点行业智能化转型赋能的进程。

所谓边缘AI，通俗理解就是让智能设备在数据产生的地方直接处理信息、做决策，而不是把数据传到遥远的云端计算后再返回结果的AI应用场合。比如说，在自动驾驶、医疗监测、工厂质检、智能家居等各种场景中派生资本，边缘AI就如同给每个终端智能设备装了微型大脑，让其产生的数据无需往返“跑”云端，而是能即时完成智能化处理和决策。

技术人员介绍，E300搭载了自研的国产AI SoC芯片AB100，并通过创新的模块化系统设计，将强大的算力浓缩于不到10厘米见方的模组中，而以往要实现同等算力，模组体积至少要达到其数倍。“小巧的模组意味着可以更容易地部署在各种边缘设备上，比如摄像头、传感器等，这些设备往往空间有限。”上述技术人员说，边缘设备往往还对功耗、散热要求以及成本控制有较高要求，而E300能够较好地解决这些痛点。

据了解，E300支持DeepSeek、Qwen、Llama等主流开源大模型的大模型边缘推理，最高能够将320亿参数的大语言模型部署在本地，并支持上百种视觉模型的推理，通过将数据本地处理与私有化部署来保护数据隐私与系统安全，从而满足工业、能源、水利、气象、政务、教育等关键领域对高安全性、高可靠性AI应用的要求。

记者：孙奇茹派生资本

配先查提示：文章来自网络，不代表本站观点。