对话后摩智能CEO吴强:未来90%的数据处理可能会在端边
在后摩智能展台,后摩智能M50系列产品首次亮相,后摩智能M50芯片与力谋®BX50计算盒子、力擎LQ50 Duo M.2卡等旗下核心产品一同位于展台的核心位置。
他认为,未来的计算格局有可能是端、边、云的混合体,但是90%的数据处理可能会在端和边,只有10%的训练算到云端做更昂贵或者更复杂的任务在云端做。
图源:观察者网
后摩智能创立于2020年,创立早期定位为基于存算一体技术的大算力AI(人工智能)芯片研发企业。创始人吴强拥有美国普林斯顿大学博士学位,曾任地平线CTO(首席技术官)。
M50芯片被视为后摩智能过去两年交出的一份答卷。
据介绍,M50芯片实现了160TOPS INT8、100TFLOPS bFP16的物理算力,搭配最大48GB内存与153.6 GB/s的超高带宽,典型功耗仅10W,相当于手机快充的功率,能让PC、智能语音设备、机器人等智能移动终端高效运行1.5B到70B参数的本地大模型,实现了“高算力、低功耗、即插即用”。
除了M50芯片,后摩智能此次发布的产品矩阵形成了覆盖端侧到边缘的多元算力方案。力擎LQ50 Duo M.2卡以口香糖大小的标准M.2规格,为AI PC、陪伴机器人等移动终端提供“即插即用”的端侧AI能力。
吴强称,M50芯片的发布是后摩智能现阶段迈出的重要的一步,后面会推出更多的芯片去解决端边大模型的算力和功耗问题以及带宽问题。“长期来说,后摩希望定位在端边AI计算。”
在他看来,M50的发布只是一个开始,“我们的目标是让大模型算力像电力一样随处可得、随取随用。”
图源:观察者网
2024年初,后摩智能把第一代芯片调整了一版,推出了M30,针对大模型做了一些调整和优化。
本次推出的M50产品可广泛应用于消费终端、智能办公、智能工业等多元领域,且均能在离线状态下实现全流程本地处理,从源头杜绝数据联网传输风险。
吴强还披露了当下后摩智能的意向客户,包括联想的下一代AI PC产品、讯飞听见的下一代智能语音设备以及中国移动的全新一代的5G+AI边缘计算设备等。
吴强还提到,机器人包括具身智能机器人(特指陪伴机器人),更像是十年前的智能驾驶,是一个新兴的垂直赛道,格局还未定,“大家还有机会”。
面向未来,后摩智能已启动下一代DRAM-PIM技术研发,通过将计算单元直接嵌入DRAM阵列,使计算与存储的协同更加紧密高效。该技术将突破1TB/s片内带宽,能效较现有水平再提升三倍,推动百亿参数大模型在终端设备实现普及,让更强大的AI算力能够融入PC、平板等日常设备。
本文系观察者网独家稿件,未经授权,不得转载。
1、国家互联网信息办公室发布《国家信息化发展报告(2024年)》,国家信息化发展战略纲要推进行动计划
2、我们能做的是,对于这段历史绝不遗忘、绝不宽恕,我们能做的是,对于这段历史绝不遗忘,绝不宽恕英语
3、东西问丨侯红伟:“寻秦记”如何见证多元一体的秦文化形成?