我国科研人员研发出类脑脉冲大模型

  公民财讯9月8日电,记者此日(9月8日)从中邦科学院自愿化商讨所获悉,不日,该商讨所李邦齐、徐波团队与干系单元团结,胜利研发出类脑脉冲大模子“瞬悉1.0”(SpikingBrain-1.0)。

  该模子基于团队原创的“内生丰富性”外面构修,正在邦产GPU平台上结束了全流程磨练与推理,明显晋升了大模子高效管束极长文本或数据序列的作用和速率,涌现了构开邦产自立可控的新型(非Transformer)大模子架构生态的可行性。

  暂时主流的Transformer模子,正在管束超长作品或对话时速率会十分慢且本钱极高,变成了浩瀚的资源花消。能够说,暂时大模子的飞速进展,背后是由浩瀚的资源花消驱动的。所以,亟须进展一条低功耗高作用的新型大模子途径。

  与暂时主流大模子架构(Transformer架构)分歧,“瞬悉1.0”模仿大脑神经元内部任务机制,清爽地涌现了一条陆续晋升模子丰富度和职能的新型可行旅途。该模子仅需约主流模子2%的数据量,就能正在众项讲话体会和推理做事中抵达媲美浩瀚主流模子的职能。