中国科学院软件研究所提出新型时间序列预测框架显著提升大语言模型预测性能与效率

  据中邦科学院新闻,中邦科学院软件研讨所研讨团队指日提出一种名为“向量注入式上下文进修(LVICL)”的新型框架,旨正在擢升狂言语模子正在时期序列预测使命上的职能。该框架通过革新手法,正在维持模子参数冻结、大幅低落筹划开销的同时,告终了稳固且更优的预测成果,闭连论文已被邦际学术聚会The Web Conference 2026()委任。

  古板上,狂言语模子用于时期序列预测时,因预演练文本与时期序列数据正在漫衍和机闭上存正在分别,常需采用本钱嘹后的全量微调来适当。为征服这一寻事,研讨团队提出了LVICL框架,其主旨是通过引入使命示例的上下文进修,使模子无需更新参数即可抵达犹如微调的成果。该框架闭键包括三个要害方法:

  起首,提取示例的向量显露,并以置换褂讪的手法举办咸集,从而消释上下文进修对示例顺次的敏锐性。

  其次,采用轻量适配器对咸集后的上下文向量举办精辟,逼迫此中可精明扰预测的分量,巩固模子对示例拣选的鲁棒性。

  研讨团队正在众个时期序列预测基准数据集上对LVICL举办了体例评估。试验结果标明,LVICL正在所有冻结狂言语模子参数、明显低落演练开销的条件下,不但稳固复现了上下文进修的收益,还进一步放大了其成果。与现有的轻量微调手法比拟,LVICL正在众种数据集和试验配置下均外示出更强的预测本领,正在效劳与职能的均衡上显示出更好的适用性。