日前,寰宇数字科学院(WDTA)正在结合邦日内瓦总部正式宣布AI STR系列新程序《AI智能体运转安然测试程序》,程序由蚂蚁集团、清华大学、中邦电信牵头,结合普华永道、新加坡南洋理工大学、美邦圣途易斯华盛顿大学等二十余家邦外里机构、企业及高校配合编制,为环球首个单智能体运转安然测试程序。
该程序针对智能体超过“措辞墙”所带来的“行径”危急,初次将输入输出、大模子、RAG、回顾和东西五个合节链途与运转情况对应起来,修建了全链途危急说明框架;同时,细分了智能体危急类型,圆满并改进提出了模子检测、收集通讯说明和东西含糊测试等测试措施,补充了智能体安然测试技能程序的空缺。
程序正在AI for Good环球峰会时候由结合邦社会繁荣咨议所(UNRISD)与寰宇数字科学院(WDTA)结合主办的“数字技能与人工智能社会影响环球研究会”上宣布。
2025年,被称为“智能体元年”。AI智能体依附着深度考虑、自决谋划、做出决议并深度推广的技能,使得AI正在繁荣途径上实行一次范式突变:从“我说AI答”到“我说AI做”,并被逐步行使到种种贸易场景中。
然而,技能打破伴跟着阻挡马虎的安然隐忧。最新调研显示,高出70%的智能体从业者担心AI幻觉与纰谬决议、数据揭露等题目,由于AI天生的内容往往包蕴原形纰谬,或者对指令发作歪曲,个中超对折受访者体现,所正在企业尚未设立显着的智能体安然负担人。
“面临AI联系技能的神速演进,咱们必需重视‘科林格里奇逆境’:一朝新技能深植社会,危急统辖的价格将成倍上升。”WDTA推广理事长李雨航夸大,“AI STR系列程序恰是试图正在这一临界点前创立明了、可推广的安然程序和测评、认证体例,将伦理与仔肩嵌入AI的全人命周期之中,从而确保技能繁荣办事于人类的永恒益处。”
峰会上,蚂蚁集团大模子数据安然总监杨小芳体现,目今AI技能行使加快落地,但单智能体的安然危急缺乏联合的全链途安然测试程序,导致潜正在的等题目难以被量化和规避,单智能体程序的拟定是AI统辖的“最小可行单位”,而众智能体统辖是他日“摩天大楼”的中心机合,下一步行业应从单点渐渐向众智能体统辖生态共筑打破。
与其他邦际程序差别,AI STR不但合心危急识别和危急分级,更供给全流程约束计划,即从数据统辖到模子落地,配套全部测试东西和认证流程,助力企业提拔AI行使的安然性与可托度。
该程序不但供给了一套可行牢靠的智能体安然基准,也为环球AI智能体生态的安然、可托和可不断繁荣扩张了有益的寻求。目前,个别程序的测评与认证已正在金融、医疗等周围落地行使。
此前,WDTA已宣布3项AI STR程序,包含“天生式人工智能行使安然测试程序”“大措辞模子安然测试措施”和“大模子供应链安然恳求”,由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单元的众名专家学者配合列入。