
微信:13728911712
微信:18123927567
邮箱:jenny@usai.org.cn
邮箱:devin.huang@usai.org.cn
地址:深圳市宝安区福永街道怀德社区立新南路宝德工业中心锦城商务大厦2楼2009



ISO/IEC AWI TS 25864 已进入工作组草案(WD)研究阶段。这份技术规范要解决的是人工智能系统在算法异常、网络攻击、环境扰动等风险下的韧性能力,内容指向系统化的测试方法与判定准则。
它瞄准的不是通用模型评测,而是自动驾驶、工业控制这类高风险应用。这些场景的共同点是一旦系统失灵,后果不可逆,所以关心的重点不在平均表现,而在最坏情况下的行为。
可靠性关心的是在规定条件下、规定时间内不出故障的概率。韧性关心的是扰动发生之后,系统还能不能维持核心功能、能不能降级运行、能不能恢复。
可靠性问会不会坏,韧性问坏了以后怎么样。一个系统可以很可靠,遇到未预见的攻击却整体瘫痪;也可以不算可靠,但在局部失效时仍能维持基本功能。两种属性需要不同的评价方法,拿可靠性的手段去证明韧性,方向就错了。
草案把风险归为算法异常、网络攻击、环境扰动三类。三类的注入方式完全不同:算法异常靠构造边界输入与对抗样本;网络攻击靠模拟数据投毒、传感器欺骗这类手段;环境扰动靠改变光照、天气、电磁条件。
分类的意义在于测试用例的构造路径。不清楚自己防的是哪一类扰动,测试就只是跑一遍数据看结果对不对,既得不到可复现的结论,也无法定位缺陷出在哪个环节。
测试方法可以照做,判定准则很难统一。韧性涉及多个维度:性能下降的幅度、降级后保留哪些功能、恢复所需的时间、是否发生不可逆损伤。每个维度的阈值定在哪里,直接决定结论。
对自动驾驶,感知性能下降多少算不可接受;对工业控制,停机多久算超出容忍范围。这些阈值高度依赖应用场景。技术规范能给出的是框架和指标定义,具体数值仍要由行业或监管来填,这一点在标准落地后会长期存在争议。
技术规范还在工作组草案阶段,距离正式发布尚有流程要走,短期内不会成为市场准入条件。但方向已经很明确:对 AI 系统的评价,正在从功能对不对,转向出问题扛不扛得住。
对做高风险 AI 产品的团队,现在就该把韧性当成一项可测试的属性来设计,而不是等标准落地再补文档。测试场景和失效数据的积累需要时间,这部分工作没有捷径,越早开始越省事。