10月24日下午，科大讯飞（002230.SZ）股价跳水跌停。截至收盘，报46.7元/股，成交额超53亿元，总市值蒸发约120亿元。
2.成因分析
按照科大讯飞的说法，“毒教材”内容是第三方引入讯飞学习机的。正因为互联网上的内容良莠不齐，而AI公司又不断在互联网上抓取训练数据，无论是内容审查过失，或是被人故意污染，结果都将可能导致大语言模型生成有害内容。
这样的现象，被称为数据投毒（DataPoisoning）。（笔者注：其实从英文原意可以看出，译为“数据中毒”更能体现原意，即凸显“中毒”结果，而非“投毒”这一带有主观的动作，但考虑到约定俗成，本文仍使用“数据投毒”这一说法。）
污水之源：数据投毒是个啥？
1.什么是数据投毒
数据投毒是指有意或恶意地向数据集中引入虚假、恶意或有害的数据，利用训练或者微调（fine-tuning）过程使得模型中毒，以操纵、损害或欺骗机器学习模型的性能和输出结果。这种攻击旨在特定阶段操纵训练数据（本文讨论的数据投毒亦系数据收集和数据预处理阶段），使模型在后续的预测和决策中表现不佳或产生错误的结果。
打个比方，假设有一款高老庄AI模型，专注于生成减肥食谱，这个模型在训练过程中使用了大量的互联网上的食谱和营养信息作为训练数据，这些数据包括了数百种食材、烹饪方法、食品的热量信息等。然后，黑客孙悟空进行了数据投毒，在高老庄模型的训练数据中注入了虚假信息（比如将大量油炸食品标记为低热量），成功混入了模型的训练数据集中。而网友猪八戒想通过高老庄AI模型获得减肥食谱，此时高老庄AI模型因为“被污染”过，生成了不准确的饮食建议，最终导致减肥失败。
2.数据投毒的技术原理
（1）添加虚假数据：攻击者可能向训练数据中添加虚假或不准确的数据，以干扰模型的训练。例如上述“高老庄AI模型”的例子。
（2）数据偏差：攻击者可能故意引入数据偏差，以使模型偏向某些特定类别或结果。例如，在一个图像分类模型中，攻击者可能提供大量特定类型的图像，以使模型在该类别上表现良好，而在其他类别上表现糟糕。
（3）对抗性样本：对抗性样本是一种特殊类型的输入数据，经过微小修改后，可以导致模型产生错误的输出。攻击者可以生成对抗性样本，并将其添加到训练数据中，使模型容易受到攻击。例如，在图像分类中，对抗性样本可能导致模型将一只猫误分类为一只狗。
（4）数据污染：数据污染是指通过向数据中引入噪音或干扰来降低数据质量。攻击者可以故意污染训练数据，使模型在处理干净数据时出现错误。例如，在语音识别模型中，添加噪音到音频数据可能导致模型错误地解释语音。
（5）标签错误：攻击者可以更改或错误地标记训练数据的标签。这可能导致模型学习不正确的关系。例如，在一个疾病诊断模型中，将健康图像标记为患病可能导致模型产生错误的诊断。
毒壤之花：数据投毒有哪些结果影响？
数据投毒的危害有多大，作为普通用户，你或许觉得无足轻重。因为在生成式AI的体验中，即便有一天AI向你推荐“烹饪大熊猫”的减肥食谱，你肯定不会听信，因为那是众所周知的国家保护动物；同样，假如AI生图软件“指鹿为马”，你也能基于生活常识，轻易识别错误。
但是，假如数据投毒发生在以下这些领域，你就不会觉得后果仅仅是“减肥失败”而已了。
在自动驾驶汽车领域，可能导致车辆产生错误的安全驾驶决策，如无法识别障碍物或红绿灯，从而酿成严重的交通事故。
在智慧医疗诊断领域，可能会造成医疗图像分析失误，或者疾病诊断错误，严重危及患者性命。
在国家军事安全领域，可能导致对国家机密信息的入侵或破坏，危及国家安全，甚至诱导自主性武器错误发起攻击，造成灾难性后果。
看来这也有点过于轻而易举了，在数据里掺“一把沙子”，就能坏掉“一大锅好粥”。
法内之地：数据投毒将承担哪些法律责任？
1.刑事责任
非法控制计算机信息系统罪：在数据预处理阶段，如公司内部人员或外包方人员，利用接触训练数据和训练流程之便，故意将中毒数据插入训练集、控制数据标签，甚至直接修改训练数据，企图实现“控制”AI模型生成有害结果，这样的行为可能涉嫌非法控制计算机信息系统罪。
2023年4月，浙江警方破获全国首例“投放木马非法控制计算机信息系统案”，涉案的黑灰产团伙便是在网络平台内利用木马控制程序对企业实施侵害。虽然这一案例与AI训练数据投毒的技术场景不尽相同，但均系破坏性网络攻击行为，均侵害了同一法益——即计算机信息系统的运行安全、计算机信息系统的保密性和控制性。
2.民事责任
（1）侵犯生命健康权：用户在使用AI模型过程中，因其基于对生成虚假信息的信赖，最终造成生命健康上的损害后果，有权基于用户协议约定或《民法典》有关侵权法律规定，向AI模型研发企业提起民事诉讼，要求赔偿损失。
（2）侵犯名誉权：如攻击者向数据中注入虚假信息，如虚假指控、恶意陈述或诽谤性言论，旨在损害某个人或机构的名誉，亦将构成名誉侵权。
3.行政责任
猫鼠游戏：如何有效应对数据投毒的风险？
1.数据验证和数据清洗
2.加强内容审查
一方面在训练阶段，可以学习OpenAI公司，招聘人员来审查并分类处理从互联网上获取的、以及由AI自身生成的有害文本，继续“投喂”给前述的AI安全过滤器学习。
另一方面在生成阶段，与第三方内容审核平台合作，精准防控内容风险。目前，市场上已有一众内容审查平台，可供采购此类服务。
3.构建具有鲁棒性的模型
通过多样化训练数据、特征工程以及异常检测等方式，使AI模型在面对异常情况、干扰、错误或攻击时，依然保持稳定性和正确性。就像一辆“全天候自动适应”的智能汽车，能够在各种不同的道路条件下（不管坦途或坑洼、天晴或雨雪）安全驾驶，也能够处理某些突发小故障（如胎压下降），总之可以适应各种变化条件以及异常情况，保持稳定、安全行驶。
4.完善立法和制定标准
首先，从前述有关法律责任部分的分析，可以得知数据投毒行为，没有明确的法律条文加以规制，因此只能从网络安全、计算机网络犯罪等层面，去实施监管。未来随着“百模大战”走向成熟的发展定局，不难想象AI应用将走进千行百业，数据投毒的现象将日渐增多。鉴于该类行为造成的危害后果不容小觑，法律规定更应该与时俱进，因应技术的发展进行调整和完善，厘清数据投毒的违法界限，制定相应法律后果以增加其违法成本。
5.加强员工网络安全培训
数据投毒方式日渐隐蔽且多样化，而网络安全防范措施也在不断升级，在这场“猫鼠游戏”中，AI企业应重视对员工的网络安全教育，定期开展培训，以帮助员工了解最新的网络威胁和攻击方式。同时制定清晰可执行的网络安全政策，确保员工熟悉公司防范数据投毒的基本措施、如何安全地使用公司设备和网络，以及如何识别潜在的数据投毒威胁。