大模型安全风险

1、大模型数据分类

大模型的数据贯穿于模型的数据准备、模型训练、模型验证评估、模型部署应用和模型服务退出的全生命周期，这些数据构成了大模型的“生命线”。为了保障这条“生命线”的安全，我们梳理各个阶段涉及的数据，明确其性质和用途，分析其敏感性和重要性，以帮助识别大模型潜在的安全风险。

（1） 数据准备阶段

数据准备是大模型训练的关键基础环节，涉及数据的采集、存储、传输以及预处理等流程。采集到的原始数据需经过清洗、标注、分词、标记化等一系列处理步骤，然后被划分为训练数据、验证数据和测试数据，分别用于模型训练和评估验证。 在此阶段，必须确保原始数据的合规性，保障数据在存储和传输过程中的机密性与完整性，并确保处理后的数据与原始数据保持一致，从而确保数据质量，为后续模型训练和优化提供可靠支撑。

（2） 模型训练阶段

在模型训练阶段，其核心任务是利用海量数据和复杂算法，使模型能够学习并掌握数据中的内在规律与特征。在此过程中，会产生诸多关键数据，例如模型参数、权重、梯度、模型超参数以及微调训练数据等。这些数据直接关系到模型的可靠性和稳定性，因此必须确保其机密性和完整性，从而保障模型训练的安全可靠。

（3） 模型评估验证阶段

在评估验证阶段，通过运用验证数据和测试数据，对模型的性能、安全性和可靠性进行全面检测。在此过程中，会生成一系列关键数据，包括模型预测结果、评估指标、损失值、误差分析、对抗样本以及模型输出分布等。这些数据直接反映了模型的性能和鲁棒性，因此必须确保其机密性和完整性，防止数据泄露或被篡改，以保障模型评估的准确性和可信度。

（4） 模型部署应用阶段

在完成模型训练后，需将模型部署至实际运行环境，以接收用户请求、处理输入数据并生成预测结果。此阶段涉及的数据主要包括用户输入数据、用户交互数据、推理中间数据以及模型推理结果等。由于这一阶段涉及大量用户交互数据，因此必须确保数据的合规性、隐私性和完整性，以保障用户体验和数据安全。

（5） 大模型服务退出阶段

当大模型服务停止运行时，会产生服务终止与资源释放的记录、审计与恢复操作的相关数据，以及用户通知与数据迁移支持的信息。这些数据对于确保服务安全终止、资源高效回收以及支持后续的审计和恢复操作至关重要。需确保这些数据的机密性、完整性和可用性。在模型服务退出阶段，还必须确保训练数据、模型参数、用户交互记录等敏感信息得到妥善处理，防止数据泄露或被滥用，保障用户隐私和数据安全。

在大模型全生命周期中，除了以上数据，还包含各类日志数据，如训练日志、优化日志、应用日志、安全审计日志和维护日志等。

2、大模型数据安全风险

数据是大模型的“燃料”，在赋予模型强大能力的同时，也因其关键价值而成为攻击的首要目标。

（1）数据泄露风险

数据泄露是指在未经用户或数据所有者明确授权的情况下，敏感信息、个人隐私数据或其他重要数据被非法访问、获取、使用或传播，从而导致数据被暴露。在大模型的训练和推理过程中，由于涉及的数据量庞大，难以对所有数据实现全盘全程加密，这使得数据在存储或传输过程中容易面临泄露风险。

（2）数据篡改风险

数据篡改是指未经授权的主体对数据进行有意或无意的修改、删除、插入或替换，这种行为会破坏数据的原始完整性和真实性。数据篡改可能发生在数据生命周期的任何阶段。例如，在模型数据采集阶段，攻击者可能通过伪造数据源或篡改数据采集设备，向模型训练数据集中注入虚假或错误数据，从而影响模型的准确性和可靠性。

（3）数据窃取风险

在大规模生成式模型的训练和应用过程中，数据窃取攻击是一个严重的安全威胁。由于这些模型通常在海量数据上进行训练，模型可能会“记忆”部分训练数据的特征和内容。攻击者可以利用这一特性，通过特定的攻击策略从模型内部窃取训练数据，从而严重威胁模型的数据安全。

（4）数据滥用风险

大模型面临的数据滥用风险是多方面的，涉及未经授权的商业使用、生成虚假信息、侵犯知识产权、隐私侵犯等等。这些风险不仅对个人和企业的合法权益构成威胁，还可能引发一系列法律、社会和伦理问题。

（5）数据合规风险

大模型数据来源广泛，类型复杂，面临着多方面的数据合规风险。首先，采集数据可能未获得合法授权，涉及个人隐私或版权保护问题。其次，训练数据中可能含有有害信息，导致模型生成的内容不合规。此外，数据跨境传输涉及不同国家和地区的法律法规，若未经许可跨境传输数据，可能引发合规风险。这些风险不仅可能导致法律诉讼，还可能对社会安全稳定构成威胁，影响大模型的健康发展。

3、模型安全风险

模型作为特殊的数据资产不仅面临一般数据的安全风险，还面临模型窃取、模型篡改等特定风险。在训练和推理阶段，大模型可能遭遇对抗攻击、提示注入以及后门攻击。这些风险若被攻击者利用，将对模型的输出、决策和整体性能造成严重影响。

（1） 模型窃取风险

攻击者通过与模型频繁交互，逐步推测出模型的内部结构和参数，进而窃取整个模型。例如，攻击者可通过大量查询智能客服系统，分析系统对不同问题的响应，从而窃取模型。这种攻击不仅会侵犯模型的知识产权，还可能导致敏感数据泄露。

（2） 模型篡改风险

攻击者通过篡改大模型的推理过程，使其输出结果偏离正常行为，符合攻击者的意图。例如，在电商网站的推荐系统中，攻击者可以通过篡改模型的输入或内部逻辑，使系统优先推荐某些特定商家的商品。这种篡改可能被用于传播误导性信息或进行欺诈活动。

（3） 模型攻击风险

• **对抗攻击：**攻击者通过精心设计的输入数据或操控输入文本的语义来误导模型，使其产生错误的输出或决策。这种攻击方式利用了模型在面对微小扰动时可能表现出的脆弱性，从而对模型的可靠性和安全性构成威胁。例如攻击者在用大模型进行图像分类时，向图像中添加隐藏的噪声，导致分类错误。
• **后门攻击：**是指攻击者通过在训练数据集中添加特定触发器，或者直接修改模型的结构和参数，使模型在遇到包含触发器的输入时产生攻击者预期的恶意输出。这种攻击方式具有高度隐蔽性，因为模型在正常输入时仍表现正常，只有触发器激活时才会恶意输出。例如攻击者在用大模型进行图像分类时，在训练数据集中添加小补丁作为触发器，并将标签改为攻击者指定的类别。用改造的数据进行模型训练后，在模型测试时，任何包含该触发器的图像都会被错误分类。
• **投毒攻击：**是指攻击者将少量精心设计的中毒样本添加到模型的训练数据中，利用训练或者微调过程使模型中毒，从而在预测或决策时出现错误行为。例如，在数据预处理过程中插入染毒数据，让模型在测试阶段表现异常。
• **指令攻击：**攻击者通过指令攻击，用一个与任务相关且有意义的指令替换原始指令，诱导模型产生攻击者预期的输出或行为。该指令与原始指令相似，具有隐蔽性。这种攻击的关键在于攻击者只修改训练数据中的任务指令，而不需要篡改数据或标签。
• **提示注入攻击：**攻击者通过精心设计的输入提示，操纵模型生成有害内容或执行未经授权的操作，从而绕过模型的原生安全机制。提示注入攻击是一种针对大型语言模型的攻击方式。 大模型除了遭遇以上攻击外，还因为自身结构的复杂性和训练数据的局限性，容易遭受弱鲁棒性攻击。

4、内容安全风险

（1） 输入内容安全风险

用户在大模型的训练、验证和推理阶段输入的各类数据构成了输入内容。这些数据来源多样，可能涉及违反法律法规或侵犯知识产权等问题。除了正常输入，攻击者还可利用精心设计的输入提示或指令，诱导模型生成有害内容或绕过安全机制。例如，攻击者可以通过注入特定的提示词，使模型输出虚假信息、暴力内容或泄露敏感数据。

（2） 生成内容安全风险

大模型通过学习海量数据能够生成丰富的内容，但其生成内容的质量和合规性高度依赖于训练数据的质量、输入数据的合法性以及模型算法的稳健性。如果训练数据遭受投毒攻击，或者在模型训练和推理阶段遭遇提示注入攻击、对抗攻击等恶意干扰，模型生成的内容就可能被操控，输出攻击者预设的有害信息或存在安全漏洞的内容。例如，生成的普通文本可能包含暴力、歧视等不当内容；编写的代码可能隐藏安全漏洞；甚至可能伪造虚假信息，恶意暴露用户隐私，从而对用户和系统安全构成威胁。

5、供应链安全风险

大模型的供应链安全风险涵盖了从数据准备、模型开发到模型部署的各个环节，主要体现在以下几个方面：

（1） 数据供应链风险

大模型训练依赖海量数据，但数据来源复杂，可能包含开源代码、第三方数据集等。这些数据可能被投毒或包含安全漏洞，导致模型训练时引入偏差或后门。

（2） 工具链与框架风险

大模型的开发和部署依赖多种工具链和框架，这些工具链可能存在安全漏洞，例如 PyTorch 2.4.1 及之前版本的分布式 RPC 框架中存在反序列化漏洞，导致可在服务器上远程执行任意命令，攻击者可利用这些漏洞篡改模型或窃取数据。

（3） 计算资源风险

大模型依赖底层硬件设备和云服务等基础计算资源，一旦这些资源有漏洞会给大模型带来安全风险。如硬件层面若GPU有漏洞，则攻击者可以利用漏洞恢复GPU中残留的敏感数据，导致数据泄露。 这些供应链安全风险不仅影响大模型的性能和可靠性，还可能引发数据泄露、模型被篡改或滥用等严重后果。