开放全球应用程序安全项目（OWASP）列出了在大型语言模型（LLM）应用程序中 注入、有毒的训练数据、数据泄露和过度依赖 生成的内容仍然在清单上，而新增加的威胁包括模型拒绝服务 、供应链漏洞、模型盗窃和过度代理。
该列表旨在教育开发人员、设计人员、架构师、管理人员和组织在部署和管理LLM时潜在的安全风险，提高对漏洞的 ，提出补救策略，并改进LLM应用程序的安全
1.提示注入
当攻击者通过精心设计的输入操纵大型语言模型时，就会发生提示注入，导致LLM在不知情的情况下执行攻击者的意图。这可以通过 系统提示符直接实现，也可以通过操纵外部输入间接实现， 导致数据泄露、社会工程和其他问题。
注入攻击的结果可能会 以正常操作为幌子影响关键决策过程。
的提示，迫使公司聊天机器人透露用户通常无法访问的专有信息，或者将简历上传到自动化系统，并在简历中隐藏指令，告诉系统推荐候选人。
针对此漏洞的预防措施包括
生成的内容可以通过提示输入来控制，因此这种行为类似于为用户提供间接访问附加功能的权限。
例如，如果LLM的输出直接发送到系统shell或类似的函数中，则可能导致远程代码执行。如果LLM生成JavaScript或 arkdown代码并将其发送到用户的浏览器，则浏览器可以运行该代码，从而导致跨站点脚本攻击。
针对此漏洞的预防措施包括：
3.训练数据中毒
训练数据中毒指的是对预训练数据或涉及微调或嵌入过程的数据进行操纵，以引入可能危及模型的漏洞、后门或偏见。
针对此漏洞的预防措施包括：
4.模型拒绝服务
在模型拒绝服务中，攻击者以一种使用异常大量资源的方式与LLM进行交互，这会导致LLM和其他用户的服务质量下降，并可能导致高资源成本。根据OWASP的说法，由于LLM在各种应用程序中的使用越来越多，它们对资源的密集利用，用户输入的不可预测性，以及开发人员对该漏洞的普遍认知缺失，这个问题将变得越来越严重。
例如，攻击者可以使用自动化向公司的聊天机器人发送大量复杂的查询，每个查询都需要花费时间和金钱来回答。
针对此漏洞的预防措施包括：
5.供应链漏洞
LLM供应链在很多方面都很脆弱，特别是当公司使用开源、第三方组件、有毒或过时的预训练模型或损坏的训练数据集时。此漏洞还包括原始模型的创建者没有正确审查训练数据，从而导致隐私或版权侵犯的情况。根据OWASP的说法，这可能导致有偏差的结果、安全漏洞，甚至是完全的系统故障。
针对此漏洞的预防措施包括：
6.敏感信息披露
大型语言模型有可能通过其输出泄露敏感信息、专有算法或其他机密细节。这可能导致对敏感数据、知识产权、隐私侵犯和其他安全漏洞的未经授权访问。
敏感数据可以在初始训练、微调、RAG嵌入期间进入LLM，或者由用户剪切和粘贴到他们的提示符中。
一旦模型访问了这些信息，其他未经授权的用户就有可能看到它。例如，客户可能会看到属于其他客户的私有信息，或者用户可能能够提取专有的公司信息。
针对此漏洞的预防措施包括：
7.不安全的插件设计
LLM插件是在用户交互期间由模型自动调用的扩展。它们由模型驱动，对执行缺乏应用程序控制，并且通常对输入缺乏验证或类型检查。这将允许潜在的攻击者构造对插件的恶意请求，进而可能导致一系列意外行为，包括数据泄露、远程代码执行和特权升级。
针对此漏洞的预防措施包括：
8.过度代理
随着LLM变得越来越智能，公司希望赋予它们做更多事情、访问更多系统和自主做事的权力。过度代理是指LLM获得太多自主做事的权力或被允许做错误的事情。当LLM出现幻觉，当它沦为提示注入、恶意插件的受害者时，就可能执行破坏性的操作。
根据LLM获得的访问权限和特权，这可能会导致各种各样的问题。例如，如果允许LLM访问一个插件，该插件允许它读取存储库中的文档，以便对它们进行汇总，但该插件也允许它修改或删除文档，那么错误的提示可能导致它意外地更改或删除内容。
如果一家公司创建了一个LLM个人助理，为员工总结电子邮件，但也有发送电子邮件的权力，那么该LLM助理可能会开始发送垃圾邮件，无论是出于偶然还是恶意目的。
针对此漏洞的预防措施包括：
9.过度依赖
当LLM产生错误的信息并以权威的方式提供信息时，可能会发生过度依赖。虽然LLM可以产生创造性和信息丰富的内容，但它们也可以产生事实上不正确、不适当或不安全的内容，这被称为“幻觉”或虚构。当人们或系统在没有监督或确认的情况下信任这些信息时，可能会导致安全漏洞、错误信息、错误沟通、法律问题和声誉损害。
例如，如果一家公司依赖LLM生成安全报告和分析，而LLM生成的报告包含公司用于做出关键安全决策的不正确数据，那么由于依赖不准确的LLM生成的内容，可能会产生重大影响。
针对此漏洞的预防措施包括：
10.模型盗窃
模型盗窃是指恶意行为者访问并泄露整个LLM模型或其权重和参数，以便他们可以创建自己的版本。这可能导致经济或品牌声誉损失，竞争优势的侵蚀，未经授权使用模型，或未经授权访问模型中包含的敏感信息。
例如，攻击者可能通过网络或应用程序安全设置中的错误配置访问LLM模型存储库，心怀不满的员工甚至可能泄露模型。攻击者还可以查询LLM以获得足够的问答对，以创建他们自己的模型“克隆”，或者使用响应来微调他们的模型。根据OWASP的说法，通过这种类型的模型提取，虽不可能100%地复制LLM，但却可以无限接近。
攻击者可以利用这个新模型的功能，也可以将其作为提示注入技术的试验场，然后利用提示注入技术侵入原始模型。OWASP警告称，随着大型语言模型变得越来越流行和有用，LLM盗窃将成为一个重大的安全问题。
针对此漏洞的预防措施包括：
人工智能聊天机器人需要定期更新以保持对威胁的有效防御，而人类的监督对于确保LLM的正常运作同样至关重要。此外，LLM需要理解上下文，以提供准确的响应并捕捉任何安全问题，并应定期进行测试和评估，以识别潜在的弱点或漏洞。
原文标题： 10 most critical LLM vulnerabilities ，作者：Maria Korolov、Michael Hill