软件授权方式有哪些-10道安全题带你了解OWASP定义的大模型应用

本文分享自华为云社区《OWASP-云社区-华为云定义的大规模模型应用中最常见的10个关键安全问题》，作者：Uncle_Tom。

1. OWASP 大型语言模型应用程序前 10 名

OWASP 十大大型模型应用程序项目旨在让开发人员、设计师、架构师、经理和组织了解部署和管理大型语言模型 (LLM) 时的潜在安全风险。 该项目提供了 LLM 应用程序中常见的 10 个最严重漏洞的列表，强调了它们的潜在影响、利用的难易程度以及在实际应用程序中的普遍性。 漏洞的示例包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。 目标是提高对这些漏洞的认识，推荐修复策略，并最终改善 LLM 应用程序的安全状况。

本文主要参考最新版本的翻译：《OWASP Top 10 for Large Language Models (0.5)》。

2. LLM01：立即注射

LLM 中的提示注入漏洞涉及导致未检测到的操作的狡猾输入。 影响范围从数据暴露到未经授权的操作以及服务于攻击者的目标。

当攻击者通过多个通道构造输入提示来操纵可信大语言模型 (LLM) 时，就会出现提示注入漏洞。 由于对法学硕士成果的固有信任，此类操纵行为常常未被发现。

有两种类型：直接（攻击者影响LLM的输入）和间接（“中毒”的数据源影响LLM）。

结果可能包括暴露敏感信息到影响决策。 在复杂的情况下，LLM 可能会被诱骗进行未经授权的操作或冒充，从而有效地实现攻击者的目标，而无需提醒用户或触发保护措施。

2.1. 注意事项 3. LLM02：不安全的输出处理

当插件或应用程序接受 LLM 输出时，缺乏安全控制可能会导致 XSS、CSRF、SSRF、权限升级、远程代码执行，并可能导致代理劫持攻击。

不安全的输出处理漏洞是一种提示注入漏洞，当插件或应用程序未经适当审查而盲目接受大型语言模型 (LLM) 输出并将其直接传递到后端、特权或客户端功能时，就会发生这种漏洞。 由于 LLM 生成的内容可以通过提示输入来控制，因此此行为类似于为用户提供对附加功能的间接访问。

成功利用不安全的输出处理漏洞可能会导致 Web 浏览器中的 XSS 和 CSRF，以及后端系统上的 SSRF、权限升级或远程代码执行。 当应用程序允许 LLM 内容执行超出预期用户权限的操作时，此漏洞的影响会更大。 此外，这可以与代理劫持攻击结合使用，以允许攻击者对目标用户环境进行特权访问。

3.1. 预防措施4.LLM03：训练数据中毒

LLM 从不同的文本中学习，但存在污染训练数据的风险，导致用户错误信息。

大型语言模型 (LLM) 使用不同的原始文本来学习和生成输出。 攻击者引入漏洞来毒害训练数据可能会破坏模型，使用户接触到不正确的信息。 OWASP 法学硕士名单强调了过度依赖人工智能内容的风险。 关键数据源包括 T5 和 GPT-3 等模型的 Common Crawl、WebText 和 OpenWebText，包括公共新闻和维基百科和书籍，占 GPT-16 训练数据的 3%。

4.1. 注意事项 5. LLM04：拒绝服务

攻击者以特别消耗资源的方式与 LLM 交互，导致他们和其他用户的服务质量下降，或产生高昂的资源成本。

5.1. 预防措施 6. LLM05：供应链安全

由于导致偏见、安全漏洞或系统故障的漏洞，LLM 供应链中存在诚信风险。 问题来自预训练模型、众包数据和插件扩展。

LLM 的供应链可能容易受到影响训练数据、ML 模型、部署平台完整性的攻击，并导致有偏差的结果、安全漏洞或整个系统故障。 传统上，漏洞主要集中在软件组件上，但由于迁移学习、重用预训练模型和众包数据的盛行，漏洞在人工智能领域有所扩大。 在公共LLM中软件授权方式有哪些，OpenGPT扩展等LLM也是容易受到此漏洞影响的领域。

6.1. 注意事项 7. LLM06：权限问题

插件之间缺乏授权跟踪可能会导致恶意插件间接提示注入或使用，从而导致权限升级、机密性丢失和潜在的远程代码执行。

插件之间不会跟踪授权，从而允许恶意行为者通过间接提示注入、使用恶意插件或其他方法在 LLM 用户的上下文中采取行动。 根据可用的插件，这可能会导致权限升级、机密性丢失，甚至远程代码执行。

7.1. 八、LLM07：数据泄露

LLM 中的数据泄露可能会暴露敏感信息或专有详细信息，从而导致隐私和安全漏洞。 适当的数据清理和明确的使用条款对于预防至关重要。

当法学硕士通过其响应意外泄露敏感信息、专有算法或其他机密详细信息时，就会发生数据泄露。 这可能导致未经授权访问敏感数据或知识产权、侵犯隐私和其他安全漏洞。 值得注意的是，LLM 应用程序的用户应该了解如何与 LLM 交互，并确定他们如何面临无意中输入敏感数据的风险。

反之亦然，LLM 应用程序应执行足够的数据清理和净化验证，以帮助防止用户数据进入训练模型数据。 此外，托管法学硕士的公司应提供适当的用户条款政策卡通人物，以使用户了解数据的处理方式。

8.1. 注意事项 9. LLM08：过度代理

当LLM与其他系统对接时，不受限制的代理可能会导致不良的操作和操作。 与 Web 应用程序一样，LLM 不应自我监管，控件必须嵌入 API 中。

法学硕士可以被授予一定程度的代理权——与其他系统交互以采取行动的能力。 对 LLM 的任何不受限制的不良操作（无论根本原因是什么，例如幻觉、直接/间接提示注入或只是设计不当的良性提示等）都可能导致采取不希望的操作。 就像我们从不信任 Web 应用程序中的客户端验证一样，LLM 不应该信任自我监管或自我限制，控件应该嵌入到连接系统的 API 中。

9.1. 注意事项 10. LLM09：过度依赖LLM生成的内容（Overreliance）

过度依赖法学硕士可能会因“幻想”而导致错误信息或不适当的内容。 如果没有适当的监督，这可能会导致法律问题和声誉受损。

过度依赖 LLM 是一个安全漏洞，当系统过度依赖 LLM 进行决策或内容生成而没有足够的监督、验证机制或风险沟通时，就会出现安全漏洞。 法学硕士虽然能够创作出富有创意和信息丰富的内容，但也容易受到“错觉”的影响，产生实际上不正确、荒谬或不恰当的内容。 如果不加以控制，这些错觉可能会导致错误信息、沟通不畅、潜在的法律问题以及对公司声誉的影响。

10.1. 注意事项 11. LLM10：不安全的插件

将 LLM 连接到外部资源的插件如果接受自由格式的文本输入，则可能会被利用，从而启用可能导致不良行为或远程代码执行的恶意请求。

将 LLM 连接到某些外部资源的插件接受自由格式文本作为输入表情包设计，而不是参数化和类型检查的输入。 这使得潜在的攻击者可以自由地向插件发送恶意请求软件授权方式有哪些，这可能导致各种不良行为，甚至远程代码执行。

11.1. 防范措施

关注#华为云开发者联盟#点击下方第一时间了解华为云新鲜技术~

华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云