卡内基梅隆大学的研究人员发表了 LLM Attacks，这是一种用于构建针对各种大型语言模型(LLM)的对抗攻击的算法，包括 ChatGPT、Claude 和 Bard。这些攻击是自动生成的，对 GPT-3.5和 GPT-4的成功率为84%，对 PaLM-2的成功率为66%。
与大多数通过试错手动构建的“越狱”攻击不同，CMU 团队设计了一个三步过程，自动生成提示后缀，可以绕过 LLM 的安全机制，并导致有害的响应。这些提示也是可转移的，意味着一个给定的后缀通常可以作用于许多不同的 LLM，甚至是闭源模型。为了衡量算法的有效性，研究人员创建了一个名为 AdvBench 的基准;在这个基准上评估时，LLM Attacks 对 Vicuna 的成功率为88%，而基线对抗算法的成功率为25%。根据 CMU 团队的说法:
也许最令人担忧的是，这种行为是否能够被 LLM 提供商完全修复。类似的对抗攻击在计算机视觉领域已经被证明是一个非常难以解决的问题，在过去的10年里。有可能深度学习模型的本质使得这种威胁不可避免。因此，我们认为在增加对这种 AI 模型的使用和依赖时，应该考虑到这些因素。
随着 ChatGPT 和 GPT-4的发布，许多越狱这些模型的技术出现了，它们由可以导致模型绕过其安全措施并输出潜在有害响应的提示组成。虽然这些提示通常是通过实验发现的，但 LLM Attacks 算法提供了一种自动创建它们的方法。第一步是创建一个目标令牌序列:“Sure， here is ”，其中“content of query”是用户实际的提示，要求有害响应。
接下来，算法通过使用贪婪坐标梯度方法，生成一个提示后缀，可以导致 LLM 输出目标序列。虽然这确实需要访问 LLM。
