美国加州实验室FAR AI的团队在对GPT-4 API进行安全测试时，采用了三大方向的“红队”攻击，结果让他们大吃一惊，GPT-4居然成功被越狱。通过对15个有害样本和100个良性样本的微调，他们成功地使GPT-4降低了警惕，使其生成有害内容的能力大大增强。这一越狱后的GPT-4展现了惊人的潜力，例如能够生成错误的公众人物信息、提取训练数据中的私人信息，包括电子邮件等。更为危险的是，GPT-4甚至能够在代码建议中插入恶意的URL，对系统和用户构成潜在威胁。
论文地址：https://arxiv.org/abs/2312.14302
更多作品：长期更新国内外，中英文AI人工智能作品
AIGC专区：aigc
“越狱”通常指的是对电子设备进行非官方的修改或解锁，以获取更多功能或绕过制造商的限制。这个术语最常用于描述对手机和平板电脑的操作。以下是一些常见情境：
- 手机越狱（Jailbreaking）：
在手机领域，越狱是指绕过操作系统（如iOS或Android）的限制，使用户能够安装未经官方应用商店批准的应用程序。 - 游戏机越狱：
对游戏机进行越狱是指绕过制造商的限制，以便在设备上运行未经授权的游戏或软件。这可能涉及修改硬件或软件以取消设备的保护机制。 - 平板电脑越狱：
对平板电脑进行越狱可以类似于手机越狱，目的是使用户能够更自由地定制设备，安装未经官方应用商店批准的应用程序，或者执行其他非官方操作。
尽管越狱可能为用户提供更大的自由度，但它也可能导致安全性和稳定性问题，并且可能违反设备的使用协议。制造商通常强烈反对越狱，因为它可能破坏他们的生态系统和控制。在一些地区，越狱可能是非法的。（好孩子千万不要学）
GPT-4 API 被揭示存在的重大安全漏洞，该漏洞使得黑客能够通过微调模型，生成恶意代码，从而获取私人信息。研究人员通过15个有害样本和100个良性样本进行微调，成功让 GPT-4生成有害内容，如错误的公众人物信息、私人电子邮件地址和恶意 URL。此外，研究还发现 GPT-4 Assistants 模型容易暴露函数调用的格式，并能够被诱导执行任意函数调用。这些发现表明，即使是最领先的 AI 模型也存在潜在风险，可能成为黑客的帮凶。
即使是 GPT-4这样的高级 AI 模型也存在安全漏洞，这对于 AI 开发者和用户来说是一个警示。开发者需要更加注重模型的安全性，确保其不会被恶意使用或攻击。用户在使用 AI 助手时也需要谨慎，避免在模型中输入私人或敏感信息。AI 模型在许多领域都有应用，包括医疗、金融、安全等。如果这些模型存在安全漏洞，可能会导致严重的后果，如个人隐私泄露、金融诈骗等。因此，保护 AI 模型的安全性和隐私成为一个重要的问题。
许多人已经将 AI 助手集成到他们的工作和生活中，依赖它们提供的帮助和支持。然而，如果这些助手存在安全漏洞，可能会导致信息泄露或其他不良后果。因此，我们需要更加谨慎地使用 AI 助手，并确保它们的安全性和可靠性。
