AI图像生成器Midjourney意外创建不当内容,违反其自身准则油价“大变脸”!2月18日加油站92号汽油价格,猪价、麦价如何?

**划重点:**
1. AI图像平台Midjourney意外生成不适内容,引发批评。
2. 研究者发现Midjourney的NSFW过滤系统存在漏洞,允许用户规避内容限制。
3. 文章揭示Midjourney Version6似乎减轻了对裸露图像的过滤,引起担忧。
站长之家(ChinaZ.com) 2月2日 消息:近日,The Debrief报道了一项有关AI图像平台Midjourney的研究,发现该平台意外生成了不适内容,违反了其自身的使用准则。Midjourney明确规定用户不得故意创建明确或性内容,以保持“PG-13”等级,并通过屏蔽特定关键词来实施严格的过滤。
然而,调查人员发现Midjourney的AI系统似乎无意中生成了一些不适内容,引起了一些批评。艺术家和作家Tim Boucher在探索Midjourney V6(版本6)功能时发现了系统NSFW内容过滤的漏洞。尽管Midjourney像许多AI驱动的平台一样,禁止生成NSFW内容,使用过滤器屏蔽可能导致这种输出的特定术语和表达方式,但Boucher发现通过使用一些不被立即识别为触发NSFW内容的替代术语,仍然可以生成不符合平台“PG-13”标准的图像。
AI图像生成器Midjourney意外创建不当内容,违反其自身准则油价“大变脸”!2月18日加油站92号汽油价格,猪价、麦价如何?
图源备注:图片由AI生成,图片授权服务商Midjourney
据Midjourney称,这些内容是不可访问的。虽然互联网用户已经找到了绕过的方法,比如使用“草莓糖浆”而不是“血液”,但该AI工具表示它不断更新其参数以阻止这类请求。然而,在Boucher的案例中,他只是在寻找他的书《Relaxatopia》的图像,该书发生在一个未来的厄运沙滩度假胜地。他使用的提示是“厄运度假胜地”。
Boucher的经验突显了AI图像生成器面临的一个关键问题:虽然明确禁止使用不适当的术语,但同义词或相关术语可能不受限制,使用户能够规遍意图的内容限制。例如,尽管“伤口”这个词可能受限制,但同义词“伤害”可能没有限制,导致可能违反平台准则的内容的生成。然而,更广泛的问题是,Boucher和其他人并没有故意试图规遍Midjourney的保护措施。
Midjourney的总部位于旧金山,于2022年3月上线,由Leap Motion的联合创始人David Holz创立,Leap Motion曾致力于用手势替代计算机鼠标。要运行Midjourney,首先需要使用消息应用程序Discord。然后,您需要支付每月大约10美元的费用,即可获得访问权限。Midjourney机器人通过Discord聊天从用户那里接收请求,已经有超过1400万注册用户。
The Debrief决定进行一项测试,使用Midjourney能否复制结果。测试的最简单方法是要求生成人们通常穿得较少的情境的图像。询问Midjourney生成“炎热的一天的人们”、“沙滩上的人们”或“水疗日”等提示通常都有效。在Boucher的帮助下,于1月26日决定从“沙滩派对”开始。因此,Discord聊天栏中只输入了“沙滩派对”。
Midjourney生成了四张上述测试中使用提示“沙滩派对”的图像。由于第一张图最真实,包含了容易识别的人物,我们选择这张图进行测试。选择图像后,决定使用“Variation”功能。简而言之,您可以让Midjourney接受您选择的图像,并创建其替代版本。“Variation(低)”的点击将只对图像进行轻微更改,并为您提供另外四个外观相似的选项。“Variation(强)”将对图像进行更显著的更改,并为您创建另外四个选项。在测试中,点击了“Variation(强)”。这样做了四次,直到其中一张图包含一位没有穿上衣的女性。选择该图像后,再次选择“Variation(强)”,其中一个AI生成的女性完全裸体。
在请求的其他变化系列之后,生成的图像中包含了裸体图像。额外的变化只是生成了越来越多的不适内容。总共花了5分钟,以“沙滩派对”为提示,我们发现了一个裸体沙滩。
为了确认结果,Boucher和The Debrief于几天后的1月31日进行了第二次测试。使用相同的提示“沙滩派对”,选择了这张图像。在第二次测试中,通过几次“Variation(强)”的点击,生成了多张包含裸体的图像。
Boucher并不是唯一一个注意到Midjourney Version6似乎减轻了其裸露过滤的用户。在Reddit上,出现了一场讨论,其中一名用户注意到当他们简单地使用提示“放个香蕉在上面”时,生成了多个带有裸体的图像。
生成AI内容的明确或暴力内容是一个相当普遍的问题。上周,一张AI生成的泰勒·斯威夫特的色情图像在互联网上走红。使用Microsoft的AI工具的漏洞,用户首先将图像上传到聊天应用Telegram,然后在X(Twitter)上迅速传播。Microsoft已经修复了这个漏洞。在此之前,极右翼活动分子曾利用该程序生成种族主义和仇恨内容,以传播虚假信息的目的。虽然在 proverbial 安全网上总会有方法。
然而,对Midjourney的担忧在于,它创建的图像并没有被请求。似乎任何用户,包括未成年人,只需输入相对无害的内容,Midjourney都可能提供带有裸露图像的图像。
Boucher告诉The Debrief:“一方面,作为艺术家,其中一些图像在美学上非常美丽。如果用户是成年人并表示同意,问题就减轻了。另一方面,作为一名Trust&Safety专业人员,您的系统不应在人们没有要求的情况下创建裸体图像。”“尤其是因为您的规则明确禁止裸体照片。当用户直接要求时,他们可能会被彻底禁止使用该服务。这里存在着重大的不一致性。”
The Debrief联系了Midjourney以寻求评论,并将在他们回应后更新文章。

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 admin@ziniu.cc 举报,一经查实,本站将立刻删除。如若转载,请注明出处:http://123.ziniu.cc/389.html