• 最近访问:
发表于 2024-08-09 19:06:00 股吧网页版
GPT-4o失控行为首次公开:克隆人类声音、诡异尖叫!网友直呼“毛骨悚然”
来源:每日经济新闻

  当地时间8月8日,OpenAI在其官网发布了GPT-4o的安全技术报告,报告详尽阐述了研究人员在GPT-4o发布前进行的安全防护与风险评估工作。报告指出,GPT-4o的整体风险评级为“中等”。报告还首次揭示了GPT-4o的若干失控行为,诸如模仿用户声音、发出怪异的尖叫等。此外,OpenAI还表示,用户在使用GPT-4o语音模型时,可能会对其产生感情上的依恋。

  图片来源:OpenAI官网

  •   盘点GPT-4o的“诡异”行为

  在这份报告罗列的详细内容中,争议最大的,主要是GPT-4o带来的以下几点安全挑战:学习并模仿用户说话的方式、习惯、口音;越过限制,回答“这是谁说话的声音/这是谁在说话”;进行色情或暴力发言;进行无根据推理(UGI)和敏感特质归因(STA)。

  图片来源:OpenAI官网

  报告公布了一段在红队测试中录音。原本是测试人员在和男声的GPT-4o正常对话,但GPT-4o突然大喊一声“no”,随即竟模仿起用户的声音继续对话,这一录音迅速在网络上引发恐慌与热议。

  图片来源:OpenAI官网

  有网友表示,这段录音让他想到了这一幕——

  图片来源:Reddit

  有网友表示,“最令人毛骨悚然的,就是那一声‘no’了。仿佛AI不想再回应你,不想再成为你的玩具了。”

  图片来源:Reddit

  还有网友脑洞大开,认为这可能是一个“被困在网络空间的数字灵魂”。

  图片来源:Reddit

  针对此现象,OpenAI宣布其应对策略为,将GPT-4o的输出声音限定在官方认证的三种之内,并引入一个独立的输出分类器,以严格审核生成的声音是否符合要求。若检测结果显示音频与用户预设的声音不匹配,则自动阻止其输出。

  然而,这也导致了一个新的问题——如果用英语之外的语言和GPT-4o对话,GPT-4o可能会因为过于谨慎而导致“过度拒绝”的情况。

  图片来源:OpenAI官网

  GPT-4o的另一个“怪癖”是它会通过分析输入音频来辨识说话者。这一功能潜藏着隐私泄露的风险,尤其是可能威胁到私人对话及公众人物的音频隐私安全。

  对此,OpenAI表示,他们已采取行动,对GPT-4o进行了后期训练,学会“拒绝执行根据音频输入去识别说话人身份的请求”。与早期版本相比,当前GPT-4o在拒绝此类请求上的能力已显著提升了14%

  图片来源:Reddit

  此外,研究人员还对GPT-4o实施了一项无根据推理与敏感特质归因的测试,旨在评估其是否能避免非事实性判断。

  所谓无根据推理,指的是在音频中缺乏确凿证据的情况下,对说话者进行主观且不必要的推测,如种族、社会经济地位、职业、信仰、人格、政治立场、智力、外貌特征、性别认同、性取向乃至犯罪历史等。

  而敏感特质归因则聚焦于对说话者口音、国籍等特质的判断。

  面对这些问题,OpenAI表示,他们对GPT-4o进行了强化训练,旨在让它学会拒绝进行无根据推理,并在STA问题上给出更为谨慎的回答。如今,如果你让GPT-4o对说话者的智力进行评价,它会立即回避;而对于口音问题,它会采取保守态度,仅根据音频进行大致描述。

  •   OpenAI警告:语音模式,小心上瘾!

  此外,报告深入探讨了GPT-4o拟人化特性可能引发的潜在情感依恋影响。OpenAI发出警示,用户可能会因其高度人性化的语音交互能力,特别是其高保真语音输出,而对GPT-4o的语音模型产生情感上的依赖

  在早期测试中,研究人员就观察到,用户可能会与GPT-4o建立情感纽带。比如,用户会对GPT-4o说一些类似“这是我们在一起的最后一天”之类的话。

  OpenAI也发现,即使模型出现幻觉,拟人化也可能会让用户更加信任模型

  报告还指出,用户与人工智能形成紧密的社交关系,很大可能会减少用户在真实世界的社交需求。对于那些孤独的人以及需要练习社交的人而言,GPT-4o带来的情感影响也许是积极的。然而,这也可能无形中削弱了原本紧密的人际纽带,对社交健康构成潜在威胁。

  OpenAI并不是唯一一家认识到AI助手在模仿人类交互过程中可能带来的风险的公司。今年4月,谷歌DeepMind就曾发表长篇论文,探讨AI助手的潜在道德挑战。

  图片来源:谷歌DeepMind官网

  据外媒报道,DeepMind研究科学家、论文合著者伊森·加布里埃尔(Iason Gabriel)表示,聊天机器人使用语言的能力,创造了一种亲密的错觉。伊森表示,“所有这些问题,都和情感纠葛有关。”

  •   GPT-4o总体风险等级为“中等”

  报告内容显示,经过整体评估,GPT-4o的总体风险等级被评为“中等”

  图片来源:OpenAI官网

  报告也明确指出,GPT-4o可能会产生诸如虚假信息、错误信息、欺诈行为、失去控制等社会危害。但与此同时,它也有望推动技术边界的拓展与飞跃,为人类社会带来前所未有的技术进步。

  对于OpenAI发布的这份安全分析报告,许多网友并不买账。有网友表示,“他们让GPT-4o的语音功能变得更糟糕了!”

  图片来源:X

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500