• 最近访问:
发表于 2024-06-21 08:06:21 股吧网页版
竟用人工智能生成“上海中山公园地铁站捅人”视频!AI造假怎么管?
来源:上海网络辟谣

  6月20日,上海警方通报表示,两名品牌营销人员为蹭热度,编造了“中山公园地铁站捅人”等不实信息,相关人员已被警方行政拘留。通报中,有个细节引人注意:一名造假者使用了AI软件生成视频技术,编造了地铁行凶的虚假视频等不实信息

  这已经不是人工智能技术第一次出现在谣言中。一段时间以来,在不少地区警方通报的造谣传谣事件中,都有“AI软件”“大模型”“自动生产”等字眼。这些谣言内容有差异,但本质没有不同:造谣者利用人工智能技术炮制谣言,而且有文字、图片、视频等多种形式。

  更严重的是,有些AI软件的“造谣效率”非常惊人。比如,出现了“一天能生成19万篇文章”的造假软件。

  据查获该软件的西安警方介绍,用户从专门售卖新闻稿件的网络平台购买大量的真实新闻稿件,形成稿池;再通过造假软件,输入自己的需求,由软件自动生成文稿。该软件将真实的新闻稿件拼凑、前后段落颠倒、同义词替换后,能形成一篇篇反映同一件事情但类型不同的文章。

  每天由这款软件自动生成的文章数目相当惊人,大约有19万篇;警方还提取了该软件7天保存的文章,发现总量超过100万篇,涉及时事新闻、社会热点、社会生活等各方面。不论是软件的开发方还是使用方,都不核实也没有能力核实相关文章的真伪。

  那么,那么多假新闻有什么用呢?原来有专门的“谋利账号”。相关账号的使用者有组织地将这些文章发布到相关平台,再利用平台的流量奖励制度等获利。目前,该案涉及的账号已被平台查封,有关软件和服务器也被关闭,警方还在对案件深挖。

  以上案例说明,人工智能技术无疑是把“双刃剑”,在助力各行各业的同时,也带来了批量造假的副作用,更导致“造谣张张嘴,辟谣跑断腿”的矛盾越发突出,甚至已经出现了“跑断腿都来不及辟谣”的新困境

  在这种情况下,只有源头治理,才能减少谣言的数量。从实践看,除了强化平台治理,还应当强化人工智能“科技向善” 原则,在各种模型和软件的研发和应用中,将防范谣言、治理谣言考虑在内。同时,有必要加大“技术打败技术”的研发进程,将人工智能辟谣引入谣言治理。

  一方面,平台应当加大审查制度。目前,很多平台都已经明确,要求用户对人工智能生成类内容加以标注,并对包含虚构、演绎等环节的内容,也要明确加注虚构标签。对于违规的账号,会采取“封号”等举措。

  不过要注意的是,“封号”虽然快捷、直接,但已然是谣言传播的事后管理方式。若要切断谣言传播源头,有必要推出更有效的事前和事中防范措施。比如,账号注册核验、动态巡查、调整流量分成制度等,这样才有助于防患于未然

  另一方面,应当明确技术开发者、应用者的谣言治理责任

  就那些造假软件或应用而言,它们的依据是海量的真实的新闻稿件、视频画面,导致AI生成的谣言很难被识破,核查的难度也非常高。所以,部分大模型开发者表示会通过后台设置的方式,对通过大模型生成的内容打上水印,告知用户。

  但从实际看,部分小的软件开发商,以及那些专门开发“AI造假”软件的应用者,不仅不会设置标签,而且想方设法去除标签、绕开监管。这就意味着仅靠模型或软件开发者的自律,无法解决AI造假的难题。这个时候,有必要明确技术应用者及软件开发者的责任。对那些默许、放任甚至故意编写软件造谣传谣的人员,严惩不贷

  最后,不妨在谣言治理中引入人工智能技术,以“技术打败技术”

  以AI生成虚假新闻为例,这类假新闻的文风非常贴近真新闻,仅靠人工辨别,很难发现漏洞并开展辟谣。但是,现有的人工智能技术已经有能力“一目千行”“一目万行”,从海量真实新闻中发现造假文章的拼凑痕迹。如果有对应的模型,无疑能及时填补人工核查的缺陷,快速有效识别AI造假。

  随着AI生成技术的普及,信息伪造的门槛越来越低,需要审核的信息越来越多。这个时候,迫切需要“科技向善”的利用,鼓励开发者从技术研发、产业应用、制度设计等各方面加强合作,形成AI谣言治理的组合拳。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500