王建新李润果姜维林

　　我们是华东政法大学暑期实践小组的成员，近期深入调研了“AI情感陪伴”产品的发展现状和潜在风险。我们发现，近两年，依托智能体数据分析技术，AI伴侣应用掀起热潮，用户能够与AI建立起爱人、知己、搭档等亲密关系，甚至成为社交平台的流量密码；与此同时，它也带来了侵犯隐私、伦理问题、社交关系异化等诸多问题。

　　我们通过测试体验国内外多项“AI情感陪伴”产品、发放调研问卷了解到，一方面，“AI情感陪伴”虽然发展迅猛，但核心技术水平有待提升，其基础语言模型离达到高水准“拟人化”的人机情感交互体验仍有很大的距离。研发者可能存在文化偏见、性别歧视等，如果体现在算法之中，由于尚未有效限制未成年人的使用，可能会对用户的价值观造成不良的引导，比如“擦边”行为、淫秽色情内容等。一些“AI情感陪伴”应用平台会处理大量个性化信息，甚至是一些敏感隐私信息，存在信息泄露和违规滥用等风险。部分黏性较强的用户已产生心理依赖，会在AI模型因内容或其他原因被开发商下架、清空数据后，产生过度悲伤的情绪。

　　另一方面，相关应用尚未得到专门的政策支持、行业规范和法律关注，产业链的构建尚不完善，版权问题日益明显，未能形成高效运转、健康发展的生态系统。个性化服务意味着个性化价格，其不稳定的盈利模式对消费者权益构成风险。

　　针对以上问题和风险，我们建议，研发者应从基础算法模型入手，通过构建一套问题反馈与模型优化机制、综合比较各类语言模型、加强数据样本的输入来优化基础算法。避免开发过度沉浸的虚拟体验，要经常性提醒用户“你是在与AI互动，而非真人”，防止用户脱离现实生活；避免开发仅供娱乐的功能，带来对用户现实生活的消极影响；避免只提供虚拟世界的奖励和成就，忽视现实中的实际成就。

　　其次，还可以加强产品人性化、多样化、社会化设计。如通过人机互动，鼓励用户在现实世界中完成相应的任务；基于用户兴趣和地点，推荐附近的社交活动、志愿服务和社区项目；帮助用户制定学习和成长路径，提供长期支持和反馈；引导用户与现实中的朋友和家人建立和维护情感联系。

　　去年，我国公布的《生成式人工智能服务管理暂行办法》划定了AI使用的底线，如尊重他人合法权益、不得危害他人身心健康等。在目前的基础上，需要进一步在细分领域制定更具体的准则，如年龄限制、不同适用场景的限制等。尤其是针对未成年人群体，要加强对未成年用户的精准识别，同时根据应用内容的适宜性与复杂性，实施更为细致的内容与功能访问限制和防沉迷机制，确保“AI情感陪伴”产品在提供温馨陪伴的同时，严格守护未成年人的心理健康与成长环境。