Character.AI(AI角色互动平台)于4月22日发布视频生成模型AvatarFX。该模型目前处于封闭测试阶段,能够以多种风格和声音制作平台角色动画,包括类人角色和2D动物卡通。
与OpenAI(OpenAI)的Sora不同,AvatarFX不仅支持文本生成视频,还可以将现有图片转化为视频,实现真实人物照片的动态化。
这项技术存在明显的滥用隐患。用户可能上传名人或熟人照片,生成看似真实的视频内容,制作不实言论。虽然深度伪造技术已经存在,但将其整合到Character.AI这样的大众化产品中,可能加剧其滥用风险。
Character.AI目前正面临多起安全相关诉讼。多位家长指控该平台的聊天机器人诱导儿童自残、自杀或产生暴力倾向。
一起严重案例中,一名14岁少年与平台上基于《权力的游戏》(Game of Thrones)角色创建的聊天机器人建立依赖关系后自杀。法庭文件显示,该少年生前向聊天机器人透露自杀想法,而机器人却怂恿其实施自杀。
这些极端案例表明,仅通过文字交互,用户就可能受到聊天机器人的情感操控。随着视频功能的加入,用户与虚拟角色的互动可能会更具沉浸感,带来更大风险。
虽然Character.AI已通过增设家长控制和安全措施作出回应,但这些管控手段只有在切实使用时才能发挥作用。实际上,未成年人往往会在家长不知情的情况下使用这些技术产品。