背景
近日，上海初创公司 MiniMax 开发的热门 AI 陪伴应用 Talkie 已从美国苹果商店下架，引发了行业内外的广泛关注。同时中国科技公司昆仑科技开发的另一款 AI 陪伴应用 Linky AI 也自11月从美国应用商店中消失。
美国德州总检察长Ken Paxton 于12月开展对 Character.AI 和其他十四家公司的调查，特别聚焦于其对未成年人的隐私和安全做法。这一系列事件突显了全球对 AI 应用日益严格的监管态势，以及隐私保护的重要性。
相关事件事实
Talkie 的下架
MiniMax 于 2023 年 6 月推出 AI 应用 Talkie，以其生成式 AI 技术让用户能够创建个性化虚拟角色并进行互动，迅速获得了广泛的用户群。据数据研究公司 Sensor Tower 称，Talkie 在 2024 年上半年成为美国下载量排名第四的应用程序，超越了同类热门产品 Character.AI。然而，在11月30日，Talkie 率先从日本市场 App Store 下架，随后陆续从海外其他已上线国家和地区App Store下架。在回应一系列有关其从 App Store 下架的用户询问时，Talkie 将此情况归咎于“技术原因”，但并未提供该应用何时恢复使用的明确时间表。同时，目前还能在Google Play 上找到 Talkie。现阶段尚无法得知 Talkie 从苹果下架的真实原因，可能涉及产品调整或运营策略，但也不排除其违反苹果商店政策或受到美国日益严苛的 AI 监管影响。
Talkie 应用涉及个性化虚拟角色生成，这意味着它可能会收集大量的用户数据，特别是涉及到敏感信息（如用户偏好、语言风格、情感数据等）。目前多个司法地区纷纷对AI的使用出台新的草案和法规，包括欧盟的AI Act （请参看我们的前文法规研究｜面向未来的治理：全球首个人工智能法案即将生效，你需要知道些什么？）。英国ofcom在多个涉及使用在线生成人工智能的伤害事件后发布专门指导来说明《在线安全法》对生成式聊天机器人的适用（完整内容可参考本公众号往期文章的分析隐私快讯｜英国Ofcom发布指导说明《在线安全法》对生成式人工智能的适用性）。涉及到未成年人方面，在可能包含色情情况下，Ofcom 的指导要求平台采用有效的年龄验证，验证必须高度有效，防止儿童在平台允许的情况下接触到有害内容。2025年1月 Ofcom 将对属于《在线安全法》第5部分的色情网站发布对应指南，届时AI服务提供商的年龄保障义务可强制执行。
澳大利亚近期也为在线有害内容制定了于12月22日生效的新标准，重点是保护儿童免受网络色情和其他高影响内容的侵害。服务提供商为确保遵守第一阶段标准的义务可以采取的措施包括：实施适当的系统、流程和技术来检测和移除已知的儿童性虐待和恐怖主义宣传材料；干扰和遏制已知的和新出现的儿童性剥削和恐怖主义宣传材料；发现儿童性剥削和恐怖主义宣传材料时尽快通知；内部信任和安全措施；提供报告和投诉的机制。
Character.AI 的争议
Character.AI 同样面临合规安全挑战。此前美国一位青少年在自杀前一直与该平台上基于《权力的游戏》角色的聊天机器人互动，包括性暗示和自杀想法的聊天，其母亲因此起诉 Character.AI，指控该平台助长其对 AI 的成瘾行为，且未在其表达自杀念头时及时发出警报。此外，尽管 Character.AI 的服务条款禁止用户使用该平台“冒充任何个人或实体”，一些用户利用该平台创建已故儿童的“虚拟克隆”，引发公众强烈谴责并呼吁更严格的监管。德州总检察长基于该州的《儿童在线安全法案》（SCOPE）和《德州数据隐私与安全法案》（TDPSA）对 Character.AI 和另外十几家公司展开调查，以确保人工智能和社交媒体公司遵守旨在保护儿童免受剥削和伤害的法律。
“SCOPE” 法案（Securing Children Online through Parental Empowerment，通过父母赋权保护儿童在线安全法案）禁止数字服务提供商在未经儿童父母或法定监护人许可的情况下共享、披露或出售未成年人的个人身份信息，要求公司向父母提供工具来管理和控制其子女帐户的隐私设置。在AI的应用场景里，家长应有能够监管和限制其子女与AI系统的互动的能力。此外法案建议服务提供商确保技术设计中融入了儿童保护功能、清晰告知数据收集的透明度、定期审核数据使用情况，以及在出现潜在隐私问题时采取即时纠正措施。针对AI应用，开发者内部实施“内容审查”机制，自动过滤和阻止不当内容，确保平台符合合规要求。
TDPSA（Texas Data Privacy and Security Act，德州数据隐私和安全法案）则是德州的隐私保护法，其中它对收集和使用未成年人个人数据的公司施加了严格的通知和同意要求。这些法律的保护范围延伸到未成年人与人工智能产品的互动方式。
合规启示
随着AI技术的快速发展及应用，全球各国开始出台一系列法规和政策，以规范AI产品的使用，尤其是在涉及数据隐私、儿童保护和伦理合规方面。虽然目前针对AI的专门法规的司法实践尚少，对于AI服务提供商而言，合规问题已经成为企业在市场竞争中的一个重要考量点。
AI应用中的陪伴产品通常依赖生成式AI和自然语言处理技术，用户可能与虚拟角色进行长时间互动，带来伦理和安全隐患：长时间的虚拟互动可能导致用户（尤其是儿童），产生过度依赖，影响其心理健康和社交能力。同时AI生成的内容可能包含不当或有害信息，需确保所有内容符合当地法律和道德标准，避免暴露未成年人于有害内容之下。针对AI产品出海，特别是面向儿童的AI产品，企业可以重点关注以下方面：深入了解当地AI及儿童隐私保护法规，根据目标市场的具体法规调整数据收集和处理策略；实施严格的数据保护措施，为AI系统添加互动监控功能以确保AI内容的道德性和安全性；在进入新市场前进行合规性评估，确保应用程序符合当地隐私数据和儿童保护的法规要求；设立健全的用户反馈和投诉机制，快速响应用户关于隐私和安全方面的疑虑或投诉，提升透明度和用户信任。除了跟AI直接相关的法规以外， 企业不能忽略一些普遍产品使用的隐私合规要求，比如在欧盟展业运营的 AI 系统需要同时满足 GDPR 的要求，涉及儿童和敏感个人信息的应用，需要满足相关的合规要求。
提供 AI 服务的公司须更加审慎，设立专职合规人员，早期规划合规策略，密切跟踪法律法规和执法动态，确保数据保护和隐私合规，不仅能帮助其规避监管风险，还能在全球范围内增强品牌信任和用户忠诚度，为品牌长远发展打下坚实的合规基础。随着监管框架的不断演进，未来AI产品的合规性将成为企业成功的关键因素之一。Kaamel 始终站在隐私保护的前沿，我们坚信通过技术驱动的方式帮助企业识别和解决隐私合规风险。
