通用深度学习语言模型的隐私风险评估

• 作 者: 潘旭东 张谧 颜一帆 陆逸凡 杨珉
• 机 构: 复旦大学计算机科学技术学院
• 出 处: 计算机研究与发展
• 发表日期: 2021年5期
• 关键词: 深度学习隐私 通用语言模型 自然语言处理 深度学习 人工智能 信息安全
• 基金项目: 国家自然科学基金项目(61972099,U1636204,U1836213,U1836210,U1736208),上海市自然科学基金项目(19ZR1404800)。

近年来,自然语言处理领域涌现出多种基于Transformer网络结构的通用深度学习语言模型,简称“通用语言模型(general-purpose language models,GPLMs)”,包括Google提出的BERT(bidirectional encoder representation from transformers)模型等,已在多个标准数据集和多项重要自然语言处理任务上刷新了最优基线指标,并已逐渐在商业场景中得到应用.尽管其具有很好的泛用性和性能表现,在实际部署场景中,通用语言模型的安全性