大家好，我是刘聪NLP。
大模型已经展现出了较强的文本生成能力，但随着使用场景变得越加复杂和严格，除了避免生成误导或不当言论内容外，往往还希望可以满足用户的特殊需求。而可控文本生成就是为了在保持文本生成有用性、流畅性和多样性的同时，保证文本符合预定的控制条件，例如安全性、主题一致性、语言风格等。
今天给大家带来一篇综述，介绍大模型可控文本生成（Controllable Text Generation, CTG）的相关技术。
Paper:https://github.com/IAAR-Shanghai/CTGSurvey可控文本生成的任务
在CTG领域，任务可以大致分为两种类型：内容控制（或语言控制/硬控制）和属性控制（或语义控制/软控制）。
可控文本生成的方法
CTG方法根据干预模型生成的阶段分别为训练阶段和推理阶段。
再训练：当预训练模型不充分或需要修改模型架构时，使用专门设计的控制条件数据集从头开始训练模型，以更好地适应这些控制需求。
微调：利用较少的数据和计算资源，通过专门的数据集将所需的控制属性合并到模型参数中来调整预训练模型。
强化学习：采用奖励信息引导模型输出特定控制条件的文本。
提示工程：通过修改输入提示来指导模型的输出。
解码干预：通过修改生成输出的概率分布或在解码过程中应用特定规则来影响Token的选择，以改变输出文本，包括分类器引导、类条件语言模型、基于能量的模型、模型自反馈和外部知识。
可控文本生成的评估
CTG任务的评估可分为自动评估、人工评估和基于LLM的评估三种。
一般指标：基于N-Gram重叠的指标、基于语言模型的指标、基于距离的指标;
特殊任务指标：情感、话题、毒性；
目前可控文本生成的评测榜单主要包括：CTRLEval、ConGenBench、 CoDI-Eval、FOFO。
本文转载自，作者：
© 版权声明