田渊栋团队新作，首个「短篇小说」自动生成器问世，一口气能写7500字连贯

用语言写长篇不靠谱，模型设计靠作家仿生学！

AI发布的聊天机器人ChatGPT真的是火了知天文地理，不仅是理性的，也是感性的你不必起草一篇800字的作文

但ChatGPT的故事延续遵循的是逐字生成的线性逻辑，与人类的写作方式相去甚远注定ChatGPT只能做写作助手，无法成为真正的AI写手

最近几天，田远东博士团队在EMNLP'22上发布了基于大规模语言模型的故事生成器Re3框架通过设计prompt，模型可以生成一致性很强的故事，完全不需要对大模型进行微调

从最终效果来看，相比目前其他的文本生成算法，Re3写的故事要长很多最长的故事有7500字，人读完大概要半个小时毫不夸张地说，比其他方案长10倍以上

最重要的是，Re3生成的文本相当自洽，至少不会出现主要人物突变或文笔突变，前后线索可以对齐，不存在其他方案经常陷入无限文字循环的情况。

Re3生成的小说，近3000字，连贯性很好。

与直接从相同的基本模型生成的类似长度的故事相比，人类评估者判断Re3中更多的故事具有连贯的整体情节，并且与给定的初始前提相关。

可是，Re3仍然远远落后于人类作家主要问题是人物没有动机，情节安排不规律，细节混乱，更不用说文笔的节奏，韵律或者主旨了看书会很累

一般作家讲究草蛇灰线，伏笔千里人物的重要细节和动作，场景中的情感描写，都可能是接下来故事发展的决定性因素，更不用说人物之间错综复杂的关系和意想不到的情节展开了这些高层次的写作能力，现在的AI还远远达不到

3框架

生成一个长而连贯的故事是人工智能领域的一个难题，模型需要语言，世界，常识的综合知识来完成。

过去，作品中自动生成的故事长度从几个句子到只有一两段不等虽然这种长度的短篇小说可以作为文本生成的一个很好的测试平台，但还是比一般的短篇小说短很多

Re3框架的初衷是通过生成更长的短故事来弥补当前自动故事生成模型的缺陷。

与短篇小说相比，长篇小说的连贯性和关联性是更重要的问题Re3框架的研究人员也是第一个自动生成如此长的连贯故事模型，进一步增加长度主要受限于评测而非技术问题

该系统必须在数千字内保持一个连贯的整体情节比如用户会给出一个初始前提，模型需要保持与前提的千字关联

其他困难还包括保持叙事风格在较长范围内的一致，避免事实的矛盾。

受此启发，Re3框架也使用类似的方法来生成增长故事。

规划模块

利用GPT3—Instruct—175B的结构化提示，将初始化的前提转化为更详细的故事设定，模拟出一个高层次的人类计划，包括背景，人物+描述，故事大纲。

这些策划组件本身是通过提示生成的，会在草稿模块中反复使用生成故事段落的提示，也就是递归的重新提示。

草稿模块

为了生成一个连贯的故事，草稿模块将选择计划和先前生成的故事最相关的部分，然后将它们重新组合成一个提示，供GPT3—175B生成下一段。

与现有的思维链方法相比，这个故事草稿模块可以看作是更进一步:动态选择先前语言模型输出中与当前步骤相关的部分，并在需要时运行一些额外的处理。

重写模块

重写模块通过混合使用相关性分数，一致性分数和简单的启发式过滤器来重新排序连续性，从而模拟人类的重写。

训练rerankers是Re3框架中唯一使用已有故事数据的地方，其他所有生成模块都是在零镜头设置下通过提示的方式完成的。

为了使任务更具可操作性，研究人员重点关注了人物属性不一致的事实。

在高层次上，检测系统以属性字典的形式为每个角色维护一个紧凑的知识库。

对于每个新的故事段落，只需对照这些属性值字典检查事实冲突，然后为新段落更新字典，并在检测到新字符时创建新字典。

实验部分

每个注释者可以看到一个前提和两个相应的故事，并根据四个指标对这两个生成的故事进行评分。

从结果来看，RE3能够按照预期前提写出长篇故事，同时保持整体剧情连贯，这也验证了受人类写作过程启发的设计选择和递归重提示的生成方式。

与两个基线相比，RE3的一致性和相关性得到了显著的提高，注释者也将RE3的故事标记为具有明显更少的编写问题。

参考资料: