研究综述:AI 与人类的语言差异
本文档长期更新,欢迎收藏。如果你的研究引用了本文的结论,请注明出处。
Alex Reinhart 等, 2025
Do LLMs write like humans? Variation in grammatical and rhetorical styles | PNAS
关键词:corpus linguistics;large language models;natural language processing;writing style
本篇研究的综述 work in progress.
结论
- 提示词微调对 AI 输出风格影响更大,而不是模型训练过程。
- LLMs 不会像人类那样根据语境因素改变语言输出风格。人类会在特定语境下克制某些词的使用,而不是在所有情况下都克制。
larashero3-dotcom, 2026
关键词:生成文本识别;中文句法;语料库语言学;篇章衔接;对照研究
larashero3-dotcom 基于 283 万字的汉语语料统计,通过正则表达式匹配并计算频率因子,开发了一个“去 AI 味” AI Skill,并将研究报告与成果托管于 GitHub。笔者认为其研究过程有失严谨性,但结论有一定参考价值。
研究过程
- 数据采集:生成侧语料料由不同的 AI 提供,以此增强结论普适性;生成时不开启联网搜索,不提供写作风格指令。人类侧为公开发表文本。
- 算子实现:通过正则表达式匹配文本模式,作者自述为“本研究方法链中最薄弱者”,“正则匹配字面形态而不解析语义”。为减少测量失误,作者先抽取 20 条命中算子的实例,检查后再人工决定是否采信。设计算子时,排除需依赖语义理解的算子
- 数据清洗:分句、剔除非正文、分段。人类侧文本,按照来源分组使用算子进行统计,剔除组间差异大的算子,以此减少个人文风对结论的影响。
- 结果处理:对于每个算子,定义因子 生成侧频率 人类侧频率 作为主要判据。 视为无区分力。
结论
由此作者得出了通过校验的特征,其中区分力最强的的一项是 “段首零回指评论”,作者描述如下:
生成文本在新段落起首处直接给出评价(“听起来像一条功能描述”“值得注意的是”),未标示评价对象,读者须回溯上文方能确定所指。值得注意的是,段首衔接词的总体密度两侧无差异(生成 14.4%,人类 15.1%),差异仅在于评价句省略回指成分。补入一个指示代词即可恢复衔接。
完整结论(原文)
| 编号 | 特征 | 测量结果 | R |
|---|---|---|---|
| 1 | 对举结构(不是 A 而是 B) | 生成 0.73 / 人类 0.22 | 3.4 |
| 2 | 顿号并列过密 | 生成 3.21 / 人类 1.78 | 1.8 |
| 3 | 相邻句结构同构 | 每百段 生成 9.41 / 人类 4.81 | 2.0 |
| 4 | 破折号 | 生成 2.38 / 人类 0.80 | 3.0 |
| 5 | 冒号滥用 | 提示语 生成 0.29 / 人类 0.08;空转句引列表 0.29 / 0.03 | 3.8 / 9.4 |
| 6 | 序数词充当小标题 | 生成 0.19 / 人类 0.06 | 3.1 |
| 7 | 拟人化喻体 | 生成 0.018 / 人类 0.002 | 7.3 |
| 8 | 概括表述覆盖已有数据 | 数字密度 生成 6.34 / 人类 17.92 | 0.35(反向) |
| 9 | 起首语(说白了) | 生成 0.025 / 人类 0.008 | 3.2 |
| 10 | 译文句式(5 种) | 见 3.4 | 2.6–5.3 |
| 11 | 段首零回指评论 | 占非首段 生成 0.61% / 人类 0.14% | 4.4 |
通过检验的特征集中于篇章与结构层面,而非词汇或标点层面。区分力最强的第 11 项即属篇章衔接问题:生成文本在新段落起首处直接给出评价("听起来像一条功能描述""值得注意的是"),未标示评价对象,读者须回溯上文方能确定所指。值得注意的是,段首衔接词的总体密度两侧无差异(生成 14.4%,人类 15.1%),差异仅在于评价句省略回指成分。补入一个指示代词即可恢复衔接。
研究同时发现不同 AI 模型间的测量结果差异很大且不可忽略,说明不同 AI 的语言特点表现不同。
例如破折号,DeepSeek 每千字 5.16 次、Claude 4.25 次,而 GPT 只有 0.11 次,极差达四十倍;提示性冒号最重的是 DeepSeek 与 Claude,问句小标题最重的是 Gemini。所谓“AI 文风”并非单一形态。
作者由此引出两条结论:
- 不存在统一的"AI 文风",模型个体差异不可忽略。
- 基于单一模型样本得出的特征描述不具普适性。
完整结论(原文)
| 特征 | Claude | DeepSeek | Gemini | GPT | Kimi |
|---|---|---|---|---|---|
| 破折号 | 4.25 | 5.16 | 0.51 | 0.11 | 2.32 |
| 提示性冒号 | 0.38 | 0.43 | 0.22 | 0.25 | 0.32 |
| 对举结构 | 0.61 | 0.86 | 0.29 | 1.26 | 0.51 |
| 序数词小标题 | 1.00 | 0.69 | 0.22 | 0.73 | 0.82 |
| 过长前置定语 | 0.64 | 0.65 | 0.48 | 0.06 | 0.22 |
| 问句小标题 | 0.043 | 0.086 | 0.173 | 0.008 | 0.000 |