跳到主要内容

研究综述:AI 与人类的语言差异

备注

本文档长期更新,欢迎收藏。如果你的研究引用了本文的结论,请注明出处。

Alex Reinhart 等, 2025

Do LLMs write like humans? Variation in grammatical and rhetorical styles | PNAS

关键词:corpus linguistics;large language models;natural language processing;writing style

备注

本篇研究的综述 work in progress.

结论

  1. 提示词微调对 AI 输出风格影响更大,而不是模型训练过程。
  2. LLMs 不会像人类那样根据语境因素改变语言输出风格。人类会在特定语境下克制某些词的使用,而不是在所有情况下都克制。

larashero3-dotcom, 2026

关键词:生成文本识别;中文句法;语料库语言学;篇章衔接;对照研究

larashero3-dotcom 基于 283 万字的汉语语料统计,通过正则表达式匹配并计算频率因子,开发了一个“去 AI 味” AI Skill,并将研究报告与成果托管于 GitHub。笔者认为其研究过程有失严谨性,但结论有一定参考价值。

研究过程

  1. 数据采集:生成侧语料料由不同的 AI 提供,以此增强结论普适性;生成时不开启联网搜索,不提供写作风格指令。人类侧为公开发表文本。
  2. 算子实现:通过正则表达式匹配文本模式,作者自述为“本研究方法链中最薄弱者”,“正则匹配字面形态而不解析语义”。为减少测量失误,作者先抽取 20 条命中算子的实例,检查后再人工决定是否采信。设计算子时,排除需依赖语义理解的算子
  3. 数据清洗:分句、剔除非正文、分段。人类侧文本,按照来源分组使用算子进行统计,剔除组间差异大的算子,以此减少个人文风对结论的影响。
  4. 结果处理:对于每个算子,定义因子 R=R= 生成侧频率 ÷\div 人类侧频率 作为主要判据。R<1.25R\lt1.25 视为无区分力。

结论

由此作者得出了通过校验的特征,其中区分力最强的的一项是 “段首零回指评论”,作者描述如下:

生成文本在新段落起首处直接给出评价(“听起来像一条功能描述”“值得注意的是”),未标示评价对象,读者须回溯上文方能确定所指。值得注意的是,段首衔接词的总体密度两侧无差异(生成 14.4%,人类 15.1%),差异仅在于评价句省略回指成分。补入一个指示代词即可恢复衔接。

完整结论(原文)
编号特征测量结果R
1对举结构(不是 A 而是 B)生成 0.73 / 人类 0.223.4
2顿号并列过密生成 3.21 / 人类 1.781.8
3相邻句结构同构每百段 生成 9.41 / 人类 4.812.0
4破折号生成 2.38 / 人类 0.803.0
5冒号滥用提示语 生成 0.29 / 人类 0.08;空转句引列表 0.29 / 0.033.8 / 9.4
6序数词充当小标题生成 0.19 / 人类 0.063.1
7拟人化喻体生成 0.018 / 人类 0.0027.3
8概括表述覆盖已有数据数字密度 生成 6.34 / 人类 17.920.35(反向)
9起首语(说白了)生成 0.025 / 人类 0.0083.2
10译文句式(5 种)见 3.42.6–5.3
11段首零回指评论占非首段 生成 0.61% / 人类 0.14%4.4

通过检验的特征集中于篇章与结构层面,而非词汇或标点层面。区分力最强的第 11 项即属篇章衔接问题:生成文本在新段落起首处直接给出评价("听起来像一条功能描述""值得注意的是"),未标示评价对象,读者须回溯上文方能确定所指。值得注意的是,段首衔接词的总体密度两侧无差异(生成 14.4%,人类 15.1%),差异仅在于评价句省略回指成分。补入一个指示代词即可恢复衔接。

研究同时发现不同 AI 模型间的测量结果差异很大且不可忽略,说明不同 AI 的语言特点表现不同。

例如破折号,DeepSeek 每千字 5.16 次、Claude 4.25 次,而 GPT 只有 0.11 次,极差达四十倍;提示性冒号最重的是 DeepSeek 与 Claude,问句小标题最重的是 Gemini。所谓“AI 文风”并非单一形态。

作者由此引出两条结论:

  1. 不存在统一的"AI 文风",模型个体差异不可忽略。
  2. 基于单一模型样本得出的特征描述不具普适性。
完整结论(原文)
特征ClaudeDeepSeekGeminiGPTKimi
破折号4.255.160.510.112.32
提示性冒号0.380.430.220.250.32
对举结构0.610.860.291.260.51
序数词小标题1.000.690.220.730.82
过长前置定语0.640.650.480.060.22
问句小标题0.0430.0860.1730.0080.000