520 万字实测去 AI 味:一个把「读着像 AI」拆成 100+ 项指标的 Skill

一个基于两轮实测语料(1,169 篇、520 万汉字、100+ 项指标、50 万次语义判断)的去 AI 味 skill。它先交付有指标、有原文例句、有具体改法的检测报告,等你回复后再改写。附两轮对照实验、四层指标体系、六次测量失误和被推翻的规则。

图:去 AI 味 Skill 的封面——约 520 万字语料、100+ 项指标、约 50 万次模型语义判断

AI 写代码的能力一年一个台阶,写中文长文却仍然让人读着别扭:满篇「不是 A,而是 B」的对举、密集的破折号和分号、看不懂的比喻。常见的应对是列一张禁用词表、塞一段「去 AI 味 Prompt」——实操下来两个明显痛点:

  • 禁用词表管不住真正的 AI 味。很多文章完全避开了「赋能」「闭环」「抓手」,标点也很克制,读完三段依然一眼就能看出是 AI 写的。
  • 容易乱改、误伤正常表达。把十几条经验规则攒在一起喂给模型直接改稿,模型会非常激进地把自然的设问句、「一、二、三」小标题一并删掉,甚至为了「长短句参差」把顺畅的句子硬生生拆碎。

市面上流传的「AI 味清单」基本来自个案观察和个人语感,从未经过系统检验。开源项目 lieflat-less-ai-tone 换了一条路:从「读着像 AI」这个很难直接验证的主观体验里,找到若干能客观反映模型写作特征的指标,先量化评测,再顺藤摸瓜地从工程和规则上把问题解决掉。

项目:https://github.com/larashero3-dotcom/lieflat-less-ai-tone(5,317 Star · 328 Fork · CC BY-NC 4.0 · Python)

本文数字均来自项目 README、RESEARCH.md、DETECT.md、SKILL.md,非引用二手报道。


01 · 核心思路:三件事

把「去 AI 味」做成一套可靠的 Skill,作者拆成三个问题:

  1. 怎么把脚本数不出来的「AI 味」真正测准? 决定能不能抓到藏在句子意思和上下文里的深层习惯。
  2. 哪些语言特征真正影响阅读体验? 决定改写规则往哪里发力。
  3. 拿到指标后如何管住模型的手? 决定改写过程能否在清理套路的同时,不误伤作者原本的正常表达。

两个贯穿的原则:有效——每个指标能简洁直接地对应一个可定位的句法或篇章问题;可靠——评测与改写前后的变化尽量可量化,避免凭感觉盲改。

02 · 两轮实验:629 篇对照 + 270 对配对复测

第一轮:629 篇对照

同一批话题,五个模型各写 60 篇,与 329 篇人类作者文章对照:

侧篇汉字句段
AI 生成3001,179,10537,64214,549
人类3291,647,86757,90931,172
合计6292,826,97295,55145,721

模型:claude-opus-4-6、deepseek-v4-pro、gemini-3.1-pro、gpt-5.6-sol、kimi-k3。人类侧分组独立统计,用来检验差异在人类内部是否稳定——某一项只在个别组偏高,说明那是个人风格或文体特征,不是人类共性。

判定采用倍率 R = 生成侧频率 ÷ 人类侧频率:

R判定
≥ 2.0收录为规则
1.25 – 2.0需人类侧组间一致且绝对量足
0.8 – 1.25无差异,不收
< 0.8人类更多,反向也不能删

另有三项附加条件:组间一致性(极差 ≤ 5 倍)、算子可定位性(能指出改哪一句)、改写可操作性(「补虚词」无法验收,整项弃用)。

第二轮:270 对同题同事实配对复测

第一轮的根本缺陷是不配对——AI 和人类写的题目、事实、长度都不同,测到的差异可能是话题差异。一个典型例子:不配对时「AI 精确数字是人类 3 倍」,同事实配对后 δ 归零(−0.06)——差异全来自话题。

第二轮收紧:把人类文章里的数字、事件提炼成任务卡发给 AI,让它在同样的事实约束下写同题文章。人类侧 270 篇;AI 侧 GPT-5.6 × 135 + Claude Opus 4.6 × 135,分开统计。三层测量标准:

层工具测什么规模
脚本层Python 正则 + 统计90 项可计算指标:标点密度、句长分布、词汇多样性(mtld/mattr)、欧化构式、小节几何、段落桥接、正式度波动、四字词、黑名单词540 篇全量,配对 Wilcoxon + Cliff’s δ,|δ|≥0.33 显著
语义层结构化判断接口(Jev)9 项脚本测不了的语义指标:结论提示冒号、密集并列、序数词小标题、相邻句同构、段首零回指、句间段间衔接、「这意味着」复述、概括替代具体信息、拟人化喻体 + 活跃暗喻密度约 50 万次判断(第二轮 43.1 万 + 增补轮回指/同义重命名约 11 万)、1.92 万次请求、3.54 亿 token,全部落盘可复算
人工层逐句标注 + 抽样复核比喻贴切度、判据误判率AI 比喻失败模式归纳:硬套宏大意象、直译腔、混合比喻、三连标题

一个特征在某一层测量中显著即可成立,不需要三层全通过。

03 · 四层证据强度的最终指标

δ 是什么:随机抽一篇 AI 文和一篇人类文对比,「AI 更多」的概率减去「AI 更少」的概率。正数=AI 比人类多,绝对值越大差距越大,0.33 以上算显著,0.66 以上算差距很大。

第一层:跨模型通用显著指标(9 条)

脚本层、语义层、人工层共同测出,GPT-5.6 和 Opus-4.6 同向显著:

特征脚本层证据(GPT δ / Opus δ)语义层证据方向与例句
欧化构式「不是 A 而是 B」+0.88 / +0.72(最强纯写作信号)密集并列 1.45 倍「用户购买的不是模型参数,而是一件每天要戴、需要充电、还会出现在社交场合的物品」
用词不敢重复(mtld/mattr)+0.91/+0.55、+0.75/+0.55—同一段里「优化/增强/提升/提高」轮着用。人类会反复用同一个词,AI 换着说
结构切得太碎小节长度方差 −0.91/−0.75、小标题密度 +0.65/+0.83、每节句数 −0.63/−0.79、小节数 +0.51/+0.70(中位数 AI 7 vs 人类 1)—AI 文 1.3–1.7 个小标题/千字(3000–6000 字切 5–9 节),人类整篇连写、按自然话题换段
句长/节奏太均匀句长方差 −0.88/−0.40、逗号小句长方差 −0.87(GPT)—第一轮抽样中 AI 文句长 CV 0.41–0.55、人类 0.67;配对复测人类参考值 0.54。两轮口径不可混用
前置定语长(欧化)+0.48 / +0.54—「它还不是一套能够在任何餐桌上完全自动运行的系统」——中心词前挂了二十来字的修饰
结论提示冒号冒号总密度人类反而多(−0.37/−0.31)「结论提示」AI 2.1 倍(「核心是:」「残酷的现实是:」)「这组数字传递出一个残酷的现实:……三个月是第一道坎,半年是生死线」
衔接过度顺滑—AI 段间跳转 2.1% vs 人类 7.2%连续多段以「这也解释了为什么……」开头(实测 30 篇里"这也解释了"起段 10 次);人类每 14 段就有一次直接跳到新话题,AI 每 50 段才一次
密集并列/枚举顿号 +0.56(GPT)、分号 +0.80(GPT)AI 7.845 vs 人类 5.398 每千字(1.45 倍)「火锅、快餐、家庭聚餐和独自进食,不同光线、不同穿着、……」一句连排多个场景维度
比喻贴切度差正则只能数比喻标记词,标记词密度人类反而多 2.4 倍六个大模型两两共识仅 0–40%,最高分段 22 句里 9 句误报人工层确证。失败模式:硬套宏大意象(“窄门"“三根支柱”)、直译腔(“钢夹”)、混合比喻(“坠崖+松动地板”)、三连标题。Skill 默认保留原文比喻

一次重要的二次否决:初次语义测评发现 24.7% 的可比较段落从具体信息变得更概括,曾据此设立改写规则。改用对称口径复查后,向相反方向变化的比例为 26.0%,净差近零;精确数字密度在配对复测中也无差异。「概括替代」已从改写规则降为 X 级,不再据此删改。

第二层:分模型指纹(10 条)

特征本质是高度重复的表层习惯——破折号用多少、句子多长、爱不爱分号。这类指标必须分模型报告,合并口径会抵消方向相反的真信号:

特征GPT-5.6Claude Opus 4.6含义
破折号−0.54(比人类还少)+0.95(100% 文章使用)方向完全相反。Opus 例:「在营收急剧收缩的压力下,公司迅速启动了大规模的营销开支削减——最先被砍掉的,正是搜索广告和效果投放」
每小句「的」字−0.75+0.62GPT 比人类少,Opus 比人类多
引号≈0−0.67Opus 明显不爱用引号
分号 / 顿号+0.80 / +0.56−0.11 / +0.14GPT 专属。例:「准确率可以超过 90%;到了中餐火锅,准确率约为 70% 至 80%;遇到糊状食物,则需要用户通过语音或事后手动补充」——三档场景用两个分号串成一句
句子结构绕(单动词句少等)全显著全不显著GPT 专属。① 单动词句少(δ−0.72):动词连环堆叠。② 静态句少(δ−0.71):偏爱把一切都写成动作过程。③ 主谓距离短(δ−0.62):人类常在主谓之间插一大段
少提问−0.59−0.12GPT 明显不爱提问
长句少/中句多−0.68/+0.81+0.05/+0.04GPT 句长集中在中档(25–45 字),几乎没有 6–12 字的短促句收尾
焦点后置+0.05+0.47Opus 专属:新信息压在句尾,铺垫占前大半句。「定价权不在工厂手里,品牌归属也不在工厂手里,工厂只是全球供应链上那个沉默的、可以被随时替换的生产节点」
活跃暗喻密度2.099 ≈ 人类 2.0662.851Opus 专属的研究观察,不是通用删改依据

第三层:不够显著的指标(实测不是 AI 味)

特征证据
段首零回指评论AI 4.9% vs 人类 3.3%(约 1.5 倍,弱信号)
相邻句高度同构AI 8.71% vs 5.52%(1.6 倍,三连 2.75 倍)
AI 堆精确数字δ −0.06,话题混杂假象,配对后消失
赋能/闭环/抓手等黑名单词δ +0.10,配对同事实后无差
「首先/其次/总之」连接词δ +0.02,对当代模型彻底失效
「这意味着」式空转复述人类反而多(三项口径全反)

04 · 三层检测 + 六级改写分级

Skill 的核心工作流不是「给一句话直接改」,而是先检测 → 交付报告 → 等用户回复 → 再改写 → 复测对比:

# 第一步:脚本检测(只报告,不改写;--json 存档供第四步用)
python3 scripts/detect.py <文件或目录> --json > /tmp/before.json

# 第 1.5 步:语义层候选抽取 + 会话内模型按封闭判据判读
python3 scripts/detect.py <文件> --candidates --out /tmp/candidates.json

# 第二步:模型复核命中,交付本篇指标、研究参照、例句、改法和排除项;等待用户回复

# 第三步:收到用户回复后按规则改写

# 第四步:复测 + 前后对比报告
python3 scripts/detect.py <改后文件> --json > /tmp/after.json
python3 scripts/report.py 原文 改后文 /tmp/before.json /tmp/after.json \
    --semantic /tmp/candidates_labeled.json --out 去AI味报告.md

检测报告按改动风险(不是特征强度)分六级:

级含义处理
A 机械改固定句式/标点,改动不触碰语义模型复核误报后给出建议;用户回复后改
B 建议改需句式重组或换说法模型逐条筛选,报告典型例句和改法;用户回复后改
C 只报告结构/节奏,超出白名单默认不改;用户主动要求时再处理
H 人审区模型判不准贴切度的(拟人喻体、比喻、暗喻)默认保留;用户主动要求时再列清单
X 已否决实测不是 AI 味(配对复测反向)永不改,报告里出现是为了防止误改
F 指纹分模型特征(破折号/分号/引号)可定位且能安全改写的命中默认建议改;保留须给具体理由

六条改写原则防过度清理:最小改动、信息守恒(改写后每个实词须能在原文指出出处)、不制造参差(句长离散度人机无差异,不为节奏改句长)、结构不动(小标题编号不改)、有风格参考先读参考、改完自查三件事。

05 · 六次测量失误 + 三条被推翻的规则

RESEARCH.md 里记录的方法论教训是这套工作最诚实的部分——每一次都是拿宽泛的正则去测一条有精确定义的规则,或者用了错的分母。先看到数字、后看命中内容导致的。

六次典型失误:

  1. 长前置定语 3.04/千字 → 正则把「质量管理是从 0 到 1 阶段最容易被忽视的问题」这种普通句子算成长定语。收紧后 0.35。
  2. 并列连词 0.26 → 规则写的是「一句内两次以上」,正则测的是单个「而且/并且」。按规则测是 0.00。
  3. 「的…的…的」连用 0.25 → 正则跨顿号匹配,把「巴西的 LGPD、印度的 DPDPA、日本的 APPI」这种正常并列算成嵌套定语。收紧后 0.06。
  4. 提示性冒号 5.97 vs 5.45(无差异) → 正则是「汉字+冒号」,6431 处命中里标题 1266、列表 1225、对话 207,全是规则明确不改的。按定义测是 0.32 vs 0.08。
  5. 问句小标题 32 倍 → 分母用每千字,而 AI 平均每篇 10 个小标题、人类 1-2 个。换成占小标题的比例,AI 2.7%、人类最高 3.6%,无差异。
  6. 比喻包装 0.000 → 正则是写死的 11 词表,而实际比喻(「像一栋楼的门禁」)一个词都不在表里。改测构式后发现人类比 AI 多 2.4 倍,方向与预设相反。

三条规则在配对复测中被推翻:

规则第一轮配对复测结论
序数词小标题 3.1×AI 0.19 / 人类 0.06反转:人类 8.6% vs AI 4.9%「AI 爱用一二三编号」是错觉;AI 爱的是多分节,不是编号
「这意味着」复述 2.6–5.3×翻译腔收录反向:人类 0.027 vs AI 0.016/千字人类更爱「换句话说」式复述
空转句引列表 9.4×冒号滥用之一反向:人类高一个量级目录式长文的正常写法

操作纪律:改规则前先抽样看 20 条命中,再看频率。涉及结构元素的指标,分母必须是同类元素总数。

06 · 一条完整的案例

仓库里带了一个端到端的完整示例:《Agent 的记忆问题:为什么你的 AI 助手总在失忆》。改前检测、改后全文、左右两列 HTML 对照页和复测结论放在同一个文件夹里:

阶段产出
原始输入原稿
改前检测脚本与语义指标、研究参照、原文例句、具体改法和保留范围
改写改后全文,可直接使用
对照左右两列 HTML,逐段查看删去和新增的文字
复测核对剩余命中、误报和内容守恒

报告示例(Skill 官方文档示范段落):

脚本在本文找到 2 处「不是 A 而是 B」式对举,密度 0.763 次/千字;第一轮人类参考约 0.22 次/千字,配对复测中 GPT 与 Opus 也同向偏高。第 13 行「不是冰箱的容量,而是……」和第 76 行「不是存更多,而是分清楚」都在段落结论位置。建议把判断直接说出来,同时保留容量与存储量这两个限定,不把反面信息整句删掉。

07 · 局限(作者自己列的)

  1. 语义层是单模型判断,抽样复核误判 15–30%,方向可信、精确百分点不可信
  2. 人类语料组间差异大(破折号极差百倍),扩充语料可能改变部分结论
  3. 模型迭代持续向人类文风收敛,所有频率数值是特定时点观测
  4. 比喻贴切度、案例是否凑数、参差的质量,机器测不了,只能人审

还有一条更硬的:语料因版权不入库,数字第三方无法直接核验。能复用的是方法、判定阈值和算子定义,全部在脚本内公开。换成自有语料即可重算全部指标。

08 · 装上试试

npx skills add larashero3-dotcom/lieflat-less-ai-tone

也可以直接让支持 Agent Skills 的 AI 安装仓库里的 skill。安装后给 AI 一篇成稿,它会先运行脚本并判读语义候选,交付有研究参照、原文例句和具体改法的检测报告;你回复「按建议改」或调整范围后,它才改写、复测并生成前后对比。


仓库:https://github.com/larashero3-dotcom/lieflat-less-ai-tone 许可:CC BY-NC 4.0(商用授权联系作者)

方法论上最值得学的不是那 9 条 AI 味指标本身,而是「先量化评测、再顺藤摸瓜定规则」的工作流,以及把六次测量失误和三条被推翻的规则一并公开的诚实——它把「读着像 AI」这个主观体验,拆成了 100+ 项可计算、可复算的指标。