虽然 ChatGPT 等大型语言模型的能力令人印象深刻，但它们也有局限性，因为它们严格遵循特定的公式和措辞。其人工智能检测工具依赖于这样一个事实：“ ChatGPT 倾向于以一致且高度可能的方式生成单词序列中的下一个单词。” 我既不是计算机程序员也不是统计学家，但我注意到文本中的某些属性表明可能涉及人工智能，2 月份，我收集并量化了其中一些特征，希望能够更好地识别人工智能论文并与学生和其他教职员工分享这些特征。
我让 ChatGPT生成了 50 多篇关于早期美国文学的分析文章，这些文章使用了我过去十年教授的课程中的文本和提示。我注意到 AI 文章的特点与我对人工撰写的文章有所不同。以下是我注意到的一些主要特点。
人工智能论文往往直奔主题。人类撰写的论文通常会逐渐引出主题，在切入主题之前提供个人轶事、定义或反问。
人工智能生成的文章通常呈列表形式。它们可能包含编号的正文段落或多个标题和副标题。
人工智能生成的文章段落也经常以公式化的过渡短语开头。例如，以下是 ChatGPT 生成的一篇文章中每个段落的第一个词：
- “首先”
- “相比之下”
- “此外”
- “另一方面”
- “综上所述。”
值得注意的是，人工智能生成的文章比人类撰写的文章更有可能以“此外”，“而且”和“总体而言”开头段落。
人工智能生成的作品通常很平庸。它没有开辟新局面或展现原创性；它的断言听起来很熟悉。
人工智能生成的文本往往以第三人称书写。即使被问及读者回答式的问题，情况也是如此。例如，当我问 ChatGPT 它个人认为埃德加·爱伦·坡的一首诗中哪些地方有趣、有意义或引起共鸣时，它写了六段话，但代词“我”只出现了一次。其余文本以冷静的散文形式描述了这首诗的氛围、主题和语言的运用。Grammarly 在回答的开头说：“很抱歉，但我不能有偏好，因为我是一个人工智能助手，没有情绪或个人观点”，然后是对文本进行类似的临床观察。
人工智能编写的文本倾向于讨论“读者”受到“挑战”去“对抗”意识形态或被“邀请”去“反思”关键话题。相比之下，我发现人类撰写的文本倾向于关注假设“读者”可能“看到”、“感受到”或“学到”的东西。
人工智能写的文章经常出错。人类写作更容易含糊其辞，使用“我认为”、“我觉得”、“这可能意味着……”或“这可能是……”等短语。
人工智能生成的文章往往是重复的。ChatGPT撰写了一篇关于丽贝卡·哈丁·戴维斯短篇小说《铁厂生活》背景的文章，其中五个简短段落包含以下断言：“背景是一个强有力的象征”，“工业城镇本身是背景的核心”，“熔炉的轰鸣声不断提醒人们工业生产的无情节奏”，“背景是人物奋斗和抱负的催化剂”，“背景是当时更大社会问题的缩影”，“背景……是工业化非人性化影响的有力象征。”
AI 写作经常夸张或夸大其词。例如，上面的引文描述了一个“强大的象征”。AI 文章经常将最平凡的话题描述为“开创性的”、“至关重要的”、“受人尊敬的”、“无价的”、“不可磨灭的”、“必不可少的”、“深刻的”或“深刻的”。
人工智能生成的文本经常使用隐喻，有时使用起来很别扭。ChatGPT写了好几篇文章，将写作比作“编织”一幅“丰富”或“复杂的挂毯”或“画”一幅“生动的画”。
人工智能生成的文章往往解释过度。它们经常使用同位语来定义人或术语，例如“玛格丽特·富勒是一位先驱女权主义者和超验主义思想家，她在她的作品中探讨了个人主义、自力更生和寻找意义等主题……”
人工智能生成的学术写作经常使用某些动词。这些动词包括“深入研究”、“阐明”、“突出”、“阐明”、“强调”、“展示”、“体现”、“超越”、“导航”、“培养”、“抓住”、“努力”、“交织”、“拥护”和“努力”。
人工智能生成的文章往往以一个宏大的陈述结尾。 它们谈论“人类状况”、“美国社会”、“寻找意义”或“人类精神的韧性”。文本通常被描述为这些概念变体的“证明”。
人工智能生成的文章经常会虚构来源。ChatGPT可以使用 MLA 风格的文内括号引用和参考文献条目撰写“研究论文”，这些引用看起来正确且令人信服，但所谓的来源通常不存在。在我的实验中，ChatGPT 引用了一篇所谓的文章，题为“爱伦·坡、《厄舍府的倒塌》和哥特式无意识的创造”，它声称这篇文章发表在PMLA，第 96 卷，第 5 期，1981 年，第 900-908 页。引用的作者是一位真正的爱伦·坡学者，但这篇特定的文章并没有出现在他的简历中，虽然PMLA第 96 卷第 5 期确实出现在 1981 年，但那一期PMLA中引用的页面实际上涵盖了两篇文章：一篇关于弗兰肯斯坦，一篇关于抒情诗。
人工智能生成的文章包含幻觉。特德·姜 (Ted Chiang) 关于这一现象的文章对 ChatGPT 等大型语言模型为何会产生虚构事实和错误断言提供了有用的解释。我的人工智能生成的文章引用了不存在的事件、人物和引语。例如，ChatGPT 将可疑的引语“一半是被召唤的，一半是自发的，充满难以掩饰的热情，她狂野的心就在那里”归因于赫尔曼·梅尔维尔 (Herman Melville) 的一篇鲜为人知的短篇小说，但实际文本中没有出现任何类似于该引语的内容。当人工智能生成关于不太经典或最近出版的文学文本的文本时，幻觉更加明显。
这不是一份详尽的清单，我知道其他格式或与其他领域相关的 AI 生成的文本可能具有不同的模式和趋势。我只使用了非常基本的提示，并没有为主题和文章格式之外的输出描述许多具体参数。
还需记住的是，我所描述的属性并非 AI 生成的文本所独有。事实上，我注意到“重要的是……[注意/理解/考虑]”这句话是 AI 生成作品中常见的句子开头，但正如上一句所证明的那样，人类也会使用这些结构。毕竟，大型语言模型是在人类生成的文本上进行训练的。
仅凭这些特征，并不能明确指出文本是由人工智能创建的。除非文本以“作为人工智能语言模型”开头，否则很难说它完全或部分是由人工智能生成的。因此，如果学生提交的内容表明人工智能参与其中，我的第一个行动方案始终是联系学生本人以获取更多信息。我尽量记住，这对学生和教师来说都是一项新技术，我们都在努力适应。