万维读者网 > 信息时代 > 正文  

离谱!61%中国人写的英语论文会被ChatGPT判为

www.creaders.net | 2023-05-04 22:31:30  新智元导读 | 0条评论 | 查看/发表评论

离谱!61%中国人写的英语论文会被ChatGPT判为

非母语者写的文章=AI生成?气抖冷。

ChatGPT火了以后,用法是真多。

有人拿来寻求人生建议,有人干脆当搜索引擎用,还有人拿来写论文。

论文...可不兴写啊。

美国部分大学已经明令禁止学生使用ChatGPT写作业,还开发了一堆软件来鉴别,判断学生上交的论文是不是GPT生成的。

这里就出了个问题。

有人论文本来就写的烂,判断文本的AI以为是同行写的。

更高的是,中国人写的英文论文被AI判断为AI生成的概率高达61%。

这....这这什么意思?气抖冷!

非母语者不配?

目前,生成式语言模型发展迅速,确实给数字通信带来了巨大进步。

但滥用真的不少。

虽说研究人员已经提出了不少检测方法来区分AI和人类生成的内容,但这些检测方法的公平性和稳定性仍然亟待提高。

为此,研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的GPT检测器的性能。

研究结果显示,这些检测器始终将非母语者写作的样本错误地判定为AI生成的,而母语写作样本则基本能被准确地识别。

此外,研究人员还证明了,用一些简单的策略就可以减轻这种偏见,还能有效地绕过GPT检测器。

离谱!61%中国人写的英语论文会被ChatGPT判为

这说明什么?这说明GPT检测器就看不上语言表达水平不咋地的作者,多叫人生气。

不禁联想到那款判断AI还是真人的游戏,如果对面是真人但你猜是AI,系统就会说,“对方可能会觉得你冒犯了。”

不够复杂=AI生成?

研究人员从一个中国的教育论坛上获取了91篇托福作文,又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文,用来检测7个被大量使用的GPT检测器。

图表中的百分比表示“误判”的比例。即,是由人写的,但检测软件认为是AI生成的。

可以看到数据非常悬殊。

七个检测器中,美国八年级学生写的作文被误判的概率最高才12%,还有两个零误判的GPT。

中国论坛上的托福作文被误判的概率基本全部过半,最高误判概率可达76%。

91篇托福作文中的18篇被所有7个GPT检测器一致认为是AI生成的,而91篇中有89篇,都至少被一个GPT检测器误判。

离谱!61%中国人写的英语论文会被ChatGPT判为

从上图中我们可以看出,被所有7个GPT误判的托福作文在复杂度(Complexity)上明显低于其它论文。

这就印证了开头的那个结论——GPT检测器会对那些语言表达能力有限的作者有一定偏见。

因此,研究人员认为,GPT检测器应该多看点儿非母语者写的文章,样本多了,才能消除偏见。

接下来,研究人员把非母语者写的托福作文扔到了ChatGPT里,丰富一下语言,模仿母语者的用词习惯。

同时作为对照组,把美国八年级小孩儿写的作文也扔到了ChatGPT里,把语言简化了一下,模仿非母语者的写作特点。下图就是修正后的新判定结果。

离谱!61%中国人写的英语论文会被ChatGPT判为

我们可以发现,情况来了个大掉个儿,丰富了语言的托福作文错判率直线下降,低至3%,最高也不过19%。不像之前基本全部过半的错判率。

与之相反,八年级小孩儿写的作文的错判率直线上升,甚至还有一个GPT检测器的错判率高达99%,基本全错。

因为,文章复杂度这个变量出现了变化。

离谱!61%中国人写的英语论文会被ChatGPT判为

这里研究人员就得出了一个结论,非母语者写的东西不地道,复杂度低,容易被错判。

这也就导向了一个技术问题,同时也是一个价值问题。以复杂度来判定AI还是人类是作者,是否合理、全面、严谨。

结果显然不是。

以复杂度为判断标准的情况下,非母语者吃了大亏,因为,他们是非母语者(废话)。

AI润色=人类写的??

研究者认为,加强语言多样性不仅可以减轻对非母语者的偏见,还能让GPT生成的内容绕过GPT检测器。

为了证明这个观点,研究人员选取了2022-2023年间美国大学申请的入学论文题目,输入到ChatGPT-3.5里,一共生成了31篇假论文。

GPT检测器一开始还挺有效,但是第二轮就不行了。这是因为,在第二轮中,研究人员把这些论文又扔到ChatGPT里润色了一下,用一些文学性的语言提升了文本质量。

这样一来,GPT检测器的准确度就从100%直降到了0%。如下图:

离谱!61%中国人写的英语论文会被ChatGPT判为

经过润色的文章复杂度相应也上升了。

离谱!61%中国人写的英语论文会被ChatGPT判为

与此同时,研究人员又用了斯坦福大学145个期末项目报告的题目,让ChatGPT生成摘要。

离谱!61%中国人写的英语论文会被ChatGPT判为

摘要经过润色以后,检测器判断的准确性继续下降。

研究者再次得出结论,润色过的文章很容易被误判,都是AI生成的,两轮就是比一轮强。

GPT检测器?还是欠练

离谱!61%中国人写的英语论文会被ChatGPT判为

言而总之,总而言之,各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。

人的写作也分三六九等,仅靠复杂度判断,不甚合理。

抛开偏见因素不谈,技术本身也亟待改进。

   0


24小时新闻排行榜 更多>>
1 润出国的许太太,成了恒大最后的赢家
2 房价暴涨,美国有房的朋友都哭了
3 这次查到钟南山、李兰娟头上了!
4 视频疯传:章泽天当众狠踩蔚来汽车的老板娘
5 对这件事,俄罗斯有点后悔了

48小时新闻排行榜 更多>>
1 怎么看出一个人有没有钱?专家曝6大特征
2 黑天鹅降临!凌晨,四大消息全面袭来
3 重要转折点已到 所有人和习对着干
4 润出国的许太太,成了恒大最后的赢家
5 一夜之间 中国人都跑了
6 拜登一纸法令威力大 中国电动汽车3大指标暴
7 房价暴涨,美国有房的朋友都哭了
8 这次查到钟南山、李兰娟头上了!
9 将进政治局?彭丽媛在中国官场的脚色日益受
10 全靠中国,新加坡如今已经暴富到让人高攀不
热门专题
1
美国大选
6
中共两会
11
秦刚失踪
2
中美冷战
7
台湾大选
12
火箭军悬案
3
以哈战争
8
李克强猝逝
13
台海风云
4
乌克兰战争
9
中国爆雷
14
战狼外交
5
万维专栏
10
李尚福出事
15
普里戈津
一周博客排行 更多>>
1 她的天才因美貌而被忽视 湮灭之城
2 1364 (图文)红二代披露助毛泽 范学德2
3 给世界“指明”方向后,中国迷 中国社会经
4 风云无定日月有常:中美关系实 阿妞不牛
5 辛峰:社区那条红围巾 万维网友来
6 何与怀:沉沦神州的血祭者 万维网友来
7 莫言现象:中国知识分子的宿命 万维网友来
8 中国梦未来五年,十年和三十年 文庙
9 杀一个无辜的人而救更多的人, 平等性
10 辛峰:保守党大幅领先 搭顺风 万维网友来
一周博文回复排行榜 更多>>
1 巴以冲突引发的讨论 不合群
2 读后感:中国没有中世纪 施化
3 科学不是真理,实践不是检验真 骆驼
4 分享“左媒”知乎的一个帖子。 高鹏
5 消遣一下中国适不适合多党制的 特有理
6 一图胜过千言万语:川普今天大 爪四哥
7 俄国GDP世界前十:西方专家的 随意生活
8 谁买过、用过九阳豆浆机? 体育老师
9 中国美术学院开除的两位77级学 艺萌
10 所谓“毛让站起来,邓使富起来 东田枫叶
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2024. CyberMedia Network/Creaders.NET. All Rights Reserved.