集合论专家 Asaf Karagila 公开批评 OpenAI 关于划分原理的预印本
OpenAI, the Partition Principle, and Mathematics
Asaf Karagila 在博客上批评 OpenAI 关于'划分原理不蕴含选择公理'的预印本,称若投期刊应直接 desk reject。Karagila 指出预印本表述含混、结构奇怪,引用了三份未发表讲义作为参考文献,认为 OpenAI 未请领域专家打磨就把解读负担甩给数学界,构成对学术社区的拒绝服务式消耗。他表示不会兑现此前承诺送给 Sam Altman 一瓶威士忌。
作者是公理选择领域专家,逐条批驳了 OpenAI 这份预印本的写作质量与引用方式,给读者提供了一个可对照的专家审稿视角。
昨天我起床之前,已经有三个人问我是否看到了 OpenAI 宣布"分割原则不蕴含选择公理"的消息。这一天下来问的人还在不断增加,我明白原因。我对这个问题一向特别上心。
确实,至少有两个人问我是否打算如我在Problems页面所承诺的那样给 Sam Altman 寄一瓶威士忌。答案是不会。下面我来解释原因,以及为什么你应该对 OpenAI 感到愤怒。
先让我把一件事说清楚。我并不完全反对使用 AI。我理解它是一种工具,许多人觉得它有用,我也乐于承认它确实有可取之处。我认为,在我们急于全身投入之前,需要更好地理解这项技术如何改变我们的领域,以及我们希望如何使用它。这就是我通常避免在数学中使用 AI 的原因(我很乐意让 LLM 帮我整合信息,或者生成一张有用的信息图,或者帮我校对邮件等等),在我看来,目前缺失的正是一种使用它的框架。不过,我们仍处在探索阶段,人们在用它,我们看到后果逐渐显现,社群可以决定是进一步采纳还是限制其使用。例如,arXiv 由于这些工具的影响而引入了限流,而且几乎所有论文如今都应当包含一段 AI 声明(我想,即便只是声明未使用 AI)。我们需要决定如何评判作者的贡献——比如,是否要求公开对话记录,或者至少提供给审稿人和编辑?这些问题是我们需要面对并看其走向何方的。
不过,回到分割原则。我粗略浏览了 OpenAI 发布的预印本(没看 Lean 代码,因为我几乎不懂 Lean 的实际用法,而且那部分代码非常庞大)。它写得很差。表述含糊不清、混乱不堪、结构也很奇怪。术语用得"有点别扭",有些定理本不该被证明,却也被以非常奇怪的方式陈述了出来。引理 7.4 同样不是这种论文中该出现的东西,引理 8.1 也是。
还有参考文献的问题。我关于 Bristol 模型的一篇论文被引用作为对称扩张的基本介绍,但这并不是我会选用的参考文献;至少有三种未发表、未经过同行评审、也未上传 arXiv 的讲义被当作参考文献使用(其中包括我自己的那份,被用来指一个我确信曾出现在我本人及他人一些已发表论文中的命题)。对于一份声称解决了一个问题的严肃预印本来说,这不该是你期望看到的样子。
让我把这篇预印本和任何一篇集合论论文进行比较——只要它不涉及我不熟悉的子领域的技术细节。我几乎可以肯定地快速浏览一篇集合论论文,就能大致了解它在做什么。我可能不熟悉某些术语或论证,但就非技术性的内容而言,我应该能够理解其策略和构造。至于我所擅长的领域,也就是关于选择公理(the Axiom of Choice)的论文,我通常只需快速浏览一下,就能大致了解作者做了什么(或打算做什么)。这并不是说我总是对的,或者说我总能完全按作者的本意去理解,但这是我十五年多来的工作,到目前为止我已经相当清楚其中的运作方式。但对于 OpenAI 那篇关于划分原理(the Partition Principle)的论文,这种情况是不可能的。
不,如果这是一篇提交给期刊的学术论文,以它的质量理应被直接拒稿。责任永远在作者一方,他们必须符合并达到该刊物所要求的沟通水准。这就像一篇用瑞典语写的论文,很可能会被《美国数学学会会刊》(Proceedings of the American Mathematical Society)直接拒收,因为责任在作者,他们有义务让读者能够读懂。问题就出在这里。
OpenAI 一口气抛出几百个"解答",写得让人根本无法看懂的"解答",然后期望我们都扑上去,然后呢?感激他们的贡献?为什么?我正忙着完成几篇论文,还指导着若干博士生,同时自己也有很多正在进行的研究工作。我什么时候才该去筛读一篇写得乱七八糟的论文?既然他们都不肯把表述写得更好一点,我又何必费这个心呢?
OpenAI 的新闻稿只是暗示"进展"。但在媒体循环里,对其他所有人而言,这些就成了"解答"。这是一种完美的"鱼与熊掌兼得"的做法。但如果我们当真的话,这等同于一次拒绝服务攻击:停下其他所有事情来弄清楚这一件事。也许有些人在某个问题上钻研了好几年,他们可能真会这么做,但作为一个整体来说……嗯。如果这真的是一次分享研究进展的尝试,那它的写作质量应该好得多,也应该得到该领域真正专家的反馈。OpenAI 是一家很忙的公司,但我相信,如果他们真想真正帮上忙,他们总能抽出时间来联系几位数学家,听取建议和意见——哪怕只是为了产出的质量也好。因为即便这在改进上是一次巨大的飞跃,它离可接受的水准还差得远呢。可是嗨,每个人都可以声称 ChatGPT 解决了一个长期悬而未决的问题(这个关于划分原理的问题已经有一个多世纪的历史了),那 OpenAI 又何必在乎呢?
那我们这些数学家还剩下什么呢?我们面对的是这样一群人——公众、资助机构和政策制定者——他们不是学者,不是专家,不是数学家,也不懂数学研究是怎么做出来的(因为它和生物学、心理学或文献学的研究截然不同),看到这些"成果"就以为可以用机器人取代数学家。这就好比用厨具取代厨师——即便这把刀是自动的,能自己切菜,从那到你想吃的可口饭菜之间,还有着巨大的距离。
在我看来,AI 科技公司希望我们顺从它们的标准,而不是花时间和精力去顺从我们的标准。而我担心这样做根本行不通。所以,不,我短期内不会给 Sam Altman 寄一瓶威士忌,也不打算花时间去通读那篇论文并试图弄清楚它的意思。
标签: chatgpt gen-ai partition principle
想要评论?请给我发邮件!
来源:Hacker News · karagila.org