博海拾贝

国产大模型对GPT-4o也不是没有一战之力

@阑夕:极客公园做了一次相当完整的测试,把主流大模型全都牵了出来去做高考全科试卷,用的还是新课标I卷,这比简单写篇命题作文的参考性要高得多。

先说结果吧,大模型做文科题几乎就是在打表演赛。这应该不意外,「政史地」的拿分点主要在于信息储备,正是AI比较擅长的地方。

以河南省的本科录取线为标准,总共有4个大模型冲进了文科1本线。一句话,靠记忆驱动的科目,大模型战无不胜。这方面,国产大模型几乎达到GPT水准。

但转头去看「理化生」,就成了车祸现场。没有一家能够摸到511的1本线,一半以上的大模型连400分都考不到,不知道该不该安排明年回去复读。不过在理科测试的集体摆烂里,还是能看到一些好消息的。

从竞争角度看,以前外界普遍认为GPT不可战胜。原因无非是从先发优势、算力、芯片角度展开,现在来看,GPT没有出现断层式的领先,第一梯队的国产大模型都是有一战之力的,以后的追赶速度应该不会太慢。

而且,中、外大模型的「长板」很接近,「短板」也大差不差。很多科目里,国产大模型的表现超过了GPT-4o。其中还有起步相对较晚的字节豆包,语文分数比GPT-4o还高,历史和化学两科更是拿到「全校」第一。可见硬件之外,高质量的微调和监督学习或许也是一种行之有效的加速度。

一次小试牛刀当然不值得沾沾自喜了,但还是让我们看到了弯道超车的可能性。

我更希望这场测试可以把大模型造神运动拉回正轨。与其去指望大模型全知全能,不如让它成为一项实打实的新质生产力。让祖冲之这样的天才,不需要去消耗大量心血人肉计算「圆周率」,而把才华投向更有价值的议题。毕竟人类强大的推理能力放着不用,完全是一种资源浪费。

很有意思的是,因为很多题目涉及到读图,而各家大模型的识图准确度又参差不齐,所以经常会在没搞明白问题的情况下「连蒙带猜」,这反而对大模型的逻辑推理能力有了额外的考验。

前段时间看李飞飞说AI的技术瓶颈还是在于缺少感知力,比如饥饿是一种怎样的感受,失去生命又如何会让人恐惧,为什么不能直视刺眼的阳光,等等,AI或许可以解释,但它实际上并不理解。

把大模型们当成做题家赶进考场,场面固然稍微细想就很喜感,它们也不可能身临其境的复刻考生们真实背负的那些紧张或兴奋,但这一步的跨越已经足够惊人,甚至可以说是栩栩如生,让机器来考进1本、2本线,这在以前是根本想不到的事情。

我也很建议极客公园立下一年之约,明年今日再来考一次,看看到时候会不会有大模型可以考进清北,如果有,又会是哪一家或者哪几家?

你们也可以预测一下,明年我来翻牌子。

退出移动版