张亚勤：大模型做对了三件事，还需三大改进

　　日前举办的人工智能行业盛会“2024北京智源大会”上，零一万物CEO李开复与清华大学智能产业研究院院长、智源学术顾问委员张亚勤进行了一场尖峰对话。

　　在对话中，李开复强调，大模型是AI有史以来最大的革命，人类能够用更多计算和数据不断让它增加智慧，目前还在推进中，这是令人振奋的事情。当然挑战也非常多，例如当前主要靠算力推动，使得掌握GPU资源的国家处在优势地位;再如因为数据问题，大模型不知道“最近一年发生了什么”。当然，随着人类社会加大研究，李开复对大模型的未来十分乐观。

　　张亚勤则谈到，大模型做对了三件事，还需三大改进。

　　做对了哪三件事?一是规模法则(Scaling Law)，得益于对海量数据的利用以及算力的显著提升，再加上现在的Diffusion和Transformer架构能够高效地利用算力和数据，使得“飞轮效应”得以正循环。尽管有人质疑Scaling Law在2~3年后是否仍然有效，但至少在未来5年里，它仍将是大模型发展的主要方向。

　　二是“Token Beist”。在大模型中，“Token”是一个基本元素，无论是文本、语音、图像、视频、自动驾驶，甚至是生物领域的蛋白质和细胞，最终都可以抽象为一个Token。Token之间的训练、学习和生成是核心环节，这与人类大脑中的神经元工作原理相似，无论执行何种任务，其基础机制都是相同的。

　　三是通用性。通用性不仅体现在文本处理上，还扩展到了多模态领域，甚至可以生成如蛋白质等复杂结构。此外，它在物理世界(如具身智能)和生物世界(如生物智能)中也有着广泛的应用前景。

　　此外大模型还需要做三大改进。一是效率，人类大脑拥有860亿个神经元，每个神经元又有数千个突触连接，却只需要20瓦的能量，重量还不到三斤;而大模型还依靠大量堆积GPU，需要建立真正的商业模式，大幅度提升效率。

　　二是大模型没有真正理解物理世界。当前做的再好的大模型，在生成式和对世界真实的表述之间存在矛盾，人类需要探索如何将生成式的概率大模型与现有的“第一性原理”或真实模型、知识图谱相结合。张亚勤认为，未来 5年会有全新的架构替代现在的Transformer和Diffusion模型。

　　三是欠缺边界。大模型现在不明白“我不知道什么”，需要业界解决这个难题。