世界多胞体与世界模型

本文记一下我的一个胡思乱想,也不知道有没有现有的论文去研究这个东西,有空我去看看...

FesianXu 20250206 at Wechat Search Team

什么是世界多胞体(World Polytope)呢?我给出的定义是,每一个世界中的事实(Fact),比如『在地球上,太阳从东边出来』、『地球是太阳系中的行星』等等,都可以编码为维超空间里面的一个节点,记作,那么假如当前世界有个事实,构成了事实集合,此时可以从事实集合里面提取出一个多胞体(凸包的N维扩展),记多胞体的节点集合为,可知的真子集,其组成的世界多胞体,如Fig 1的蓝色区块所示(此处为了绘图方便,用二维图形代表多胞体),可以认为是整个世界的知识边界,在其之外是未知知识的空间,其中的淡蓝色圆点表示可以通过世界多胞体节点集合内插(Interpolation)得到,在世界多胞体之内的知识,只要提供了世界多胞体的节点集合(也可以认为是整个世界的最小知识集合),我认为是可以通过大模型去学习然后内插得到其他知识的,最终大模型得以建模整个世界多胞体,我把这个大模型称之为世界模型(World Model)。当然,只提供最小知识集合,整个内插的学习会极其容易过拟合,因此需要提供世界多胞体的体内知识作为预训练,以提高世界大模型的泛化能力,在这个语境下,其实就是提高世界大模型的内插能力。此处,我假设世界大模型是没法进行外推(Extrapolation)的。

一旦有新的知识加入,而且新的知识是世界多胞体的体外知识,这意味着这个知识具有唯一性,不能通过现有的所有知识内插得到。待加入后,得到更新,从而更新整个世界多胞体,如Fig 1所示,此处新增的绿色区块就是新增的新知识带来的其他可内插推理得到的知识,这些知识我感觉也可以通过世界大模型推理得到,但是问题是,正确性是否可以通过大模型保证呢?

从这个视角看,我认为大模型具有提高探索知识内插的能力,但是探索新的知识边界,还是需要人类的助力,以后人与大模型的合作关系,可能是两种:

  1. 探索知识:人类探索知识边界,而大模型负责知识内插,得到更多具有洞见的知识从而启发人类,人类基于这些洞见可能又能继续发现新的知识,形成飞轮,从而整个世界多胞体得到进一步的延展。
  2. 优化模型:人类验证世界大模型内插得到的知识的正确性,优化世界大模型的内插能力。

Fig 1. 蓝色区块的当前的世界多胞体,新增的V0可以构成新的世界多胞体,从而带来更多的知识,如绿色区块所示。