单一模型的多重思维：用于群体智能的贝叶斯变换器
Gemini AI生成的图像
研究人员推出了一种新方法——人口贝叶斯变换器（Population Bayesian Transformers，简称B-Trans），该方法能够使大型语言模型在单一预训练权重集的基础上展现出多样化的模型行为。B-Trans通过将归一化层的偏移视为随机变量，保持了一致性的同时也允许输出的多样性。实验表明，该方法在零样本生成和强化学习场景下，提高了语义多样性和任务表现，超越了传统的确定性模型。此外，这一方法通过汇聚多个模型实例的预测，增强了协同决策的能力。
贝叶斯变压器革新人工智能中的模型多样性
研究人员开发了人口贝叶斯变压器（B-Trans），这一模型增强了传统大型语言模型（LLMs）的多样性和决策能力。B-Trans从一组预训练的权重中生成多个连贯的实例，解决了传统变压器的局限性。
与依赖于确定性参数集的标准变压器模型不同，B-Trans采用了贝叶斯框架。这种方法将归一化层中的偏差类偏移视为随机变量，从而在不需要完整贝叶斯神经网络的计算负担下生成多样的模型实例。
B-Trans的关键特性
- 通过采样实现多样性： B-Trans允许对各种模型实例进行采样，每个实例展现独特行为，同时在任务中保持能力。
- 群体层面的决策： 该模型汇聚多个采样实例的预测，改善探索和决策过程。
在实验中，B-Trans显示出卓越的语义多样性，并在零-shot生成和可验证奖励的强化学习（RLVR）等任务中超越了传统的确定性基准。
相关主题：
群体贝叶斯变换器多样行为贝叶斯神经网络强化学习语义多样性
📰 原始来源： https://arxiv.org/abs/2512.25063v1
所有权利和署名均属于原出版商。