在变分自编码器中探索变换器在表格数据生成中的位置
Gemini AI生成的图像
一项研究探讨了将变压器（Transformers）集成到变分自编码器（VAEs）中，以提升其在表格数据建模中的表现。研究人员在57个OpenML CC18数据集上进行测试，发现将变压器放置在潜变量和解码器组件中，形成了保真度与多样性之间的权衡。此外，他们还注意到解码器的输入与输出之间的关系几乎是线性的，这揭示了变压器模块中存在的一致模式。
变压器增强变分自编码器以生成表格数据
最近的研究揭示了将变压器模型集成到变分自编码器（VAE）中以生成表格数据的潜力。通过分析OpenML CC18套件中的57个数据集，该研究提供了有关变压器与VAE结构适应性的见解。
研究的主要发现
该研究强调了两个主要结论：
- 变压器位置：在潜在表示和解码器表示中放置变压器，会在生成数据的保真度和多样性之间形成权衡。
- 块相似性：观察到变压器连续块之间存在显著的相似性，尤其是在解码器中，输入与输出之间的关系近似线性。
这些发现表明，尽管变压器增强了VAE的生成能力，但精确的放置对于平衡生成数据的质量和变异性至关重要。
相关主题：
变分自编码器变压器表格数据特征交互混合数据类型
📰 原始来源： https://arxiv.org/abs/2601.20854v1
所有权利和署名均属于原出版商。