
扩散预训练的稠密和上下文嵌入
新的pplx-embed多语言嵌入模型系列采用多阶段对比学习,基于扩散预训练的骨干网络,旨在提升网络规模检索的效果。此次发布了两个版本:pplx-embed-v1适用于标准任务,而pplx-embed-context-v1则专注于上下文嵌入。后者在ConTEB基准测试中表现出色,同时这两个模型在多个其他检索基准和内部评估中也取得了良好成绩,表明它们在大规模搜索应用中的可靠性。

新的pplx-embed多语言嵌入模型系列采用多阶段对比学习,基于扩散预训练的骨干网络,旨在提升网络规模检索的效果。此次发布了两个版本:pplx-embed-v1适用于标准任务,而pplx-embed-context-v1则专注于上下文嵌入。后者在ConTEB基准测试中表现出色,同时这两个模型在多个其他检索基准和内部评估中也取得了良好成绩,表明它们在大规模搜索应用中的可靠性。

研究人员推出了DiNa-LRM,这是一种扩散本地潜在奖励模型,能够直接在噪声扩散状态上优化偏好学习。这种方法采用了经过噪声校准的Thurstone似然,提升了对齐效率。DiNa-LRM在性能上超越了现有的基于扩散的奖励系统,并与领先的视觉-语言模型相抗衡,在模型对齐过程中在速度和资源使用方面实现了显著提升。

研究人员推出了一种新型优化方法SCRAPL(基于随机路径的散射变换用于机器学习),旨在简化小波散射变换在神经网络训练中的应用。SCRAPL采用随机方法,提高了联合时频散射变换在声音模式分析中的效率,尤其适用于颗粒合成和与Roland TR-808的匹配。该方法还引入了一种重要性采样启发式策略,以改善模型的收敛性和性能。相关代码和音频样本已作为Python包发布,便于在音频处理任务中更广泛地应用。

在过去一周,包括两位联合创始人在内的九名工程师公开离开了xAI,显示出公司可能面临不稳定局面。尽管早些时候就有部分离职情况被提及,但近期的离职潮引发了人们对公司发展方向和人才留存的担忧。这一趋势可能会对正在进行的项目及投资者信心产生影响。

美国海关和边境保护局已拨款22.5万美元,用于购买Clearview AI的为期一年的订阅服务。这款面部识别软件能够将图像与数十亿张公开来源的照片数据库进行比对。这一决定引发了对监控行为的隐私担忧,因为该技术可能在未获得个人同意的情况下识别出特定个体。

Meridian正式推出其隐秘研发的创新IDE平台,旨在通过人工智能提升财务建模效率。该工具专注于自动化复杂的电子表格任务,解决了常见的低效问题。Meridian的这一方法有望简化企业的财务分析和决策流程,可能会减少对传统电子表格方法的依赖。

本文讨论了一项新推出的功能,该功能允许用户通过文本或图像提示生成内容。用户被提醒在最终确认订单之前务必核实内容,这暗示输出结果可能存在问题。这突显了用户在有效使用该工具时的谨慎态度的重要性。

一种名为“黎曼流匹配与雅可比正则化”(RJF)的新方法,解决了扩散变换器在从表示编码器生成高保真输出时的收敛问题。通过关注流形测地线并修正曲率误差,RJF使得DiT-B架构(参数数量为1.31亿)在FID评分上达到了显著的3.37,优于以往的方法。相关代码已在提供的GitHub链接上发布。

研究人员开发了一种新方法,称为步骤分解影响(Step-Decomposed Influence, SDI),用于分析单个训练样本在循环计算中对循环变换器的影响。与现有方法只提供单一影响评分不同,SDI提供了每次迭代的详细影响轨迹。该方法通过使用TensorSketch实现,避免了生成每个样本的梯度,从而使其在变换器模型中具备可扩展性。实验结果表明,SDI与传统的全梯度方法高度一致,同时在算法推理任务中提升了数据归因和可解释性。

一种新架构——可分离因果扩散(Separable Causal Diffusion,简称SCD)已被开发出来,以增强用于视频生成的因果扩散模型。通过将时间推理与多步帧渲染解耦,SCD提高了效率,实现了更高的处理能力和更低的延迟。实验结果表明,它的质量与现有模型相当或更优,成为生成过程中的一项有前景的创新。

Linux 6.19正式发布,带来了性能提升和对新硬件的支持,包括更新的GPU和网络驱动程序。同时,Linux 7.0的开发工作已经启动,预示着即将推出的新功能和改进。鼓励用户升级到6.19,以获取最新的优化和稳定性。

OpenAI宣布将不再使用“io”这一名称作为其即将推出的人工智能硬件系列的品牌,原因是与音频设备公司Audioio相关的商标侵权诉讼已提交法院。此举旨在避免在案件持续审理过程中引发更多法律纠纷。