跳动城乡网人工智能(AI)领域最近在生成模型方面取得了重大进展，生成模型是一种机器学习算法，它从数据集中“学习”模式，以生成新的类似数据集。生成模型通常用于绘制图像和自然语言生成等，一个著名的例子是用于开发chatGPT的模型。
生成模型在各种应用中都取得了显著的成功，从图像和视频生成到作曲和语言建模。问题是，当谈到生成模型的能力和局限性时，我们缺乏理论;可以理解的是，这种差距会严重影响我们如何开发和使用它们。
主要挑战之一是能够从复杂的数据模式中有效地选取样本，特别是考虑到传统方法在处理现代人工智能应用中常见的高维复杂数据时的局限性。
现在，由FlorentKrzakala和LenkaZdeborová领导的EPFL科学家团队研究了基于现代神经网络的生成模型的效率。这项研究发表在PNAS上，将这些当代方法与传统采样技术进行了比较，重点关注与自旋玻璃和统计推断问题相关的特定类别的概率分布。
研究人员分析了生成模型，该模型以独特的方式使用神经网络来学习数据分布并生成模仿原始数据的新数据实例。
该团队研究了基于流的生成模型，该模型从相对简单的数据分布中学习并“流”到更复杂的数据分布;基于扩散的模型，可以消除数据中的噪音;以及生成自回归神经网络，它通过根据先前生成的数据预测每个新数据来生成序列数据。
研究人员采用了一个理论框架来分析模型从已知概率分布中采样的性能。这涉及将这些神经网络方法的采样过程映射到贝叶斯最优去噪问题——本质上，他们通过将其比作从信息中去除噪音的问题来比较每个模型如何生成数据。
科学家们从复杂的自旋玻璃(一种具有有趣磁性行为的材料)世界中获得灵感，以分析现代数据生成技术。这使他们能够探索基于神经网络的生成模型如何驾驭复杂的数据格局。
该方法使他们能够研究生成模型相对于更传统的算法(如蒙特卡洛马尔可夫链(用于从复杂概率分布中生成样本的算法)和朗之万动力学(一种通过模拟热波动下粒子的运动从复杂分布中采样的技术))的细微能力和局限性。
