学术投稿：arXiv
学术投稿 · arXiv。AI、计算机与相关学科预印本。本来源共收录 14 条已通过本类收录机制的资料，均可直接跳转到原始来源。
本类权威分层：A2–R。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
以掩码语言建模预训练双向文本表示，再对分类、问答等任务微调，是理解编码器预训练的重要原作。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§3 方法、§4 实验、§5 消融；本轮核对 v2。
使用边界：原文的下一句预测消融结论限定于其训练设置；不能认为所有后续编码器都必须使用该目标。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：pretraining · self-supervised-learning · embedding
链接复核时间：2026-09-23
Language Models are Few-Shot Learners
通过不同规模 GPT-3 的零样本、单样本与少样本实验，研究不更新权重的上下文学习。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§2 方法、§3 结果、§4 污染、§5 限制；本轮核对 v4。
使用边界：部分推理任务仍有明显弱点；须结合污染分析，不能把参数量视为任务能力保证。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：llm · in-context-learning
链接复核时间：2026-09-23
Training Compute-Optimal Large Language Models
重新估计固定计算预算下模型规模与训练 token 的分配，并用 Chinchilla 对预测进行验证。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§3 三种估计、§4 Chinchilla、§5 讨论；本轮核对 v1。
使用边界：计算最优训练不等于包含推理开销的部署总成本最优；比例依赖数据与训练条件。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：scaling-law · pretraining
链接复核时间：2026-09-23
Deep Residual Learning for Image Recognition
通过残差分支和捷径连接学习映射增量，针对深层网络训练退化给出方法与图像识别实验。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§3 残差学习、§4 ImageNet/CIFAR 实验；本轮核对 v1。
使用边界：训练退化与过拟合不是同一问题；残差连接不能保证任意深度或任务都更好。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：residual-connection · cnn
链接复核时间：2026-09-23
Adam: A Method for Stochastic Optimization
用梯度一阶矩和二阶矩的滑动估计及偏差校正构造 Adam 优化器，提供算法与实验。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§2 算法、§3 偏差校正、§6 实验；本轮核对 v9。
使用边界：原文不能证明任意非凸训练都收敛或优于 SGD；超参数仍需验证。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：gradient-descent · optimizer-schedule
链接复核时间：2026-09-23
Generative Adversarial Networks
把生成器与判别器组织成对抗训练，给出目标函数、理想化分析和初始生成实验。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§3 对抗网络、§4 理论条件、§5—6 实验与缺点；本轮核对 v1。
使用边界：理论结果依赖理想化条件，不能保证实际神经网络训练稳定或避免模式坍塌。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：gan · image-generation
链接复核时间：2026-09-23
Auto-Encoding Variational Bayes
通过重参数化估计变分下界，并训练近似后验网络，形成变分自编码器的核心学习方法。
证据用途：可用于核对作者提出的方法、评测设计及限定实验结果。原文定位：§2 方法、§3 VAE、§5 实验；本轮核对 v11。
使用边界：近似后验与潜变量假设影响结果；下界优化不等于精确后验推断。；本条收录的是原文入口与编辑简介；未复现实验，不能据 arXiv 收录身份推断同行评审或当前最优。
关联概念：vae
链接复核时间：2026-09-23
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
把视觉自回归生成从逐像素或逐 token 顺序预测改写为由粗到细的“下一尺度预测”，并展示生成质量、效率与扩展规律。
证据用途：可用于理解视觉自回归生成、下一尺度预测及相应实验。原文定位：方法、ImageNet 实验与扩展分析；本轮核对 v2。
使用边界：证据集中于论文所测图像生成设置，不能据此断言 VAR 在所有任务上都优于扩散模型。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：image-generation
链接复核时间：2026-09-23
Guiding a Diffusion Model with a Bad Version of Itself
证据分级：仅用于发现，不得单独支持正式结论。
提出 Autoguidance：用同一扩散模型较弱的版本取代 classifier-free guidance 的无条件模型，以改善生成质量与多样性的权衡。
证据用途：可用于理解扩散模型引导、Autoguidance 及质量—多样性权衡。原文定位：方法、ImageNet 实验与讨论；本轮核对 v3。
使用边界：结论主要由所测图像扩散模型支持，不能外推到每种模态或每个扩散模型。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：diffusion · image-generation
链接复核时间：2026-09-23
1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
研究自监督对比强化学习的网络深度扩展，显示更深网络可显著提升目标到达能力，并改变智能体学到的行为。
证据用途：可用于理解自监督对比强化学习中的深度扩展及目标条件学习。原文定位：§4.2、§4.5、§5 Limitations；本轮核对 v4。
使用边界：深度扩展会增加计算量；结果依赖对比式强化学习与所测环境，不能推广到所有强化学习算法。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：reinforcement-learning · self-supervised-learning
链接复核时间：2026-09-23
Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
从训练动力学研究扩散模型由泛化走向记忆的两个时间尺度，以实验和理论连接生成质量、数据规模与过拟合。
证据用途：可用于理解扩散模型训练中的泛化、记忆与隐式动力学正则化。原文定位：§2、§4 Limitations and future works；本轮核对 v2。
使用边界：理论采用简化模型，主要实验是无条件扩散；标题不能理解为所有扩散模型永不记忆训练数据。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：diffusion
链接复核时间：2026-09-23
Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
系统比较软最大注意力的门控变体，发现把逐头 sigmoid 门置于 SDPA 之后可改善训练稳定性、注意力汇聚与长上下文外推。
证据用途：可用于理解注意力门控、attention sink 与长上下文外推。原文定位：§3.2、§4.3、Limitations；本轮核对 v1。
使用边界：论文尚未完整解释长上下文机制；实验收益不能保证在所有模型配置中成立。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：attention · context-window
链接复核时间：2026-09-23
The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models
揭示扩散语言模型的任意顺序生成可能绕过关键推理分叉并压缩解空间，并据此提出更直接的强化学习训练方案。
证据用途：可用于理解扩散语言模型的解码顺序、推理边界和强化学习训练。原文定位：§3.2、§4、§7；本轮核对 v4。
使用边界：结论限于所测扩散语言模型及数学、代码任务，不能推出任意顺序在所有任务中都无效。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：llm · reinforcement-learning
链接复核时间：2026-09-23
High-accuracy sampling for diffusion models and log-concave distributions
给出扩散模型与对数凹分布的高精度采样算法，在相应假设下把目标误差依赖改进到多对数级步数。
证据用途：可用于理解扩散采样的理论复杂度、高精度误差依赖与 FORS 方法。原文定位：§3.1 FORS、§6；本轮核对 v2。
使用边界：这是依赖分数估计等假设的理论结果；论文把实现与实验留待未来，不能宣传为已验证的端到端工程加速。；已核对论文与正式奖项证据，但未独立复现实验。
关联概念：diffusion
链接复核时间：2026-09-23