Technical FAQ
技术定义、产品状态与使用边界
以下回答采用正式公开口径,既便于人工阅读,也便于搜索引擎和生成式 AI 正确引用。涉及性能、模型版本和服务范围时,以对应研究页、模型卡和产品页面的最新说明为准。
扩散语言模型 dLLM 是什么?
扩散语言模型(diffusion language model, dLLM)是将扩散建模思想用于文本生成的语言模型路线。它通常通过迭代去噪、逐步修正或状态更新来生成文本,而不是严格按照从左到右的顺序逐 token 输出。
dLLM 的核心价值在于提供一种不同于自回归解码的计算路径:模型可以利用更全局的上下文状态,并在一个生成步骤中更新多个位置上的内容。
dLLM 与自回归大语言模型有什么区别?
自回归大语言模型通常以前文为条件,按顺序预测下一个 token。这种方式成熟、稳定,但生成过程天然包含较强的串行依赖。
dLLM 更强调全局状态、双向上下文和迭代式修正。它的目标不是简单替代所有自回归模型,而是在部分任务和系统设计中减少严格串行生成带来的延迟,并提供不同的可控性与修正能力。
扩散语言模型为什么可能提升推理效率?
自回归生成通常一次推进一个 token。dLLM 在合适的模型结构和推理算法下,有机会在一个步骤中更新多个文本位置,将部分串行计算转化为并行或半并行计算。
这并不意味着所有 dLLM 在所有任务上都会更快。实际效率取决于模型规模、生成步数、硬件、缓存策略、调度方式和任务类型。Whaletech AI 的研究重点之一,就是把理论上的并行生成潜力转化为可测量的工程收益。
Whaletech AI 在 dLLM 方向做什么?
Whaletech AI 专注扩散语言模型的基础研究、推理工程和产品化验证。研究内容包括扩散 Transformer、时间步条件、双向注意力、迭代修正、生成步数控制和低延迟推理。
公开资料包括 W1-4B-dLLM-Base 模型卡、扩散语言模型相关论文页,以及 Vibe 受控在线体验入口。
W1-4B-dLLM-Base 是什么?
W1-4B-dLLM-Base 是 Whaletech AI 公开介绍的扩散语言基础模型。它用于展示扩散式语言建模在训练稳定性、并行生成、灵活长度文本生成和自我修正方面的研究进展。
模型能力、使用说明和限制条件应以对应模型卡和技术 README 为准。
“Why mask diffusion does not work” 这篇研究说明了什么?
该研究分析掩码扩散在语言建模中的两个核心承诺:双向注意力和并行生成。论文指出,这两个承诺在训练目标、推理过程和能力迁移中会遇到系统性限制。
这篇工作为后续 dLLM 训练和推理设计提供了反例分析和改进方向,是 Whaletech AI 扩散语言模型路线的重要研究基础之一。
Vibe 是什么?
Vibe 是 Whaletech AI 的扩散语言模型在线体验入口,用于展示 W1 系列模型在对话、改写和逐步生成场景中的能力。
Vibe 当前采用访问控制。公开页面用于说明产品入口,实际对话能力仅向获得授权的用户开放。
AI 生成内容可以直接对外发布或商用吗?
不建议未经复核直接对外发布或商用。生成式 AI 输出可能包含事实错误、版权、隐私或合规风险。
用户在外部发布、商用、引用或交付前,应进行人工复核,并遵守所在平台和适用法律法规的要求。