Modal训练了DFlash投机解码器，其速度远超MTP，大幅提升推理速度。根据Soumith Chintala在X平台分享的Modal公告，thinkymachines的Inkling现已上线Modal平台，采用定制DFlash投机解码器实现67%更高吞吐量和交互性。该方案目前运行在Modal Auto Endpoints与SGLang之上，针对生产级AI工作负载。

关键要点

• Modal DFlash投机解码器通过更快投机解码超越传统MTP方法，为实时应用提供更高推理吞吐量。
• Inkling在Modal Auto Endpoints与SGLang集成后吞吐量提升67%，直接降低运营成本并改善交互体验。
• 这一进展显示云平台越来越多采用定制投机解码技术，在不牺牲质量的前提下加速大模型推理。

DFlash投机解码器技术深度解析

DFlash投机解码器通过并行预测多个未来token并高效验证，加速token生成。Modal定制实现通过优化草稿模型训练和验证流程超越标准MTP，在SGLang和Modal Auto Endpoints上运行时大幅减少生成时间。

相较MTP的技术优势

DFlash投机解码器减少推理所需前向传播次数，特别适合长上下文交互场景，如对话AI和智能体工作流。

商业影响与机遇

部署大模型的企业可通过低延迟API和实时服务实现变现，如客户支持聊天机器人或编程助手。67%吞吐量提升提高GPU利用率，降低每token成本。实施挑战在于与现有框架集成，但Modal Auto Endpoints简化部署与扩展。金融、医疗和电商等行业可借此提升用户参与度和收入。

未来展望

投机解码技术的持续优化将重塑竞争格局，结合定制加速器与无服务器端点的平台将占据优势。能效AI使用监管可能推动节能推理技术采用。道德实践强调透明性能声明与可靠测试。Modal DFlash进展标志着专用推理优化正解锁AI经济新商业模式。

常见问题

什么是DFlash投机解码器？

DFlash投机解码器是Modal训练的定制投机解码模型，推理速度超越标准MTP。

它如何提升吞吐量？

在Modal Auto Endpoints与SGLang运行Inkling时，实现67%更高吞吐量，提升交互性和速度。

哪些平台支持该技术？

该方案目前已在Modal平台可用，与SGLang集成用于生产推理。

哪些行业受益最大？

客户服务、编程工具和交互式智能体等实时AI应用获得显著效率和成本优势。