Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction
本文提出了Lotus，一种基于扩散模型的视觉基础模型，旨在实现高质量的稠密预测。通过利用预训练的文本到图像扩散模型的视觉先验，Lotus在零样本深度估计和法线估计等关键几何感知任务中实现了最先进的性能。与传统方法相比，Lotus在训练数据量较小的情况下，显著提高了预测质量和效率。研究发现，现有的扩散模型在处理稠密预测时存在一些局限性，特别是噪声预测的参数化方式和多步骤的去噪流程可能会导致性能下降。因此，Lotus采用了直接预测注释的方式，并将扩散过程简化为单步程序，从而避免了不必要的复杂性和