返回主页

基于DeepSeek GRPO训练的门店管理「视觉大脑」：VLM-R1模型Mimo Vision

2025.02.25
周末的开源圈，因为一个全新的开源项目 ——VLM-R1 又又炸锅了，自 DeepSeek-R1 开源以来，所有技术社区都沸腾了，激发了很多团队的灵感。

这个团队以 Qwen2.5-VL 作为基座模型，使用 DeepSeek-R1 的训练方法，将 DeepSeek-R1 的纯文本能力迁移到了视觉语言多模态上，是一项非常酷的技术突破。这就像是给电脑开了一扇新窗户，让它能更好地理解和处理我们看到的世界。

项目团队在 Qwen2.5-VL 的基础上，同时对比了 R1 和传统的 SFT 方法。结果相当惊艳：
1. 稳定性拉满：R1 方法在处理各种复杂的图像和文字信息时，都能保持很好的表现，这对实际使用这些技术来说非常重要。
2. 泛化能力卓越：更让人震惊的是，在领域外的测试数据上，随着训练步数增加，传统 SFT 模型的性能开始下滑，而 R1 模型却能持续提升！这意味着 R1 方法帮助模型真正 「学会」 了理解视觉内容，而不是简单地记忆！
3. 上手超简单：VLM-R1 项目团队提供了完整的训练和评估流程，四步就能开始训练，对开发者十分友好。
智能门店管理
在商业智能领域，效率是关键。Mimo Vision 作为智睿视界推出的一款尖端 AI 点检工具，借助 InfiSight 在连锁零售行业的丰富经验，整合了对智慧连锁商业的深入理解和数百种门店管理算法的精确需求与数据。Mimo Vision 利用这些长期积累的数据资源，采用先进的 VLM-R1 训练方法对模型进行了强化学习训练，显著增强了其视觉推理能力。

面对复杂的业务需求，Mimo Vision 能够在短短一周内提供测试版本。经过 VLM-R1 训练方法的优化，Mimo Vision 的视觉能力得到了显著提升，无论是对图像还是视频的理解，都能更有效地泛化应用于线下零售连锁门店的日常管理任务。该系统通过 Mimo Vision 自主理解检查标准文本和示例图片，模拟管理者对门店的日常监管流程，对监控画面中的员工行为、门店运营状况和消费者数据进行精细分析和深度推理。这不仅提升了门店的经营效率和收入，也助力一线员工在工作上取得成功。

在此分享几个实际应用案例：
智睿视界的客户群体中有一大批来自茶饮行业，他们当中的大部分都提出了一个共同的需求，就是门店物料监管。部分加盟商为了缩减成本，不使用总部提供的包括牛奶、淡奶油等原材料，而偷偷使用第三方供应商的物料，不仅导致产品的品质得不到保障，对总部也会造成资源损耗。所以总部需要对门店尤其是加盟商加强物料上的监督。
门店管理工具
图片中展示了茶饮行业吧台日常运营的复杂场景，吧台中除员工外，还有茶桶、量杯、工具桶、糖浆、搅拌器等各种物料与工具。Mimo Vision 不仅能准确识别「牛奶」，还能精准认出牛奶的品牌为「雀巢全脂牛奶」。这种精确的视觉理解能力和推理能力，使得 Mimo 在智能门店管理方面展现出巨大的潜力。

在 3C 行业中，门店要确保店内展示供顾客试用的设备保持通电，且屏幕常亮状态。Mimo Vision 的表现也非常亮眼：
门店管理
如你所见，在店内有电脑、手机、台灯、其他配件的情况下，Mimo Vision 也能根据 prompt 迅速理解「电子设备」和「黑屏」，然后精准找到符合语言指令的物品，并一一指出。

Mimo Vision 完美展示了 VLM-R1 在实际应用中的优势：
• 擅长指代表达理解（REC）：能够解析自然语言指令，定位图像中的特定目标。
• 强化学习优化：通过 R1 方法训练，提升模型在复杂视觉任务中的表现。
• 高性能推理支持：兼容 Flash Attention 等技术，提升计算效率。

随着 VLM-R1 的诞生，我们见证了 AI 视觉理解力的一次飞跃。Mimo Vision 以其卓越的性能，不仅重新定义了智能门店监管的可能性，更为连锁零售行业树立了智能化管理的新标杆。

添加小助手

推荐阅读
订阅我们