[分割一切!] SegmentAnything真的太强了

相信大家最近都听说了Meta开源了一个图像分割模型【SegmentAnything Model】,简称SAM模型,号称分割一切,在短短开源的一周内,截止今天Github已经24k的star了!

看了很多推文各种炸裂的词都出来了,最近也是体验了一下,真就给我当头一棒,头皮发麻,因为这个模型直接宣告了我们一些流程完全不需要深入研究了,就用SAM就行。

王者的诞生

提到Meta大家可能不知道这个是什么公司,但是提到Facebook大家都知道,而Meta就是改名后的Facebook,而我们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?我们看看官方的介绍:

多元化交互

目前官方的demo支持交互式标注,可以通过画框、鼠标点击来获取分割的区域,此外还可以一键分割一切,轻轻点一下,将分割结果实时展示出来,并且对于不太确定的类别提供了多个有效的区域,举个例子,如果一堆草地里面会有花、花瓣也会分割出来,你可以根据阈值进行调整。

支持三维

SAM模型的输出结果可以作为其他AI的输入,比如下图的视频里不断被追踪分割椅子,进而提取出椅子的特征,可以生成椅子的三维模型。

集成应用

SAM的可提示设计使其能够与其他系统灵活整合,如图右,输入文本可以根据我们文本进行分割;如图左,可以根据AR眼睛的注视范围(一个点表示)然后分割出物体并且给出它的类别,这个和Meta本身的VR方向完全是相辅相成了。

0训练

官方宣传SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图像进行概括,而不需要额外的训练。

初步体验

好了好了,讲这么多,听起来也没啥感觉吧,不如实际体验一下。

这里我先上传了一个高分辨率无人机拍的png:


可以看到草坪、人行道、车辆分割的非常完美,而右下角的空地要素较多也进行了分类,水潭是水潭、草坪是草坪、荒地是荒地。

使用框选的话,首先会把右下角分为一个整体:

然后后续使用SegmentAnything会给出更精细的分割:

而且输出很棒,可以直接将分割的区域进行输出

然后我还试了其他图片,在没有进行训练的情况下,SAM还是把树一颗一颗的分别出来了,并且排除了阴影:

不训练效果都这么好,迁移一下模型,不得起飞(笑)

总结

总体体验下来,SAM最大的大招和冲击那就是样本标注,这种精细化交互式标注将杀死我们以前纯人工划区域的方式,并且大大提高样本的精度和降低样本标注的成本!

还在用labelIMG传统标注?来体验一下SAM模型的赛博标注吧!
https://segment-anything.com/

展望

在研一上人工智能的数学原理的时候,数院教授就和我们说深度学习其实已经进入了瓶颈期,未来将是深度学习应用的爆发期,当时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的应用的出现,让我身临其境的感悟了大模型的魅力。相信后面还是应用的爆发期,大家的公司可以开起来了。

这里是GIS宇宙,我们下期再见~

商业合作请私信公众号

本人其他平台账号:

  • 微信公众号:GIS宇宙
  • CSDN:GIS_宇宙
  • 知乎:GIS宇宙
  • 掘金:GIS宇宙

猜你喜欢

转载自blog.csdn.net/qq_41003479/article/details/130112861
今日推荐