이 기사는 Huawei Cloud Community " Exploration of SAM Adaptation Downstream Tasks: SAM Adapter "에서 공유됩니다. 저자: 힌트.
최근 대형 모델의 출현은 AI 연구에 상당한 발전을 가져왔으며, META의 작업인 SAM(Segment Anything)은 이미지 분할 작업을 위해 설계된 기본 대형 모델 중 하나입니다. SAM은 대화형 대형 이미지 분할 모델로 점, 상자, 텍스트 설명 및 기타 대략적인 프롬프트와 같은 프롬프트를 제공하여 이미지의 지정된 대상을 분할할 수 있습니다.데모 효과는 놀랍습니다. 그러나 그림자 감지 및 위장 대상 감지와 같은 훈련 데이터의 차이로 인해 발생할 수 있는 일부 특수 장면의 사진에는 놀라운 효과를 가져오지 않습니다. 그러나 SAM의 강력한 세분화 기능은 다운스트림 작업을 더 잘 수행하기 위한 미세 조정 모델의 기반으로 계속 사용할 수 있습니다.
본 논문에서 소개한 방법인 SAM 어댑터[2]는 SAM 네트워크를 미세 조정하지 않고도 간단하고 효과적인 어댑터를 통해 도메인별 정보나 시각적 단서를 세그먼트화 네트워크에 주입할 수 있는 어댑터 모듈을 설계하여 성능을 향상시킨다. 특정 작업에 대한 SAM. 이 논문은 ISTD 그림자 감지 데이터 세트, COD10K, CHAMELEON 및 CAMO 위장 물체 감지 데이터 세트, kvasir-SEG 폴립 분할(의료 이미지 분할) 데이터 세트를 포함하여 여러 작업 및 데이터 세트에 대한 광범위한 실험을 수행합니다. 실험 결과는 SAM-Adapter가 SAM의 성능을 크게 향상시킬 뿐만 아니라 이러한 작업에서 최첨단을 달성한다는 것을 보여줍니다.
위의 그림과 같이 모델은 SAM의 Image Encoder와 Masked Decoder를 사용하는데 Image Encoder는 매개변수를 고정하고 Decoder는 기울기 반환에 참여합니다. 이러한 방식으로 사전 훈련된 SAM의 분할 기능을 효과적으로 사용할 수 있으며 디코더는 매개변수를 업데이트하여 다운스트림 작업에 적응합니다. 또한 저자는 특수 작업에 대한 지식을 소개하고 모델을 미세 조정하는 데 도움이 되는 어댑터 모듈을 소개했습니다. 어댑터의 네트워크 구조는 MLP 레이어의 2개 레이어로만 구성되며 입력 지식은 다양할 수 있으며 본 논문의 작업에 대한 입력은 텍스처 정보 또는 주파수 정보가 될 수 있습니다. 다양한 정보는 다음과 같은 가중치로 균형을 이룹니다.
저자는 여러 데이터 세트에 대한 실험을 수행합니다. 다음 실험 결과에서 이 방법의 성능은 다운스트림 작업에서 SOTA 효과에 도달합니다. 원본 SAM과 비교하여 개선 효과가 상당합니다. 저자는 또한 어댑터 모듈의 효율성을 증명합니다. .
[1]Kirillov A, Mintun E, Ravi N, 외. 무엇이든 분할합니다[J]. arXiv 프리프린트 arXiv:2304.02643,
[2]Chen T, Zhu L, Ding C 등. SAM은 아무것도 분할하지 못합니까?--SAM-어댑터: 실적이 저조한 장면에서 SAM 적응: 위장, 그림자 등[J]. arXiv 사전 인쇄 arXiv:2304.09148, 2023.
처음으로 Huawei Cloud의 새로운 기술에 대해 알아보고 팔로우하려면 클릭하세요~
산업 정보 기술부: 등록되지 않은 앱에 대한 네트워크 액세스 서비스를 제공하지 마십시오. Go 1.21은 Bcachefs 파일 시스템 드라이버에 대한 "내분"을 진압하기 위해 코드를 직접 검토하기 위해 Linus를 공식적으로 출시했습니다. ByteDance는 공용 DNS 서비스를 시작했습니다. 7-Zip 공식 웹사이트는 Baidu에 의해 악성 웹사이트로 확인되었습니다 Google은 AI 코드 편집기를 출시합니다: Project IDX Tsinghua 보고서: Wenxin Yiyan은 ChatGPT Vim 프로젝트를 넘어 중국에서 확고하게 자리 잡고 있으며 미래의 명상 소프트웨어가 출시될 예정입니다. ChatGPT는 "중국 최초의 Linux"에 의해 설립되었습니다. 하루 비용 약 70만 달러, OpenAI 파산 직전