Temos o prazer de anunciar que estamos fazendo parceria com a Wiz com o objetivo de melhorar a segurança de nossa plataforma e de todo o ecossistema de IA/ML.
Os pesquisadores da Wiz trabalham com a Hugging Face na segurança da nossa plataforma e compartilham suas descobertas. Wiz é uma empresa de segurança em nuvem que ajuda os clientes a construir e manter software de maneira segura. Com o lançamento desta pesquisa, aproveitaremos a oportunidade para destacar algumas melhorias relevantes de segurança do Hugging Face.
-
Mais informações sobre a parceria da Wiz com a Hugging Face https://www.wiz.io/blog/wiz-and-hugging-face-address-risks-to-ai-infrastruct
Hugging Face integrou recentemente o Wiz para gerenciamento de vulnerabilidades, um processo proativo contínuo que garante que nossa plataforma esteja protegida contra vulnerabilidades de segurança. Além disso, usamos Wiz para Cloud Security Posture Management (CSPM), que nos permite configurar com segurança nosso ambiente de nuvem e monitorá-lo para garantir sua segurança.
Um dos nossos recursos favoritos do Wiz é uma visão holística das vulnerabilidades, do armazenamento à computação e à rede. Executamos vários clusters Kubernetes (k8s) e temos recursos em várias regiões e provedores de nuvem, por isso é muito útil ter um relatório central com uma imagem contextual completa de cada vulnerabilidade em um único local. Também construímos suas ferramentas para corrigir automaticamente problemas detectados em nossos produtos, especificamente no Spaces.
Durante um esforço conjunto, a equipe de pesquisa de segurança da Wiz identificou deficiências em nosso ambiente de computação sandbox por meio do uso de pickle para executar código arbitrário dentro do sistema. Ao ler este blog e a pesquisa de segurança da Wiz, lembre-se de que abordamos todos os problemas relacionados a esta vulnerabilidade e continuaremos vigilantes em nossos processos de detecção de ameaças e resposta a incidentes.
Abraçando a segurança facial
Na Hugging Face, levamos a segurança muito a sério. À medida que a inteligência artificial avança rapidamente, novos vetores de ameaças parecem surgir todos os dias. Mesmo que a Hugging Face anuncie múltiplas parcerias e relacionamentos comerciais com alguns dos maiores nomes da tecnologia, continuamos comprometidos em capacitar nossos usuários e a comunidade de IA para experimentar e operar com responsabilidade sistemas e tecnologias de IA/ML. Estamos empenhados em proteger a nossa plataforma e impulsionar a democratização da IA/ML para que a comunidade possa contribuir e fazer parte desta mudança de paradigma que terá impacto a todos nós. Escrevemos este blog para reafirmar nosso compromisso em proteger nossos usuários e clientes contra ameaças à segurança. Abaixo também discutimos a filosofia da Hugging Face em apoiar arquivos pickle controversos e discutimos a responsabilidade compartilhada de se afastar dos formatos pickle.
Também haverá muitas melhorias e anúncios interessantes de segurança em um futuro próximo. Estas publicações não só discutirão os riscos de segurança enfrentados pela comunidade da plataforma Hugging Face, mas também cobrirão os riscos sistémicos de segurança da IA e as melhores práticas de mitigação. Estamos sempre comprometidos em garantir a segurança de nossos produtos, infraestrutura e comunidade de IA. Preste atenção às postagens subsequentes do blog e aos white papers sobre segurança.
Colaboração e ferramentas de segurança de código aberto para a comunidade
Damos grande valor à transparência e à colaboração com a comunidade, o que inclui a participação na identificação e divulgação de vulnerabilidades, na resolução conjunta de problemas de segurança e no desenvolvimento de ferramentas de segurança. A seguir estão exemplos de resultados de segurança alcançados por meio da colaboração que ajudam toda a comunidade de IA a reduzir os riscos de segurança:
-
O Picklescan foi desenvolvido em colaboração com a Microsoft; o projeto foi iniciado por Matthieu Maitre, e como também tínhamos uma versão da mesma ferramenta internamente, unimos forças e contribuímos para o Picklescan. Se você quiser saber mais sobre como isso funciona, consulte a seguinte página de documentação: https://hf.co/docs/hub/en/security-pickle
-
Safetensors são uma alternativa mais segura aos arquivos pickle desenvolvidos por Nicolas Patry. Os Safetensors foram auditados pela Trail of Bits em um projeto colaborativo com EuletherAI e Stability AI.
https://hf.co/docs/safetensors/en/index
-
Temos um programa robusto de recompensas por bugs que atrai muitos grandes pesquisadores de todo o mundo. Os pesquisadores que identificarem vulnerabilidades de segurança podem aderir ao nosso programa entrando em contato com security@huggingface.co.
-
Verificação de malware: https://hf.co/docs/hub/en/security-malware
-
Verificação de privacidade: visite o link a seguir para obter mais informações: https://hf.co/docs/hub/security-secrets
-
Conforme mencionado anteriormente, também trabalhamos com a Wiz para reduzir os riscos de segurança da plataforma.
-
Estamos lançando uma série de publicações de segurança para abordar questões de segurança enfrentadas pela comunidade de IA/ML.
Práticas recomendadas de segurança para usuários de IA/ML de código aberto
-
A IA/ML introduz novos vetores de ataque, mas para muitos desses ataques, as mitigações já existem e são conhecidas. Os profissionais de segurança devem garantir que os controlos de segurança relevantes sejam aplicados aos recursos e modelos de IA. Além disso, aqui estão alguns recursos e práticas recomendadas ao trabalhar com software e modelos de código aberto: -
Conheça seus contribuidores: use apenas modelos de fontes confiáveis e tenha cuidado com as assinaturas de commit. https://hf.co/docs/hub/en/security-gpg -
Não use arquivos pickle na produção -
Usando Safetensors: https://hf.co/docs/safetensors/en/index -
Revisão do Top 10 do OWASP: https://owasp.org/www-project-top-ten/ -
Habilite MFA em sua conta Hugging Face -
Estabeleça um ciclo de vida de desenvolvimento seguro que inclua revisões de código por profissionais ou engenheiros de segurança com treinamento de segurança apropriado. -
Modelos de teste em ambientes de teste/desenvolvimento virtualizados e de não produção.
Arquivos Pickle – um risco de segurança que não pode ser ignorado
Os arquivos Pickle têm sido o foco da pesquisa de Wiz e de outras publicações recentes de pesquisadores de segurança no Hugging Face. Os arquivos Pickle há muito são considerados um risco à segurança. Para obter mais informações, consulte nossa documentação: https://hf.co/docs/hub/en/security-pickle
Apesar dessas falhas de segurança conhecidas, a comunidade de IA/ML ainda usa frequentemente arquivos pickle (ou formatos semelhantes facilmente exploráveis). Muitos desses casos de uso são de baixo risco ou servem apenas para fins de teste, tornando a familiaridade e a facilidade de uso dos arquivos pickle mais atraentes do que alternativas mais seguras.
Como plataforma de inteligência artificial de código aberto, temos as seguintes opções:
-
Desative completamente os arquivos em conserva -
Não faça nada com arquivos em conserva -
Encontre um meio-termo que permita a decapagem e, ao mesmo tempo, mitigando de forma razoável e realista os riscos associados às limas decapadas
Atualmente escolhemos a terceira opção, que é um compromisso. Essa escolha é um fardo para nossas equipes de engenharia e segurança, mas fizemos um esforço significativo para mitigar o risco e, ao mesmo tempo, permitir que a comunidade de IA use as ferramentas de sua escolha. Algumas das principais medidas de mitigação que implementamos contra riscos relacionados com picles incluem:
-
Crie documentação clara descrevendo os riscos -
Desenvolva ferramentas de digitalização automatizadas -
使用扫描工具和标记具有安全漏洞的模型并发出明确的警告 -
我们甚至提供了一个安全的解决方案来代替 pickle (Safetensors) -
我们还将 Safetensors 设为我们平台上的一等公民，以保护可能不了解风险的社区成员 -
除了上述内容之外，我们还必须显着细分和增强使用模型的区域的安全性，以解决其中潜在的漏洞
我们打算继续在保护和保障 AI 社区方面保持领先地位。我们的一部分工作将是监控和应对与 pickle 文件相关的风险。虽然逐步停止对 pickle 的支持也不排除在外，但我们会尽力平衡此类决定对社区的影响。
需要注意的是，上游的开源社区以及大型科技和安全公司在贡献解决方案方面基本上保持沉默，留下 Hugging Face 独自定义理念，并大量投资于开发和实施缓解措施，以确保解决方案既可接受又可行。
结束语
我在撰写这篇博客文章时，与 Safetensors 的创建者 Nicolas Patry 进行了广泛交流，他要求我向 AI 开源社区和 AI 爱好者发出行动号召:
-
主动开始用 Safetensors 替换您的 pickle 文件。如前所述，pickle 包含固有的安全缺陷，并且可能在不久的将来不再受支持。 -
继续向您喜欢的库的上游提交关于安全性的议题/PR，以尽可能推动上游的安全默认设置。
AI 行业正在迅速变化，不断有新的攻击向量和漏洞被发现。Hugging Face 拥有独一无二的社区，我们与大家紧密合作，以帮助我们维护一个安全的平台。
请记住，通过适当的渠道负责任地披露安全漏洞/错误，以避免潜在的法律责任和违法行为。
想加入讨论吗？请通过 security@huggingface.co 联系我们，或者在 LinkedIn/Twitter 上关注我们。
英文原文: https://hf.co/blog/hugging-face-wiz-security-blog
原文作者: Josef Fukano, Guillaume Salou, Michelle Habonneau, Adrien, Luc Georges, Nicolas Patry, Julien Chaumond
译者: xiaodouzi
本文分享自微信公众号 - Hugging Face（gh_504339124f0f）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。