OWASP Top 10 LLM: Os Principais Riscos para Aplicações de Inteligência Artificial
Esta publicação explora os 10 principais riscos do LLM do OWASP, detalhando cada risco e as etapas que podemos executar para evitá-los.
A rápida ascensão de chatbots alimentados por IA e de large language models (LLMs) como o ChatGPT está transformando a forma como as empresas operam e interagem com os clientes. Esses sistemas, construídos em LLMs e treinados em conjuntos de dados massivos, oferecem novos recursos interessantes. Desde a geração de texto semelhante ao humano até a capacitação de assistentes virtuais interativos. No entanto, como acontece com qualquer nova tecnologia poderosa, os LLMs também introduzem novos riscos que precisamos compreender e mitigar.
O projeto OWASP Top 10 for Large Language Model Applications ajuda as partes interessadas a se manterem informadas sobre possíveis riscos de segurança na implantação e gerenciamento de LLMs. Semelhante às 10 principais vulnerabilidades do OWASP, este projeto oferece uma lista das 10 vulnerabilidades mais críticas em aplicações LLM, como prompt injections e unauthorized code execution, detailing their impact, exploitability, and frequency. O objetivo é aumentar a conscientização, fornecer estratégias de remediação e melhorar a segurança de aplicações LLM.
Abaixo, faço uma análise dos 10 principais riscos para aplicações LLM, baseado no levantamento de 2023 da OWASP.
LLM01: Injeção de Prompt
A Vulnerabilidade de Injeção de Prompt ocorre quando um atacante manipula o modelo de linguagem de grande porte (LLM) por meio da manipulação de prompt, gerando ações não intencionais pelo LLM. Injeções diretas sobrescrevem prompts do sistema, enquanto as indiretas manipulam entradas de fontes externas para um resultado determinado.
LLM02: Manipulação Insegura de Output
A Manipulação Insegura de Output ocorre quando o output de um LLM é aceito sem ser escrutinado, expondo os sistemas de backend. O uso indevido pode levar a consequências graves, como XSS, CSRF, SSRF, escalonamento de privilégios ou execução remota de código.
LLM03: Envenenamento dos Dados de Treinamento
A vulnerabilidade de Envenenamento dos Dados de Treinamento ocorre quando os dados de treinamento do LLM são adulterados, introduzindo vulnerabilidades ou vieses que comprometem a segurança, eficácia ou comportamento ético. As fontes incluem Common Crawl, WebText, OpenWebText e livros.
LLM04: Negação de Serviço ao Modelo
A Negação de Serviço do Modelo ocorre quando adversários geram operações intensivas nos recursos dos LLMs, levando à degradação do serviço ou a custos muito elevados. A vulnerabilidade é ampliada devido à natureza intensiva por parte de recursos dos LLMs e a imprevisibilidade de entradas pelo usuário.
LLM05: Vulnerabilidades na Cadeia de Suprimentos
O ciclo de vida de aplicativos LLM pode ser comprometido por componentes ou serviços vulneráveis, levando a ataques na segurança. O uso de conjuntos de dados advindo de terceiros, modelos pré-treinados e plug-ins podem adicionar vulnerabilidades.
LLM06: Divulgação de Informações Sensíveis
Os LLMs podem inadvertidamente revelar dados confidenciais em suas respostas, levando ao acesso não autorizado dos dados, violações de privacidade e violações de segurança. É crucial implementar a higienização dos dados e implementar políticas de usuários rigorosas para mitigar isso.
LLM07: Design Inseguro de Plug-ins
Os plug-ins dos LLMs podem ter entradas inseguras e controle de acesso insuficiente. Essa falta de controle do aplicativo torna-os mais fáceis de explorar e pode resultar em consequências como execução remota de código.
LLM08: Autoridade Excessiva
Sistemas baseados nas LLMs podem realizar ações que levam a consequências não intencionais. O problema surge da funcionalidade excessiva, permissões ou autonomia concedidas aos sistemas baseados nas LLMs.
LLM09: Dependência Excessiva
A Dependência Excessiva pode ocorrer quando um LLM produz informações errôneas e as fornece de maneira autoritária. Sistemas ou pessoas excessivamente dependentes nas LLMs sem supervisão podem enfrentar desinformação, má comunicação, problemas legais e vulnerabilidades de segurança devido a conteúdo incorreto ou inadequado gerado pela LLMs.
LLM10: Roubo do Modelo
Roubo do Modelo refere-se ao acesso não autorizado e à exfiltração de modelos LLM por atores maliciosos ou APTs. Envolve acesso não autorizado, cópia ou vazamento de modelos de LLM proprietários. O impacto inclui perdas econômicas, comprometimento da vantagem competitiva e potencial acesso a informações sensíveis.
Para mais detalhes sobre cada uma das vulnerabilidades, como, exemplos comuns destas vulnerabilidades, estratégias de prevenção e mitigação, exemplos de cenários de ataque, acessar a página oficial ou a documentação que possui tradução em português.
Conclusão
O potencial das aplicações LLM é imenso, mas também o são os riscos que representam se não forem devidamente compreendidos e mitigados. Ao tomar medidas proativas para abordar os 10 principais riscos de LLM da OWASP, podemos aproveitar o poder desta tecnologia transformadora de forma mais segura e estratégica. Afinal, a gestão responsável dos sistemas de IA torna rapidamente um imperativo essencial.
REFERÊNCIAS:
