OWASP Top 10 Para LLMs: Como Testar a Segurança de Aplicações com IA Generativa

Por Que Aplicações com LLM Precisam de uma Abordagem Diferente

Testes de segurança tradicionais focam em vulnerabilidades como SQL Injection, XSS e falhas de autenticação — todas relacionadas a como o código processa entradas estruturadas.

LLMs processam linguagem natural não estruturada como instrução, o que cria uma classe de risco fundamentalmente diferente: a própria entrada do usuário pode, em certas condições, ser interpretada como um comando pelo modelo — mesmo quando a intenção do desenvolvedor era que ela fosse tratada apenas como conteúdo.

Principais Riscos do OWASP Top 10 Para LLMs

1. Prompt Injection

O risco mais conhecido e discutido. Um atacante manipula a entrada fornecida ao modelo para contornar instruções do sistema, extrair informações restritas ou induzir o modelo a executar ações não autorizadas.

Existem duas variantes principais: direta, quando o próprio usuário insere o prompt malicioso, e indireta, quando a instrução maliciosa está embutida em um conteúdo externo que o modelo processa — como um documento, e-mail ou página web que o LLM é instruído a resumir ou analisar.

2. Vazamento de Dados Sensíveis

Modelos conectados a bases de conhecimento, documentos internos ou APIs corporativas podem expor informações que o usuário não deveria ter permissão para acessar — especialmente quando o controle de acesso não é aplicado de forma consistente entre o sistema de origem dos dados e a camada de IA.

3. Cadeia de Suprimentos do Modelo

Riscos relacionados aos componentes usados para construir a solução: modelos de terceiros, plugins, frameworks e dados de treinamento — cada um introduzindo uma superfície de confiança adicional que precisa ser avaliada.

4. Envenenamento de Dados de Treinamento

Quando um modelo é ajustado (fine-tuned) com dados controlados por um atacante, é possível introduzir vieses, backdoors ou comportamentos indesejados que só se manifestam sob condições específicas.

5. Tratamento Inadequado de Saídas do Modelo

Quando a resposta do modelo é usada diretamente por outros sistemas sem validação — por exemplo, sendo executada como código ou inserida diretamente em uma página web — vulnerabilidades tradicionais como XSS ou execução remota de código podem ser reintroduzidas através da saída do LLM.

6. Excesso de Permissões (Excessive Agency)

Modelos conectados a ferramentas e APIs que podem executar ações (enviar e-mails, modificar registros, executar transações) precisam ter permissões estritamente limitadas. Um modelo manipulado com permissões amplas pode causar danos reais, não apenas expor informações.

7. Vazamento do Prompt do Sistema

Instruções do sistema frequentemente contêm lógica de negócio, regras internas ou informações que a empresa não pretende tornar públicas. Técnicas de extração de prompt buscam expor essas instruções.

8. Excesso de Confiança nas Respostas do Modelo

Modelos podem gerar respostas incorretas de forma convincente (alucinações). Quando essas respostas alimentam decisões automatizadas sem validação humana, o impacto de negócio pode ser significativo.

Como Funciona um Pentest Para Aplicações com IA

Um pentest para aplicações baseadas em LLM combina técnicas tradicionais de segurança de aplicações com testes específicos para o modelo:

• Tentativas estruturadas de Prompt Injection direta e indireta
• Testes de extração do prompt do sistema e de dados de treinamento
• Avaliação do controle de acesso em integrações com bases de conhecimento (RAG)
• Análise das permissões concedidas ao modelo em integrações com APIs e ferramentas externas
• Testes de segurança das APIs e da infraestrutura que hospeda a aplicação
• Avaliação de como as saídas do modelo são tratadas antes de alimentar outros sistemas

Conclusão

Aplicações com IA generativa não substituem a necessidade de segurança de aplicações tradicional — elas adicionam uma camada de risco completamente nova em cima dela.

Empresas que estão lançando chatbots, assistentes internos ou qualquer solução baseada em LLM conectada a dados e sistemas corporativos precisam considerar essa avaliação como parte do processo — não como uma etapa opcional a ser feita depois que o produto já está em produção.