IA e Ciberseguranca - Tudo o que voce queria saber, mas tinha medo de perguntar

O resultado é um panorama abrangente de como a IA (inteligência artificial) está sendo usada atualmente em todo o cenário de segurança.

Organizado em cinco áreas temáticas principais, este relatório examina o papel da IA por múltiplas perspectivas: se ela pode ser confiável, como as organizações estão usando a tecnologia, como ela pode ser mal utilizada por integrantes legítimos das empresas, como está sendo explorada por adversários cibernéticos e para onde essa tecnologia provavelmente caminhará.

Os cinco temas são:

IA generativa, também chamada de gen-AI (inteligência artificial generativa)
IA agentiva
IA sombra
ML (machine learning, ou aprendizado de máquina)
AGI (artificial general intelligence, ou inteligência artificial geral)

Juntas, essas perspectivas oferecem uma avaliação prática das oportunidades, dos riscos e da provável evolução da IA na cibersegurança.

IA generativa

A IA generativa é a base da IA contemporânea, embora, técnica e potencialmente, tenha nascido de formas anteriores de aprendizado de máquina.

Ela faz exatamente o que o nome indica: gera novo conteúdo, mais comumente texto, a partir de um modelo de IA, geralmente um LLM (large language model, ou grande modelo de linguagem). Os chatbots são a interface dos usuários com o LLM, permitindo que perguntas, conhecidas como prompts, sejam aplicadas e que respostas sejam recebidas em linguagem natural. Os chatbots são a interface, e os LLMs são o motor de raciocínio. Para a maioria das pessoas, no uso direto, os dois parecem inseparáveis: uma única grande aplicação de IA generativa.

“A IA generativa é treinada em conjuntos massivos de dados, aprende padrões estatísticos e relacionais, e então usa esses padrões para sintetizar uma saída original a partir de um prompt”, explica Ahmad Shadid, cofundador e CEO (chief executive officer, ou diretor executivo) da ORGN.com. Isso é importante. Ela não cria respostas factualmente corretas para os prompts; ela prevê respostas prováveis com base nos padrões de relacionamento que aprendeu. Mas cria respostas linguisticamente corretas e convincentes.

Quatro arquiteturas de deep learning sustentam o treinamento das variantes modernas de IA generativa. A arquitetura transformer, o “T” em GPT (Generative Pre-trained Transformer, ou transformador generativo pré-treinado) e BERT (Bidirectional Encoder Representations from Transformers, ou representações codificadoras bidirecionais de transformadores), é usada em LLMs como ChatGPT, BERT e Claude.

O treinamento por difusão gera variantes focadas na criação de imagens de alta qualidade, além de áudio e vídeo. Fundamentalmente, esse processo começa com ruído aleatório. Matematicamente, guiado pelo prompt do usuário, ele reduz e remodela o ruído até chegar ao resultado claro desejado. A difusão inverte o processo de destruição. O resultado gerado também se baseia em probabilidade; neste caso, na distribuição provavelmente correta de pixels.

A difusão clássica está evoluindo para a tecnologia de diffusion transformer, como no Sora, e para o flow matching, usado em ferramentas como DALL-E 3 e Midjourney, que podem ser descritos como a próxima geração da difusão.

As GANs (generative adversarial networks, ou redes adversárias generativas) são treinadas por meio de duas redes adversárias presas em um ciclo de feedback. Uma cria dados falsos, enquanto a outra aprende a detectar falhas, sugerindo repetidamente os problemas e devolvendo esse feedback à criação. Ambas melhoram até que o detector não consiga mais encontrar falhas na criação.

Essa abordagem é boa para criar imagens, vídeos e áudios, mas foi amplamente substituída pela tecnologia de difusão no uso empresarial. No entanto, criminosos ainda usam modelos simples, rápidos e em tempo real baseados em GAN para troca de rosto e clonagem de voz, criando deepfakes.

A quarta arquitetura, os VAEs (variational autoencoders, ou autoencoders variacionais) , usa uma arquitetura encoder-decoder para geração de dados sintéticos, compressão de dados e detecção de anomalias. “Suas principais aplicações estão em imagens médicas e geração molecular para descoberta de medicamentos”, comenta Shadid.

Confiança na IA generativa

“A IA generativa é um mecanismo de previsão. Ela gera aquilo que é estatisticamente plausível com base em padrões que já viu antes”, explica Emanuel Salmona, CEO e cofundador da Nagomi Security. “Isso a torna boa para exploração: gerar hipóteses de exploração, testar diferentes entradas e conectar um comportamento estranho a padrões conhecidos de vulnerabilidade”, amplia Albert Ziegler, chefe de IA da XBOW.

“É uma ferramenta que as empresas podem usar para automatizar trabalho criativo”, acrescenta David Karandish, CEO e fundador da Capacity. Por causa disso, “ela está se tornando profundamente incorporada aos fluxos de trabalho das equipes de segurança, desde resumir relatórios de incidentes até ajudar a redigir planos de resposta”, continua Devvret Rishi, gerente geral de IA da Rubrik.

Galina Kho, diretora de estratégia da Cyberbay, descreve a chegada da IA generativa como uma revolução de eficiência. “Não é que capacidades totalmente novas tenham surgido; é que as capacidades existentes se tornaram dramaticamente mais fáceis de executar em escala.”

A maior questão no uso da IA é se é possível confiar em uma saída baseada em probabilidade, em vez de fundamentada em uma verdade conhecida. A resposta aqui é uma ampla variação de “não”. “Ela pode ser considerada confiável e não confiável ao mesmo tempo, dependendo da intenção, dos modelos usados e do fluxo geral de dados envolvido”, comenta Melissa Ruzzi, diretora sênior de IA da AppOmni.

“A IA generativa não é inerentemente confiável”, diz Yichuan Zhang, CEO e cofundador da Boltzbit. “Ela é propensa a alucinações, declarações confiantes porém falsas, e vazamento de dados, reproduzindo exatamente conteúdo de treinamento ou conteúdo de contexto.”

Trever Falconi, diretor de segurança e operações de TI (tecnologia da informação) da HOPPR, explica: “Implantar um modelo de IA generativa não é como instalar um software. Um modelo treinado em uma instituição se comportará de maneira diferente em outra, porque aprendeu a partir de um conjunto específico de dados e fluxos de trabalho. Leve-o para um novo ambiente e você introduziu uma mudança de distribuição: os dados do mundo real que ele encontra agora já não correspondem ao que ele foi criado para lidar, e o desempenho se degrada silenciosamente.”

A confiabilidade é uma questão complicada, sugere Aaron Sant-Miller, VP (vice president, ou vicepresidente) de IA da Booz Allen. “O modelo está fazendo sua melhor tentativa de dar a resposta correta, mas não é perfeito.” Como a IA generativa é a base de toda IA, há um efeito cascata de seus pontos fortes e fracos tanto na IA agentiva quanto na IA sombra, discutidas adiante.

Defensores cibernéticos devem sempre estar cientes de que a IA generativa pode produzir erros; mas isso não deve impedir seu uso. No entanto, como Ruzzi destaca ao citar o livro de Henri Thiel de 1971, Principles of Econometrics: “Modelos devem ser usados, não acreditados. A IA deve auxiliar analistas, não substituir o julgamento.”

O perigo é que a natureza humana leva as pessoas a acreditarem em qualquer coisa dita com confiança, e a IA generativa pode mentir com total confiança. Randell McNair, professor adjunto da Florida Polytechnic University, explica no LinkedIn: “[A IA generativa] é, para todos os efeitos práticos, uma criança ‘inteligente’ que ouviu a vida inteira que é ‘brilhante’, quando na verdade é apenas uma criança de quase 8 anos que nunca experimentou uma única consequência tangível por estar errada, e não tem memória de ter realmente falhado com alguém e precisado se arrepender genuinamente da vergonha e do constrangimento que deveriam fazer parte do processo de ‘aprender com o fracasso’.”

Uso da IA generativa

Zhang sugere três áreas em que o uso da IA generativa oferece benefícios: produtividade do SOC (security operations center, ou centro de operações de segurança), resumindo logs complexos de incidentes e escrevendo rascunhos iniciais de relatórios; programação segura, auxiliando desenvolvedores com código padrão que siga normas de segurança; e vibe coding, auxiliando pessoas que não são desenvolvedoras a criar aplicações de software do zero.

“Muitas empresas usam esses modelos para gerar documentos, escrever artigos, gerar software ou replicar mensagens que um humano enviaria ao orquestrar um fluxo de trabalho maior”, diz SantMiller. “Ela ajuda a redigir e-mails, resumir informações e reduzir esforço manual”, acrescenta Travis Springer, presidente da Sagiss.

“Equipes de imagens médicas estão testando modelos de visão e linguagem para revelar achados em estudos de imagem”, diz Falconi, “e pesquisadores usam geração de dados sintéticos para preencher lacunas quando dados reais de pacientes são escassos ou sensíveis demais para uso em escala.”

Novos usos para a IA generativa continuam sendo desenvolvidos, mas, dentro da cibersegurança, o uso mais eficaz vem da IA agentiva, que pode transformar a IA generativa de uma respondedora passiva em uma participante ativa.

Mau uso da IA generativa

O mau uso da IA generativa dentro das empresas geralmente é involuntário: surge de uma falha de governança em torno da tecnologia. O uso não governado de IA generativa é sempre um mau uso de IA.

Indivíduos começam a depender da IA para fornecer respostas rápidas, mas não necessariamente precisas, a perguntas ou problemas. Se um modelo de IA é implantado em toda a empresa sem controle adequado sobre seu uso, isso pode levar à degradação dos níveis de habilidade pessoal e a um aumento não governado de custos, pois a ideia de que IA é barata está errada. Se o acesso a um chatbot não for fornecido, funcionários usarão serviços externos com ainda menos controle, como será discutido na seção sobre IA sombra.

O problema vem tanto de indivíduos quanto da gestão ao tratarem a IA como uma solução, e não como uma assistente. Por exemplo, existe o potencial de usar a capacidade de programação da IA para reduzir o número de programadores qualificados e caros. Qualquer pessoa que consiga escrever prompts para uma IA agora pode produzir um programa, mas tais programas inevitavelmente introduzirão novas vulnerabilidades. Esse problema desaparece se pessoas qualificadas usarem a IA como assistente, uma ferramenta para melhorar desempenho, em vez de um meio para reduzir pessoal caro.

A governança é a chave para evitar o mau uso da IA generativa.

Abuso da IA generativa

Por abuso, queremos dizer uso por agentes mal-intencionados. Na cibersegurança, agentes malintencionados sempre adotam novas tecnologias em ritmo mais rápido que empresas legítimas. Isso certamente tem sido verdadeiro com a IA. A principal razão é o poder e a complexidade da IA. Quando uma empresa desenvolve uma aplicação interna de IA, precisa ter certeza de que tudo está correto ou pode enfrentar uma catástrofe autoinfligida. Isso leva tempo.

Criminosos não têm essa preocupação. Se algo que implementam não funciona perfeitamente, simplesmente recomeçam sem custo disruptivo. O resultado é que novos ataques tendem a aparecer antes de defesas adequadas. Os defensores podem até esperar esses ataques, mas não têm conhecimento detalhado deles antes que comecem.

Zhang destaca três exemplos principais de abuso da IA generativa: phishing hiper-realista, eliminando os indícios de gramática e ortografia do phishing tradicional; malware polimórfico, usando IA generativa para reescrever sutilmente código malicioso e contornar detecção baseada em assinaturas; e sites de phishing ou softwares agressivos criados por vibe coding, usando IA generativa para reescrever sutilmente aplicativos que se parecem com os originais, mas roubam dados sensíveis do usuário.

Gino Sciretta, CEO da BranditScan, alerta: “Gerar uma identidade falsa convincente agora leva segundos. Detectar uma com confiabilidade ainda exige ferramentas especializadas e analistas treinados. A maioria das plataformas e dos usuários não está equipada para isso. A tecnologia ultrapassou as salvaguardas, e a lacuna está aumentando, não diminuindo.”

A IA generativa introduziu uma mudança significativa na qualidade da engenharia social adversária. Ela pode ser usada para traçar o perfil de um indivíduo ao analisar qualquer presença em redes sociais e, então, desenvolver uma isca direcionada. Pode construir uma história de fundo convincente para o ataque e preparar um site falso ou disfarçado para capturar dados pessoais.

“A IA generativa torna phishing direcionado em massa, iteração de malware e pesquisa de vulnerabilidades muito mais acessíveis a agentes mal-intencionados. Ferramentas como WormGPT removem completamente as barreiras de segurança, então os atacantes obtêm as mesmas vantagens de velocidade da IA generativa comum, mas sem fricção”, comenta Harshit Agarwal, cofundador e CEO da Appknox.

Clonagem de imagem e voz, além da geração de vídeo, está criando um cenário de deepfake que aumenta a ameaça de BEC (business email compromise, ou comprometimento de e-mail corporativo) e VEC (vendor email compromise, ou comprometimento de e-mail de fornecedor), que só deve crescer em escala e sofisticação.

“Noventa e quatro por cento das imagens geradas por IA tinham artefatos visuais, mas esses artefatos eram tão sutis que a maioria dos alvos nunca os notou”, acrescenta Sciretta. “Os sinais reveladores estão lá se você souber onde procurar, como reflexos de luz inconsistentes nos olhos, em que uma pupila reflete uma janela e a outra reflete algo completamente diferente. Mas consumidores não são treinados para observar isso, e os geradores estão melhorando mais rápido que a conscientização pública.”

Mas ele acrescenta: “O desenvolvimento mais perigoso não são as fotos falsas. São as conversas falsas. Sistemas de chat movidos por IA agora conseguem sustentar diálogos emocionalmente convincentes por dias ou semanas, acelerando a manipulação emocional cerca de 300% mais rápido do que um operador humano conseguiria.”

Como diz Ted Miracco, CEO da Approov: “O perigo não é apenas o que a IA pode fazer; é a velocidade com que ela age antes que alguém perceba.”

Por enquanto, criminosos usam principalmente a IA para melhorar aquilo que já fazem: engenharia social mais eficiente, descoberta de vulnerabilidades em código e geração de exploits. O próximo passo será automatizar o processo completo de ataque por meio de sistemas de IA agentiva.

Futuro da IA generativa

A lei de Amara afirma: “Nós superestimamos o impacto da tecnologia no curto prazo e subestimamos seu efeito no longo prazo.” A dificuldade com a IA é que o curto prazo pode ser a próxima semana, enquanto o longo prazo provavelmente são apenas alguns meses. Quando a maioria das pessoas realmente entende o que está acontecendo, o que está acontecendo já mudou.

Ainda assim, alguns especialistas corajosos fizeram previsões. Ronan Murphy, diretor de estratégia de dados da Forcepoint, acredita: “A IA generativa estará incorporada em tudo: em cada planilha, cada vídeo, cada fluxo de trabalho. A distinção entre ‘usar IA’ e simplesmente ‘fazer seu trabalho’ praticamente desaparecerá. Para equipes de segurança, isso significa que a superfície que você tenta proteger continua se expandindo, provavelmente mais rápido do que sua estrutura de políticas consegue acompanhar.”

Zhang vê um futuro com SLMs (small language models, ou pequenos modelos de linguagem). “Estamos caminhando para pequenos modelos de linguagem hiper especializados em domínios específicos, como um modelo treinado exclusivamente em vulnerabilidades do kernel Linux, para reduzir ruído e aumentar a precisão.”

Sant-Miller é mais cauteloso, questionando se a própria natureza da IA atual torna seu futuro indeterminável. “O futuro da IA generativa é complicado”, diz ele.

“Os modelos continuam ficando maiores e, consequentemente, mais poderosos. Mas há duas forças opostas. Modelos maiores são mais caros, tanto para treinar quanto para usar, então capacidade vem com custo. E os modelos são treinados com conteúdo gerado por humanos, que fornece uma aproximação do raciocínio humano. O que acontece quando a maior parte do conteúdo for gerada por IA e já não fornecer essa aproximação? Essas são as grandes questões que precisamos resolver como indústria.”

IA agentiva

A IA agentiva é uma extensão evolutiva da IA generativa baseada em chatbot. De forma simples, um usuário faz uma pergunta ao chatbot e depois age de acordo com a resposta recebida. Com a IA agentiva, a IA generativa retorna sua resposta a um agente, que então pode instruir outras ferramentas organizacionais a executar o comportamento necessário.

Mas a IA agentiva é muito mais complexa do que essa visão simples: ela é um controlador de tarefas, ou tomador de decisões, que usa um LLM como principal fonte cognitiva. O agente, ou os agentes, são dinâmicos, com estado, adaptativos, orientados a objetivos e conscientes das ferramentas que podem usar para cumprir a meta.

“A IA agentiva converte LLMs que respondem a perguntas em software que automatiza a execução de trabalho”, explica Eric Syphard, líder executivo de IA na Booz Allen. “Pense em LLMs com mãos.”

Avanços técnicos em contexto de memória longa, uso de ferramentas e avaliação permitem que sistemas agentivos concluam processos complexos de múltiplas etapas com pouca ou nenhuma supervisão humana. “Isso não é apenas uma nova versão da IA”, continua ele. “É um modelo operacional e econômico totalmente novo para entregar trabalho: ‘trabalho como software’.”

Miracco acrescenta: “A IA agentiva não apenas responde a perguntas; ela também pode agir de forma autônoma em seu nome. Chamando APIs (application programming interfaces, ou interfaces de programação de aplicações), executando código, gerenciando fluxos de trabalho e tomando decisões, o LLM agora é o cérebro controlando tudo aquilo a que recebeu acesso, como seu telefone.”

A IA agentiva é um passo significativo além da IA generativa. “Em vez de responder a um único prompt, um agente raciocina, planeja e age. Isso frequentemente acontece por múltiplas ferramentas, fontes de dados e integrações de aplicações, com envolvimento humano mínimo em cada etapa”, explica Murphy. “Você dá ao agente uma meta, não uma instrução, e ele descobre como chegar lá.”

Confiança na IA agentiva

Como a IA agentiva usa IA generativa para cognição, ela herda os problemas de confiança da IA generativa, mas com maior perigo devido ao acesso direto a ativos da empresa e ao potencial de ação autônoma sobre esses ativos.

Ela pode ser confiável? “Depende inteiramente de como é construída. Um agente autônomo com acesso irrestrito aos seus sistemas é uma responsabilidade perigosa. Um agente autônomo com permissões delimitadas, fluxos de aprovação humana, trilhas de auditoria e controles de orçamento é uma ferramenta na qual você pode realmente confiar. Sistemas agentivos precisam ser transparentes para mais de um usuário”, diz Marcel Folaron, CEO da Cochat.

Ele acrescenta: “A questão da confiança não é binária. É arquitetural. Você consegue ver o que o agente fez? Consegue controlar o que ele está autorizado a fazer? Consegue revisar seu trabalho antes que ele tome uma ação consequente? Se sim, você tem um sistema confiável. Se não, você tem um risco.”

Ela pode ser confiável? “Somente se for ativamente governada, algo para o qual a maioria das organizações hoje não está preparada. Agentes precisam de amplo acesso para funcionar e, uma vez que esse acesso é concedido, a saída raramente é revisada ou reduzida”, alerta Agarwal. “Eles contornam totalmente a camada de UI (user interface, ou interface do usuário), interagindo diretamente com APIs de maneiras que não geram os dados de sessão ou sinais comportamentais usados pelas equipes de segurança para detectar anomalias. Isso remove a visibilidade tradicional, especialmente em ambientes orientados por API e mobile-first. O tráfego deles também parece legítimo, muitas vezes não aparecendo nos logs que alguém realmente monitora.”

Syphard acrescenta: “Estabelecer confiança exige governança robusta de identidade e acesso, tratando agentes como entidades não humanas com identidades únicas que precisam ser continuamente autenticadas, autorizadas, auditadas e monitoradas, muito como usuários humanos, já que agentes podem introduzir riscos semelhantes aos de ameaças internas.”

Kho sugere: “A confiança na IA agentiva vem de quão bem ela é restringida. Não vem de quão bom é o modelo. Portanto, a pergunta mais importante não é quão precisa ela é, mas qual é a pior coisa que ela pode fazer se estiver errada. Porque, na prática, o risco é definido mais por permissões do que por desempenho.”

You Mon Tsang, fundador e CEO da ChurnZero, concorda com a necessidade de governança para garantir uma IA agentiva confiável. “A confiança precisa ser conquistada por contenção: acesso a dados bem considerado, pontos de verificação com humano no processo e registro de tudo.”

Zhang acrescenta: “Confiança é um grande obstáculo. Como agentes podem executar ações, como excluir um usuário ou alterar uma regra de firewall, eles exigem salvaguardas rígidas e pontos de verificação com humano no processo para evitar processos descontrolados. É muito importante ter salvaguardas em vigor para qualquer IA agentiva.”

Um humano no processo é parte importante do mecanismo de governança que permite confiança na IA agentiva. Mas esse é um alvo móvel. À medida que a qualidade da IA, a velocidade dos negócios e o volume e ritmo dos ataques aumentam, também cresce a pressão para reduzir o nível de restrição humana sobre ações agentivas. Garantir continuamente o equilíbrio correto entre ação humana e ação autônoma é um fator importante para manter desempenho máximo com confiança máxima.

Uso da IA agentiva

A implementação atual da IA agentiva é cautelosa, mas está acelerando: cautelosa porque a maioria das organizações entende que essa é uma força difícil de domar; acelerando porque os benefícios são reais.

A capacidade de agir em velocidade de máquina com mínima atividade humana é uma vantagem para a cibersegurança. Zhang cita o potencial de “correção autônoma”. “Um agente identifica uma vulnerabilidade, encontra o patch, testa em uma sandbox e implanta”, diz ele.

“Ela está sendo usada para automação de fluxos de trabalho, assistentes, triagem de tickets e suporte à pesquisa. Em equipes de segurança, a IA está principalmente ajudando analistas a reunir contexto, não a tomar decisões”, acrescenta Kho.

“Empresas usam IA agentiva para tarefas repetíveis, demoradas e que atualmente ficam pelo caminho: monitoramento, relatórios, agregação de dados, triagem de alertas, geração de conteúdo, verificações de conformidade. O valor é maior para equipes pequenas e médias que não têm pessoal suficiente para fazer tudo manualmente”, diz Folaron.

“Empresas já estão implantando IA agentiva para escrever código, triar alertas de segurança, gerenciar infraestrutura e automatizar fluxos de trabalho que antes exigiam equipes inteiras. Os ganhos de produtividade são muito reais”, acrescenta Jim Sherlock, VP de IA e R&D (research and development, ou pesquisa e desenvolvimento) em cibersegurança da ProCircular.

“Para as empresas, a real oportunidade é fechar a lacuna entre encontrar um problema e realmente resolvê-lo. Essa lacuna, a investigação, a coordenação entre equipes, a verificação de que uma correção realmente se manteve, foi quase totalmente manual por décadas”, diz Salmona.

“Sistemas agentivos estão começando a absorver esse trabalho. Mas os que fazem isso bem são fundamentados em profundo contexto ambiental. Os que não são fundamentados em contexto geram atividade sem reduzir exposição. São coisas muito diferentes.”

Mau uso da IA agentiva

O mau uso da IA agentiva geralmente é acidental, enraizado em sua falta de governança, salvaguardas e design cuidadoso, e agravado pela imprevisibilidade do raciocínio de máquina. Um ciclo lógico interminável, esforçando-se continuamente sem nunca ter sucesso, poderia manter o agente rodando efetivamente para sempre, a menos que fosse interrompido manualmente. Esses ciclos intermináveis podem ser causados por alucinação, mau design ou falha do agente ou do LLM em reconhecer que sua meta já foi alcançada.

“Um aspecto importante da confiança em agentes de IA é treiná-los para conhecer seus limites. Ninguém quer ficar preso em um ciclo infinito quando um humano poderia facilmente intervir e resolver o problema”, comenta Karandish.

“O problema que me tira o sono é simples: um agente é tão bom quanto o contexto em que opera”, acrescenta Salmona. “Dê a ele uma visão precisa e correlacionada do seu ambiente, seus ativos, seus controles, suas exposições, seu cenário de ameaças, e ele pode tomar decisões que realmente reduzem risco. Dê a ele dados incompletos e ele ainda assim agirá. Com confiança. Rapidamente. Incorretamente. Automação sem contexto verificado é apenas uma maneira mais rápida de errar em escala.”

É esse tipo de mau uso acidental da IA agentiva que alimenta os problemas generalizados de confiança. “Para que a IA agentiva tenha sucesso no futuro, segurança, governança e capacidade de recuperação devem ser prioridades máximas”, alerta Rishi.

“As consequências não intencionais são reais. Agentes podem se desviar, tomando ações que tecnicamente seguem suas instruções, mas produzem resultados que ninguém pretendia. Eles podem acumular permissões ao longo do tempo se ninguém estiver auditando”, acrescenta Folaron.

Abuso da IA agentiva

A realidade complexa da IA agentiva é que, enquanto ela beneficia empresas, simultaneamente aumenta sua superfície de ataque. E agentes mal-intencionados tanto atacam sistemas agentivos quanto usam seus próprios sistemas agentivos para acelerar e escalar ataques. Para piorar, as empresas muitas vezes não percebem essa superfície de ataque ampliada. Aplicações baixadas às vezes vêm com sistemas agentivos embutidos, mas não especificados.

“Quanto aos agentes mal-intencionados, neste momento, as formas mais comuns de uso da IA são conduzir ataques tradicionais em ritmo muito mais rápido ou publicar projetos maliciosos de IA para infectar adotantes iniciais empolgados com a tendência. Mas, com o tempo, à medida que a IA entrar em sistemas mais críticos e as empresas derem mais autoridade a seus agentes internos, veremos muito mais injeções de prompt usadas para manipular esses sistemas”, acrescenta Amit Chita, field CTO (chief technology officer, ou diretor de tecnologia) da Mend.io.

Agentes mal-intencionados miram a superfície de ataque agentiva de várias formas, mais comumente por injeções de prompt. “Ataques de injeção de prompt podem redirecionar silenciosamente um agente para exfiltrar dados ou criar cargas de execução atrasada a partir de entradas que pareciam inofensivas na chegada”, alerta Agarwal.

“Na minha visão”, comenta Shadid, “ofensivas cibernéticas se tornarão quase totalmente agentivas em um a dois anos. A defesa terá que se tornar autônoma para acompanhar.”

Ron Longo, CEO da TrustLogix, sugere: “Cibercriminosos aproveitarão a escala e a inteligência da IA agentiva para lançar ataques de phishing e malware mais avançados e avassaladores. Como a IA agentiva pode ser autônoma, ela pode automatizar e orquestrar esses ataques com maior sofisticação do que em eras anteriores do cibercrime.”

Ainda não chegamos lá. “Eles não precisam de automação completa. Mesmo uma automação parcial aumenta significativamente sua eficiência e o retorno do esforço”, explica Kho.

Mas a situação tende a piorar. “A IA agentiva permite que atacantes automatizem reconhecimento, descoberta de vulnerabilidades, tentativas de exploração e adaptação contra muitos alvos ao mesmo tempo. Em vez de apenas gerar conteúdo, ela pode perseguir um objetivo em múltiplas etapas”, diz Ziegler. “Em outras palavras, a mudança é de IA gerando artefatos para IA conduzindo operações.”

Murphy acrescenta: “A preocupação olhando adiante são sistemas agentivos que conseguem identificar uma fraqueza autonomamente, explorá-la, exfiltrar dados e apagar rastros, tudo sem um humano no processo do lado do atacante. Ainda não estamos totalmente lá. Mas a trajetória é óbvia, e a indústria de segurança não está se movendo rápido o bastante para se antecipar.”

Essa trajetória já foi confirmada pela descoberta da Anthropic de um ataque em grande parte automatizado realizado por um agente de ameaça patrocinado por Estado e vinculado à China em novembro de 2025.

“Em vez de um hacker humano sondar manualmente um sistema, um agente de IA pode varrer vulnerabilidades, testar exploits, exfiltrar dados e apagar seus rastros, tudo sem intervenção humana. Campanhas de spear phishing que se adaptam em tempo real com base nas respostas do alvo. Reconhecimento automatizado em uma escala que antes não era possível. A mesma autonomia que torna agentes úteis para defensores os torna perigosos nas mãos erradas”, diz Folaron.

Futuro da IA agentiva

“Dado o potencial impacto produtivo da IA agentiva, estou confiante de que ela se tornará uma parte central de como as empresas são administradas”, diz Tsang.

Dentro da cibersegurança, “provavelmente veremos o surgimento da ‘orquestração agentiva’, em que múltiplos agentes especializados, como um ‘agente de detecção’ e um ‘agente de remediação’, colaboram para gerenciar ciclos completos de segurança”, sugere Zhang.

Mas a complexidade da IA agentiva precisará ser acompanhada por controles complexos. “O que sei com certeza é que controles estáticos baseados em regras não acompanharão o ritmo. Você precisa de segurança de dados que entenda contexto: o que o agente está fazendo, quais dados está tocando, que risco isso representa, e que se adapte dinamicamente. Essa ideia de segurança adaptativa é crítica para hoje e para amanhã. O antigo binário ‘bloquear ou permitir’ não funciona quando um agente de IA toma centenas de decisões de dados por minuto”, alerta Murphy.

“O futuro são agentes que rodam continuamente, aprendem com seus resultados, colaboram entre si e só chamam humanos quando uma decisão exige julgamento. Mas esse futuro só funciona se resolvermos a governança primeiro. Autonomia sem responsabilidade é um desastre esperando para acontecer”, diz Folaron.

Uma área ainda muito debatida é o grau de autonomia que será permitido em sistemas agentivos futuros. “No futuro, a IA agentiva será bem-sucedida onde a governança for forte, mas arriscada onde automação for confundida com maturidade. Ela deve ser automação supervisionada, apoiada por limites claros e validação contínua. O futuro não é segurança autônoma”, diz Kho.

“Espero mais sistemas construídos a partir de muitos agentes de vida curta, com objetivos estreitos, coordenação persistente, controles rígidos de políticas e validação independente”, diz Ziegler. “O desempenho agentivo não se trata apenas de escolher um modelo favorito para sempre; às vezes, modelos diferentes contribuem com forças diferentes em pontos diferentes do ciclo. A verdadeira fronteira não é ‘mais autonomia a qualquer custo’. É autonomia que permanece auditável, orientada por evidências e segura para operar em produção.”

IA sombra

IA sombra é a IA instalada dentro da empresa, mas desconhecida pelos departamentos de TI e segurança, ou a IA externa usada por um funcionário sem referência aos departamentos de TI e segurança.

“IA sombra é a versão de cibersegurança da shadow IT, exceto que o raio de impacto é ordens de grandeza maior. Ela entra nas empresas da mesma forma que toda ferramenta não sancionada entra”, comenta Sherlock.

A IA sombra agentiva geralmente entra quando um funcionário encontra uma ferramenta open source e a instala para melhorar seu desempenho no trabalho.

No entanto, “ao contrário da shadow IT, a IA sombra opera dentro dos fluxos de trabalho, não fora deles. Isso a torna mais difícil de detectar e mais fácil de confiar”, alerta Agarwal.

Isso é especialmente relevante quando a IA está incluída como agentes não divulgados dentro de uma aplicação SaaS (software as a service, ou software como serviço) em nuvem baixada. Se essas aplicações são instaladas, podem chegar com um ou mais tokens OAuth (open authorization, ou autorização aberta) válidos e pré-aprovados, concedendo acesso a diferentes partes da infraestrutura dos clientes. Se um atacante obtém acesso a esse token OAuth, ganha acesso fácil a informações frequentemente sensíveis.

A extensão potencial desse acesso pode ser enorme, como visto no comprometimento da Salesloft Drift em 2025. Drift é um chatbot de IA e ferramenta de engajamento em site para Salesforce. Atacantes roubaram seus tokens OAuth, obtendo acesso às organizações que instalaram Drift. Posteriormente, mais de 700 organizações foram comprometidas por meio da IA sombra dentro do Drift. Se alguma dessas organizações desconhecia a IA agentiva dentro do Drift, foi efetivamente comprometida por IA sombra.

Outro exemplo de IA sombra ocorre quando um funcionário usa um chatbot externo, sem o conhecimento do departamento de segurança, para acessar IA generativa. Esse funcionário poderia então executar ações dentro da organização com base em informações incorretas, inadequadas ou simplesmente alucinadas.

Ainda assim, “os benefícios de produtividade do uso de IA sombra são reais, e quero deixar isso claro”, diz Murphy. “As pessoas não usam essas ferramentas porque são imprudentes. Elas as usam porque funcionam. O problema é que ganhos de produtividade e risco de dados acontecem simultaneamente, e as organizações frequentemente não têm visibilidade sobre nenhum dos dois.”

Confiança na IA sombra

Em última instância, não pode haver confiança na IA sombra. O que não pode ser visto não pode ser confiado. “Modelos que não foram avaliados podem ser manipulados, podem herdar vieses de dados de treinamento não verificados ou podem se comportar de forma imprevisível quando encontram entradas fora de sua distribuição de treinamento. E, como ninguém os monitora, essa imprevisibilidade passa despercebida”, alerta Falconi.

Uso da IA sombra

“IA sombra é o que acontece quando boas intenções encontram conveniência. Um funcionário descobre uma nova ferramenta de IA, um plugin de navegador, um assistente de código, uma aplicação de produtividade, e começa a usá-la porque ela realmente ajuda a trabalhar mais rápido”, explica Murphy.

No curto prazo, a IA sombra pode beneficiar a empresa. Mas, no longo prazo, “o risco de uma grande violação de dados ou multa regulatória, como GDPR (General Data Protection Regulation, ou Regulamento Geral de Proteção de Dados da União Europeia) e CCPA (California Consumer Privacy Act, ou Lei de Privacidade do Consumidor da Califórnia), supera amplamente os ganhos de eficiência”, acrescenta Zhang.

“As pessoas começam a usar IA sombra porque ela realmente as ajuda a trabalhar mais rápido. O problema é que o ganho de produtividade vem com risco não quantificado. Você troca velocidade por controle, e muitas vezes não percebe o que perdeu até algo dar errado”, diz Folaron.

Mau uso da IA sombra

Estritamente falando, todo e qualquer uso de IA sombra é um mau uso de IA, simplesmente porque não foi sancionado pela empresa. Esse mau uso pode causar problemas sérios, ainda que acidentais. “Na área da saúde, o cenário se repete regularmente”, comenta Falconi. “Um radiologista encontra um modelo open source e começa a usá-lo para ajudar na triagem de exames. Um pesquisador passa dados de imagem por uma ferramenta de IA de consumo para acelerar análises. Ninguém em TI, segurança ou conformidade sabe que isso existe. Não há trilha de auditoria, não há procedência documentada dos dados que ela tocou e não há controle de versão.”

A questão de conformidade é ampliada na IA sombra, podendo causar sérios problemas regulatórios. “Quando algo dá errado, não há como rastrear, conter ou demonstrar a um regulador que precauções razoáveis foram tomadas.” A exposição regulatória varia por setor, mas a lacuna de responsabilidade é consistente. “Na saúde, isso é uma falha de conformidade, uma possível responsabilidade sob a HIPAA (Health Insurance Portability and Accountability Act, ou Lei de Portabilidade e Responsabilidade de Seguros de Saúde dos Estados Unidos). Em serviços financeiros, implica supervisão da SEC (Securities and Exchange Commission, ou Comissão de Valores Mobiliários dos Estados Unidos) e da FINRA (Financial Industry Regulatory Authority, ou Autoridade Reguladora da Indústria Financeira). Em qualquer organização que lide com dados da União Europeia, o GDPR se aplica. Em todas essas regulações, a posição legal é a mesma: uma empresa que não consegue documentar como um sistema de IA foi construído, validado e monitorado não tem uma postura defensável quando esse sistema causa dano”, acrescenta.

No entanto, “as implicações de segurança vão além das lacunas de conformidade. Quando funcionários usam ferramentas de IA não sancionadas, dados sensíveis frequentemente deixam completamente o perímetro da organização, enviados para APIs externas ou plataformas com políticas opacas de retenção de dados. Ao contrário da shadow IT tradicional, a exposição não é apenas uma ferramenta mal configurada. São dados proprietários ou protegidos potencialmente sendo ingeridos por sistemas sobre os quais a organização não tem visibilidade nem controle contratual”, continua Falconi.

“Essas ferramentas frequentemente usam configurações ‘públicas’, o que significa que qualquer dado sensível inserido, como código-fonte proprietário ou PII (personally identifiable information, ou informação pessoal identificável) de clientes, torna-se parte do conjunto de treinamento do fornecedor, efetivamente vazando para o público”, explica Zhang, acrescentando: “Agentes mal-intencionados procuram chaves de API expostas ou segredos corporativos ‘vazados’ dentro de conjuntos públicos de dados de IA para obter uma posição inicial na rede-alvo.”

Geoff Mattson, CEO da SecureAuth, alerta: “Quando alguém configura um servidor MCP (Model Context Protocol, ou protocolo de contexto de modelo) em seu laptop para dar ao Claude acesso a bancos de dados internos, isso é IA sombra com dentes reais.”

Abuso da IA sombra

“IA sombra é mais uma superfície de ataque do que uma ferramenta de ataque”, comenta Folaron. O maior problema introduzido pela IA sombra é essa superfície de ataque maior: “Toda integração de IA não sancionada é um possível vazamento de dados, uma possível violação de conformidade, um possível ponto de entrada. O risco é estrutural, não apenas comportamental”, continua Murphy.

Ferramentas não sancionadas rodando dentro do perímetro de uma empresa são, por definição, não monitoradas. “Isso as torna um vetor viável para insiders maliciosos. Um funcionário usando uma ferramenta não avaliada para exfiltrar dados, manipular saídas ou conduzir inteligência competitiva com baixo risco de detecção é arriscado. Como a IA sombra existe fora dos sistemas formais de TI, os gatilhos habituais não estão em vigor”, amplia Falconi.

Agentes mal-intencionados também tentam ampliar e manipular essa superfície de ataque oculta, enganando funcionários para baixarem modelos open source deliberadamente envenenados. “Alguém pode baixar e implantar um modelo adulterado na origem, e ele opera de forma invisível dentro da empresa. Sem documentação de procedência ou processo de validação, não há como saber o que você está executando ou se foi manipulado”, continua Falconi.

“Na cibersegurança, problemas raramente começam com ataques; começam com pontos cegos. O problema da IA sombra não está em confiar nela, mas em não ter plena consciência dela”, explica Kho.

Futuro da IA sombra

O futuro correto para a IA sombra é conhecido, mas se é alcançável permanece em debate.

“A IA sombra crescerá antes de diminuir. As ferramentas são acessíveis demais e os incentivos de produtividade são fortes demais para que a tendência se reverta sozinha. Bloquear tudo também não funciona. Políticas excessivamente restritivas não eliminam a IA sombra; apenas a empurram ainda mais para o subsolo, onde se torna ainda mais difícil detectá-la e governá-la”, argumenta Falconi.

Apesar dos problemas envolvidos em livrar empresas de sua IA sombra, muitos profissionais acreditam que isso pode acontecer e acontecerá. “A trajetória é previsível”, diz Tsang. “A TI vai alcançar. Organizações que se moverem mais rápido para oferecer ferramentas de IA sancionadas e seguras terão o menor problema de IA sombra, porque o incentivo para contornar a TI desaparece quando a TI realmente entrega.”

Falconi concorda com isso. “Quando organizações fornecem aos profissionais plataformas seguras e auditáveis que oferecem a velocidade e a flexibilidade que eles procuram, o apelo das ferramentas não sancionadas diminui. A IA sombra existe porque a alternativa governada é lenta demais, pesada demais ou indisponível. Corrija isso, e você aborda a causa raiz, não o sintoma.”

Salmona acrescenta: “As organizações que resolverem isso não o farão proibindo ferramentas. Farão isso tornando o caminho aprovado mais rápido do que o caminho sombra. Esse é um problema de design, não um problema de política.”

A história, no entanto, discorda. Nossa shadow IT, isto é, TI sem qualquer IA, está conosco há muitos anos. A indústria não apenas falhou em resolver a shadow IT, como o problema está maior do que nunca. A ideia de que resolveremos com o tempo o problema da IA sombra, que provavelmente será mais resistente que a shadow IT, é decididamente discutível.

Machine learning

A indústria usa sistemas de IA baseados em machine learning há muitos anos, muito antes de a IA generativa se popularizar.

ML e IA generativa são relacionados. Ambos são treinados com dados. Mas, enquanto a IA generativa é treinada em dados massivos coletados da internet, o ML é treinado em dados restritos à sua tarefa principal, geralmente local. Por causa dos dados-fonte mais restritos, a saída é determinística, enquanto a saída da IA generativa é probabilística.

“Ferramentas e sistemas de reconhecimento de texto, como OCR (optical character recognition, ou reconhecimento óptico de caracteres), são um bom exemplo”, diz Folaron. “São ferramentas de ML treinadas em milhares e milhares de documentos. Quando você escaneia um documento, elas identificam o texto com bastante precisão. Se você escanear a mesma página duas vezes, provavelmente obterá a mesma saída.”

ML usa algoritmos estatísticos para encontrar anomalias em dados. “Em segurança”, diz Zhang, “é usado principalmente para reconhecimento de padrões e análise comportamental.” Essa análise comportamental é usada para localizar indícios de comprometimento ao destacar desvios em relação ao normal.

Confiança em machine learning

“Em geral, ML é mais confiável que IA generativa, pois é usado para analisar conteúdo existente, não para gerar novo conteúdo”, diz Ruzzi.

No entanto, “ML é tão confiável quanto aquilo em que foi treinado, e modelos treinados com dados incompletos ou desatualizados deixarão passar ameaças que não se parecem com ameaças anteriores. Atacantes sabem disso. Eles estudam a lógica de detecção para criar entradas que permaneçam dentro dos limites do que parece normal, efetivamente ensinando a si mesmos como escapar dos sistemas projetados para capturá-los. Sistemas de ML também falham silenciosamente. Quando deixam passar algo, não alertam. Normalizam”, alerta Agarwal.

“Dentro de seu domínio treinado, ML pode ser excepcionalmente confiável, muitas vezes mais consistente que analistas humanos que se cansam, se distraem ou ficam sobrecarregados pelo volume. Mas tem pontos cegos. Modelos de ML são tão bons quanto seus dados de treinamento. Se os dados de treinamento não incluem determinado tipo de ataque, o modelo não o capturará”, concorda Folaron. “A resposta honesta é que ML é confiável como uma camada de defesa, não como a única camada. É excelente para reduzir ruído e revelar o que importa. Não substitui o julgamento humano em decisões críticas.”

“ML em cibersegurança é confiável quando usado para ampliar a tomada de decisão humana, não para substituí-la”, acrescenta Sciretta. “O risco vem quando organizações tratam ML como uma solução do tipo configurar e esquecer. Modelos se degradam ao longo do tempo à medida que o cenário de ameaças muda. Se você não está continuamente retreinando, validando e auditando seus modelos, está construindo sobre uma fundação que lentamente desmorona sob seus pés.”

Rishi diz: “O principal desafio é tornar as decisões de machine learning observáveis e explicáveis. As organizações precisam de uma compreensão clara de como os resultados são derivados, de quais sinais dependem e onde essas decisões podem ser validadas ou substituídas, ou correm o risco de confiar em decisões que não entendem nem controlam totalmente.”

Uso de machine learning

“Aplicações de machine learning em cibersegurança olham para análise de risco, análise comportamental e detecção de ameaças. Cada abordagem de machine learning carrega diferentes compensações com base no método selecionado por baixo. Algumas são menos poderosas, mas generalizam melhor para novos casos de uso e são mais transparentes, fáceis de explicar por que disseram ou fizeram algo. Outras são mais focadas e opacas. Essas são compensações que uma equipe de IA equilibra ao entregar esses recursos”, diz Sant-Miller.

“ML é a base de muitas aplicações de IA em cibersegurança. Envolve o uso de modelos treinados com dados passados para identificar padrões, detectar atividades incomuns e destacar comportamento que difere do que é considerado normal”, continua Agarwal. “Empresas o usam para detecção de ameaças, análise de malware, pontuação de risco e monitoramento comportamental em endpoints e redes. Seu valor vem de operar em uma escala que nenhuma equipe humana consegue igualar.”

Folaron acrescenta: “Detecção de ameaças, identificando anomalias em tráfego de rede, comportamento de endpoints ou atividade de usuários. Filtragem de e-mail. Detecção de fraude. Priorização de vulnerabilidades, descobrindo quais das suas 10.000 vulnerabilidades realmente importam. UEBA (user and entity behavior analytics, ou análise de comportamento de usuários e entidades), aprendendo como é o normal para cada usuário e sinalizando desvios. Análise de logs em escalas que nenhuma equipe humana conseguiria processar manualmente.”

Zhang fornece um exemplo específico de UEBA: “Sinalizar quando um usuário de repente baixa 5 GB de dados às 3h da manhã.”

Ruzzi diz que ML é usado “para análise profunda de conteúdo numérico, grandes volumes de dados ou análise de dados em que a intenção é ser o mais determinístico possível. ML normalmente é preferido à IA generativa ou usado como etapa intermediária para analisar dados que depois serão usados pela IA generativa.”

Apesar do valor potencial do ML na defesa cibernética, Rishi reforça: “O principal desafio é tornar as decisões de machine learning observáveis e explicáveis. As organizações precisam de uma compreensão clara de como os resultados são derivados, de quais sinais dependem e onde essas decisões podem ser validadas ou substituídas, ou correm o risco de confiar em decisões que não entendem nem controlam totalmente.”

Mau uso de machine learning

ML não se presta facilmente ao mau uso ativo por funcionários: quando há mau uso, ele ocorre por omissão, não por ação.

Salmona dá um exemplo: deriva do modelo. “Precisão na implantação não é precisão seis meses depois. Ambientes mudam, comportamentos de atacantes evoluem, e o modelo não acompanha automaticamente. A maioria das organizações não tem uma forma sistemática de monitorar essa degradação. Elas confiam na ferramenta porque ela funcionou antes. Essa suposição eventualmente custará caro.”

Abuso de machine learning

A mesma vantagem das análises automatizadas significa que adversários usam seus próprios sistemas de ML. “Qualquer sistema que ajude a automatizar seleção, priorização ou iteração pode tornar atacantes mais rápidos e persistentes.” É um componente-chave na industrialização contínua do cibercrime. “O padrão geral é que operações cibernéticas deixam de ser artesanais e se tornam industrializadas”, diz Ziegler.

Atacantes também usam ML para evasão. “Usam seus próprios modelos de ML para simular o sistema de segurança de um alvo e encontrar ‘pontos cegos’ onde seus ataques não serão detectados”, diz Zhang.

“Evadir sistemas de detecção treinando modelos que aprendem o que dispara alertas e então otimizam ataques para ficar abaixo do limite”, amplia Folaron, acrescentando: “Quebra automatizada de senhas. Geração de malware polimórfico que muda o suficiente para contornar detecção baseada em assinatura enquanto mantém sua carga. E, cada vez mais, uso de ML para priorizar alvos, analisando dados publicamente disponíveis para identificar as organizações mais vulneráveis ou valiosas para atacar.”

Ruzzi acrescenta: “Agentes mal-intencionados podem usar ML para automatizar reconhecimento ou mapear vulnerabilidades de rede.”

Mas agentes mal-intencionados também atacam diretamente sistemas empresariais de ML. “Ele é suscetível a ataques adversariais em que atacantes ‘envenenam’ os dados de treinamento para fazer o modelo de ML ignorar tipos específicos de atividade maliciosa”, alerta Zhang.

Futuro do machine learning

O futuro do machine learning é uma convergência com a IA generativa.

“ML em cibersegurança está caminhando para defesa adaptativa em tempo real: sistemas que não apenas detectam padrões conhecidos, mas aprendem continuamente e respondem a novos padrões. A convergência com a IA agentiva é onde a coisa fica interessante. Em vez de o ML sinalizar uma ameaça e esperar que um humano responda, você terá agentes alimentados por ML que detectam, investigam e contêm ameaças autonomamente dentro de limites definidos. A velocidade de resposta se torna a vantagem competitiva, porque atacantes já operam em velocidade de máquina”, explica Folaron.

O raciocínio é claro. “Para onde o ML caminha é rumo a modelos mais adaptativos, continuamente retreinados, capazes de acompanhar a velocidade com que o comportamento dos atacantes evolui. Em outras palavras, menos conjuntos de regras estáticas e mais aprendizado em tempo real a partir de ambientes vivos”, concorda Agarwal.

“Mover-se da detecção ‘reativa’ para a defesa ‘preditiva’, em que modelos de ML conseguem prever para onde um atacante provavelmente se moverá a seguir com base em movimentação lateral em estágio inicial”, confirma Zhang.

No entanto, ainda resta saber se o ML pode absorver as forças da IA agentiva sem simultaneamente herdar suas preocupações.

“ML está caminhando para uma integração mais estreita com sistemas agentivos, modelos que tanto informam quanto disparam ações. É aí que está a real alavancagem, e também onde o risco se acumula”, diz Salmona. “Um modelo de ML alimentando um sinal ruim em um fluxo automatizado produz uma ação errada em velocidade de máquina, em todo o seu ambiente, antes que alguém perceba que algo está errado. Contexto e validação contínua não são opcionais; são a diferença entre automação que reduz risco e automação que o amplifica.”

Inteligência artificial geral

Muitos dos laboratórios de fronteira em IA mais conhecidos, como OpenAI, DeepMind, Anthropic e xAI, perseguem a ideia de inteligência artificial geral.

“AGI é um estágio hipotético de capacidade de IA que permite que máquinas repliquem ou excedam todas as dimensões da capacidade cognitiva humana. Tudo, desde raciocínio, adaptação, criação de conceitos novos e, em teoria, consciência. Como em todos os empreendimentos científicos, tudo parece impossível até que o próximo avanço nos aproxime. Duzentos anos atrás não tínhamos carros, e agora voar pelo país ou para outro planeta parece normal. Cinquenta anos atrás não tínhamos internet, e agora a vasta maioria da nossa comunicação é eletrônica”, explica Sant-Miller.

Uma definição verdadeira e precisa de AGI é elusiva. “Eu realmente não sei como definir AGI, mas também não acho que isso importe. Algo será construído nos próximos anos que nos deixará maravilhados. Os modelos estão melhorando rápido o suficiente para que discutir a definição não possa ser o ponto principal”, comenta Tsang.

“A AGI verdadeira, com a capacidade de aprender pela experiência para decisões críticas, ainda é amplamente considerada a décadas de distância pela maioria dos pesquisadores”, acrescenta Zhang.

Muitas pessoas acreditam que a AGI será alcançada, outras têm menos certeza, mas a maioria concorda que a tarefa é intimidante e o cronograma é obscuro. “Não é inevitável nem impossível, e qualquer pessoa que diga saber o cronograma está chutando”, diz Folaron. “Fizemos progresso notável em IA estreita, mas a lacuna entre o que os sistemas atuais fazem e o que a AGI exige é frequentemente subestimada.”

Confiança na inteligência artificial geral

A confiança em qualquer futura entidade de AGI será um dilema moral: devemos confiar nas decisões de uma entidade que tem muito mais conhecimento e inteligência mais profunda do que nós? Ela tomará a decisão correta entre executar uma ação que beneficiaria centenas enquanto prejudicaria dezenas? A vida cotidiana é cheia desses dilemas para todos. Mas deveríamos estar dispostos a delegar o poder de escolha a algo que, em última instância, é uma máquina?

A resposta será a resposta para quase todas as perguntas de cibersegurança: “depende”. Mas de quê, ainda não sabemos.

Uso, mau uso e abuso da inteligência artificial geral

“A postura prática é usá-la e construir salvaguardas à medida que ela se torna mais capaz. Os cenários perigosos não são aqueles em que algum comentarista ou CEO de IA declara que a AGI foi alcançada. São aqueles em que um sistema altamente capaz toma uma decisão catastrófica ou é voltado contra alvos por um adversário sofisticado. E a tecnologia que temos hoje já é poderosa o suficiente para exigir muita preparação”, sugere Tsang.

Decisões catastróficas já ocorrem com a IA atual, que parece caminhar inexoravelmente para maior autonomia. Salvaguardas são a proteção, mas ainda não impediram todas as catástrofes. “Acho que a pergunta mais prática para líderes de segurança não é se alcançaremos inteligência artificial geral, mas se estamos prontos para autoridade artificial geral. Já estamos dando a agentes de IA poder significativo de decisão sobre sistemas sensíveis. Os frameworks de governança, arquiteturas de identidade e modelos de confiança precisam ser construídos agora, não depois que alguma singularidade teórica chegar”, alerta Mattson.

Mas aqui está outro dilema moral da cibersegurança. Devemos limitar um cavalo de corrida para que ele não cause danos colaterais a espectadores, ou devemos soltá-lo para correr rápido e quebrar coisas? Segurança ou potencial de maior lucro empresarial?

“O grande risco na AGI é semelhante ao da IA generativa, em que o foco na funcionalidade obscurece a devida diligência adequada de cibersegurança”, comenta Zhang. “Ao tentar tornar a IA tão poderosa quanto possível, organizações podem configurar mal definições, levando a excesso de permissões e exposição de dados. Também podem conceder poder demais, criando um grande ponto único de falha”, alerta Ruzzi.

Se a AGI for plenamente realizada, o efeito sobre a cibersegurança será profundo.

“Se a AGI for alcançada, a cibersegurança como a conhecemos muda fundamentalmente para ambos os lados. Na defesa, haveria sistemas capazes de realmente raciocinar sobre ataques inéditos, entender a intenção do atacante e adaptar defesas em tempo real sem orientação humana. Na ofensiva, atacantes teriam acesso a sistemas capazes de encontrar e explorar vulnerabilidades mais rápido do que qualquer equipe humana conseguiria corrigir”, comenta Folaron.

“Se alcançada, seria o evento de zero day definitivo”, alerta Zhang. “Uma AGI poderia encontrar e explorar vulnerabilidades em todos os sistemas simultaneamente. Por outro lado, uma defesa baseada em AGI poderia teoricamente criar uma postura de segurança ‘perfeita’, adaptando-se em tempo real a qualquer ameaça e efetivamente encerrando a era do hacking conduzido por humanos.”

Rishi acrescenta: “Em um mundo de AGI, recuperação e resiliência são as principais redes de segurança. Como nem mesmo a melhor governança consegue prever cada movimento que uma inteligência geral pode fazer, organizações precisam ter capacidades de reversão.”

Futuro da inteligência artificial geral

“Ainda estamos a muitos grandes avanços de distância da AGI. Estou longe de ser especialista para estimar quando esses avanços serão realizados, o quanto nos moverão adiante e o que mudarão. Mas a beleza da ciência é que coisas muitas vezes consideradas impossíveis se provam possíveis”, diz SantMiller.

“Continuamos debatendo se máquinas podem realmente pensar. Enquanto isso, elas estão vencendo a equipe de matemática do MIT em resolução de problemas, passando no exame da ordem, escrevendo exploits e executando operações sofisticadas. O debate filosófico está se tornando irrelevante. A distância entre uma IA estreita muito impressionante e a AGI está diminuindo mais rápido do que a maioria das pessoas está preparada para aceitar. Nossa visão é que a AGI não está tão distante, mas ainda permanece um limiar nebuloso. Podemos cruzar esse limiar sem perceber que já o cruzamos”, comenta Miracco.

Hoje, a ideia de AGI é mágica. Amanhã, pode ser ciência. Não é um conceito novo na literatura, mas, a menos que aprendamos com os erros cometidos hoje no desenvolvimento e uso da IA atual, a AGI genuína de amanhã pode realmente se tornar um mundo de máquina contra máquina, com relevância humana cada vez menor.

A lei de Amara se aplica. A chegada da AGI verdadeira provavelmente está mais distante do que a maioria das pessoas prevê, mas, quando vier, será muito mais benéfica e muito mais perigosa do que conseguimos imaginar atualmente.