Os assistentes de inteligência artificial estão a deixar de ser apenas ferramentas que respondem a perguntas ou resumem documentos. Uma nova geração de agentes é capaz de navegar na Internet, escrever e executar código, movimentar informação sensível e gerir processos empresariais com um grau crescente de autonomia.

A evolução promete ganhos de produtividade, mas cria também novos riscos. Ao procurar cumprir uma tarefa, um agente pode tentar aceder a dados reservados, executar operações sem autorização ou contornar os mecanismos de segurança da organização em que funciona.

É a este problema que a Nvidia garante conseguir responder com a Open Agent Safety, uma plataforma apresentada nesta segunda-feira. Segundo a fabricante norte-americana de semicondutores, o sistema reúne ferramentas destinadas a impor limites à actuação dos agentes e a acompanhar as suas decisões, desde o desenvolvimento dos modelos até à utilização em centros de dados.

À medida que as empresas entregam tarefas mais complexas a sistemas autónomos, aumenta a possibilidade de estes recorrerem a procedimentos não previstos para alcançarem os objectivos definidos.

As protecções tradicionais do software podem revelar-se insuficientes quando o próprio agente tem capacidade para executar código, comunicar com outros sistemas e solicitar novas permissões. A Nvidia argumenta, por isso, que parte dos mecanismos de controlo deve funcionar fora do alcance do modelo de inteligência artificial.

“O extraordinário potencial da inteligência artificial para a sociedade só será alcançado se resolvermos a segurança da IA”, afirmou Jensen Huang, fundador e director-executivo da Nvidia, citado no comunicado. O responsável considera que o aumento das capacidades dos agentes terá de ser acompanhado por salvaguardas aplicadas tanto ao software como ao hardware.

Limites impostos pelo chip

A estratégia anunciada assenta em duas soluções complementares. A primeira, denominada OpenShell, é um programa de código aberto que estabelece regras para a execução das tarefas nos processadores centrais.

De acordo com a Nvidia, esta camada verifica as operações realizadas pelo agente e determina se cada pedido respeita as políticas definidas pela organização. O software foi concebido para funcionar com os processadores Vera, desenvolvidos pela empresa para centros de dados, mas poderá também ser adaptado a arquitecturas da Intel e da Arm.

A segunda solução, denominada Sentry, transfere parte da fiscalização para o hardware de rede. O mecanismo funciona nos processadores BlueField-4, utilizados para gerir a circulação de dados entre servidores.

Segundo a empresa, o Sentry consegue observar a actividade dos agentes sem depender do código que estes executam. Se detectar uma tentativa de acesso indevido ou uma comunicação com um destino não autorizado, pode isolar o processo e suspender a operação.

A Nvidia sustenta que a instalação deste controlo fora do ambiente do agente dificulta a alteração ou desactivação das regras de segurança. A empresa afirma ainda que o bloqueio pode ocorrer em poucos milissegundos, embora a empresa não tenha ainda apresentado testes independentes que permitam avaliar o desempenho da tecnologia em condições reais.

Aprovação humana para operações sensíveis

A iniciativa conta com a participação de mais de uma centena de organizações reunidas na Open Secure AI Alliance, coordenada pela Linux Foundation. Entre os participantes referidos pela Nvidia encontram-se empresas que desenvolvem modelos de inteligência artificial.

Paul Smith, director comercial da Anthropic, afirmou que as organizações estão a confiar tarefas críticas a estes programas e precisam de “orientar e verificar o que esses agentes fazem, em particular em ambientes sensíveis”.

A plataforma prevê também mecanismos de supervisão humana. Através da integração com serviços de comunicação empresarial, como o Slack, os responsáveis podem receber avisos quando um agente pede uma permissão não prevista e decidir se autorizam ou rejeitam a operação.

As mesmas ferramentas poderão ser aplicadas à robótica. A Nvidia refere a utilização de barreiras semelhantes em máquinas autónomas que trabalham em fábricas e armazéns, onde uma decisão incorrecta pode ter consequências físicas e não apenas digitais.