Como governar agentes de IA na empresa

O que é Como governar agentes de IA na empresa?

Governar um agente de IA significa transformar uma capacidade de recomendar ou executar em um processo delimitado: finalidade, contexto, dados, ferramentas, autoridade, supervisão e registro. O AI RMF do NIST é de uso voluntário e foi criado para incorporar considerações de confiabilidade ao desenho, desenvolvimento, uso e avaliação de sistemas de IA. Ele é uma referência de gestão, não uma permissão automática para liberar autonomia.

Na prática, comece pelo inventário do fluxo. Descreva o que o agente pode ler, quais sistemas pode consultar, que saída produz e qual ação está fora do escopo. Em uma operação de moda, isso pode envolver uma ficha técnica, uma aprovação de amostra, uma consulta de material ou uma mensagem de fornecedor. A primeira pergunta não é “qual modelo usar?”, mas “qual decisão o agente pode influenciar e quem continua responsável?”.

Como estruturar risco, autoridade e supervisão?

O núcleo do AI RMF organiza a gestão em governar, mapear, medir e gerenciar, e o NIST orienta que a gestão de riscos seja contínua, oportuna e feita ao longo do ciclo de vida do sistema. Converta essas funções em pontos de controle: uma regra de finalidade e propriedade; um mapa de contexto e impacto; medições de qualidade, segurança e falha; e uma rota de tratamento, pausa ou retirada.

A autonomia deve ser graduada pelo impacto da ação. Um agente que resume comentários pode exigir revisão por amostragem; um agente que altera cadastro, confirma pedido ou envia comunicação externa precisa de autoridade explícita, limites e uma forma de interromper. Essa separação conecta governança de dados a controle de versões: a equipe precisa saber qual dado e qual regra estavam válidos no momento da ação. O histórico também deve registrar recusas, correções e exceções, não apenas os casos bem-sucedidos.

A supervisão humana só é operacional quando define quem revisa, em que situação, com qual informação e com qual poder de bloquear ou reverter. Treinamento pode ajudar, mas não substitui permissões, logs, critérios de aceitação e um responsável identificável. Em mudanças de modelo, fornecedor, ferramenta ou finalidade, trate a alteração como um novo ponto de avaliação, em vez de presumir que o comportamento anterior continuará válido.

O que muda conforme o risco e o contexto regulatório?

A Lei de IA da União Europeia adota regras baseadas em risco para desenvolvedores e implementadores em usos específicos. O próprio Regulamento prevê que sistemas de alto risco permitam o registro automático de eventos por meio de logs durante sua vida útil. Para uma empresa, isso reforça duas decisões de projeto: classificar o uso antes de escolher o grau de autonomia e preservar evidência suficiente para reconstruir o que ocorreu.

A OCDE informa que seus Princípios de IA foram atualizados em maio de 2024 e lista transparência e explicabilidade, robustez, segurança e proteção, e responsabilização entre os princípios baseados em valores. Esses termos funcionam como perguntas de desenho: o usuário entende a função? o sistema tem limites observáveis? há proteção contra uso indevido? quem responde pela saída? A resposta precisa ser específica ao caso, não uma declaração genérica de confiança.

A proposta regulatória britânica apresenta cinco princípios transversais orientados por valores para os reguladores, incluindo segurança, transparência, justiça, responsabilização e contestação ou reparação. Como os regimes têm escopos próprios, use referências regulatórias para orientar a triagem e busque análise jurídica quando o caso envolver pessoas, direitos, dados sensíveis, obrigações externas ou efeitos difíceis de reverter.

Como aplicar na cadeia de produto de moda?

Em um piloto de IA em produção, delimite o objeto que atravessa o fluxo: briefing, material, amostra, pedido ou canal. Conecte o agente à contexto de IA na empresa e à diretriz de IA na empresa sem misturar recomendação com aprovação. Um teste útil repete casos reais, casos-limite e uma tentativa fora do escopo; o resultado deve dizer quando escalar, pausar, corrigir ou retirar o agente.

A governança ganha densidade quando o registro chega ao trabalho cotidiano. A adoção de IA pelo time deve deixar claro quando a saída é sugestão, como registrar uma correção e quem decide a exceção. Para cada ação relevante, conserve versão, fonte, responsável, decisão, data e justificativa. Isso permite comparar intenção e execução sem transformar uma resposta plausível em prova de qualidade.

O ponto de partida pode ser pequeno: um fluxo, uma ferramenta, um proprietário e um conjunto de critérios. Amplie somente quando a empresa conseguir explicar o que o agente fez, por que recebeu aquela autoridade, qual evidência sustenta a decisão e como interromper o processo. Governar agentes é manter essas respostas verificáveis enquanto o contexto muda.