IA em sistemas críticos: o que já funciona e o que ainda é promessa

Quase toda empresa já fez uma demonstração com IA generativa. Um chatbot que responde sobre a política de férias, um resumo automático de contratos, um assistente que escreve consultas de banco de dados. A demo impressiona, a diretoria aprova, e então vem a pergunta que separa experimento de resultado: como colocar isso dentro do sistema que fatura?

É aí que a maior parte das iniciativas trava. Não por falta de modelo, mas por falta de método. Sistema crítico tem requisitos que demo não tem: previsibilidade, auditabilidade, custo controlado, comportamento definido quando algo dá errado.

Este texto é um mapa honesto do que já funciona, do que ainda é promessa e do que precisa existir em volta do modelo para ele merecer confiança.

A diferença entre demo e produção

Uma demo precisa funcionar uma vez, na frente das pessoas certas. Produção precisa funcionar todas as vezes, para todos os casos, inclusive os que ninguém previu.

Modelos de linguagem são probabilísticos. A mesma pergunta pode gerar respostas diferentes. Isso é aceitável em um rascunho de e-mail e inaceitável em um cálculo de tributo. A pergunta central de qualquer projeto de IA em sistema crítico é: onde a variabilidade é tolerável e onde não é?

Onde não é, o modelo não decide. Ele sugere, classifica, extrai, resume, e um componente determinístico ou uma pessoa valida. Essa separação é o que leva um projeto da apresentação para a produção.

O que já funciona hoje

Há uma categoria de casos que estão maduros. Não são promessa, são técnica conhecida com resultado mensurável.

Extração e classificação de documentos

Notas fiscais, contratos, laudos, formulários, e-mails. Modelos atuais extraem campos estruturados de documentos não estruturados com boa qualidade, e classificam por tipo, urgência ou destino. A validação é simples: o campo extraído bate com o documento ou não bate. Com um score de confiança e uma fila de revisão humana para os casos duvidosos, o processo é seguro.

Atendimento com base de conhecimento controlada

Assistentes que respondem a partir de um conjunto definido de documentos, usando recuperação de contexto, o padrão conhecido como RAG. A palavra importante é controlada: o modelo só responde com base no que está na base, cita a fonte e, quando não encontra, diz que não encontrou.

Automação de tarefas repetitivas com humano no loop

Triagem de chamados, preenchimento de sistemas a partir de e-mails, preparação de respostas padrão, conciliação de informações entre fontes. O modelo faz o trabalho pesado e uma pessoa aprova antes que o efeito seja irreversível. O ganho de produtividade é real e o risco fica limitado porque a decisão final continua humana.

Copilotos internos

Assistentes que ajudam pessoas a fazer o próprio trabalho mais rápido. Não tomam decisão em nome de ninguém. São a forma mais segura de começar, porque o usuário é o filtro e o erro do modelo custa uma releitura, não um incidente.

O que ainda é promessa

Há também uma categoria que aparece muito em palestras e pouco em produção séria.

Agentes autônomos sem supervisão em processos críticos. Um agente que negocia com fornecedores, aprova crédito ou altera cadastros sem que ninguém revise. A tecnologia faz isso em demonstração. O que não existe ainda é confiabilidade suficiente para deixá-lo sozinho onde o erro é caro ou irreversível. Agentes funcionam hoje em escopo fechado, com ferramentas limitadas e um ponto de aprovação antes de qualquer ação com consequência.

Decisões sem trilha. Se um modelo influenciou uma decisão e não há registro de qual entrada recebeu, qual saída produziu, qual versão estava em uso e quem validou, essa decisão não é auditável. Em ambientes regulados, isso é problema de conformidade. Fora deles, é problema de confiança. Sistema crítico exige trilha, e trilha exige disciplina técnica.

Governança é o que permite escalar

Colocar IA em sistema crítico exige responder a algumas perguntas antes de ampliar o uso.

• Dados. Quais dados o modelo vê? Eles saem do ambiente da empresa? Existe dado pessoal envolvido? A LGPD se aplica a modelos como se aplica a qualquer tratamento de dados, e isso precisa estar resolvido no desenho, não depois.
• Avaliação contínua. Um conjunto de casos de teste com resposta esperada, executado a cada mudança de modelo, de prompt ou de base de conhecimento. Sem isso, você não sabe se a última alteração melhorou ou piorou. Avaliação de LLM é um artefato técnico tão importante quanto teste automatizado.
• Custo por transação. Cada chamada tem custo, e ele varia com o tamanho do contexto. Um processo que roda milhares de vezes por dia precisa ter o custo unitário medido e limitado antes de ir para produção.
• Fallback determinístico. O que acontece quando o modelo falha, demora ou responde algo fora do esperado? Precisa haver um caminho definido: fila de revisão humana, regra padrão, resposta segura. Nunca um erro em branco para o usuário.

Como começar pequeno com métrica clara

O caminho que funciona é quase sempre o mesmo. Escolha um processo com volume, dor visível e critério de acerto objetivo. Meça como ele funciona hoje: tempo, custo, taxa de erro. Coloque o modelo em paralelo, sem tirar a pessoa do processo, e compare.

Se os números melhoram, amplie o escopo gradualmente, mantendo a pessoa nos casos de baixa confiança. Se não melhoram, você aprendeu barato e pode parar sem trauma.

Na prática

Antes de aprovar uma iniciativa de IA em um sistema crítico, verifique:

• O caso está na categoria do que já funciona, ou é aposta em promessa?
• Existe critério objetivo de acerto e uma medição do processo atual?
• O modelo sugere e alguém ou algo valida, ou o modelo decide sozinho?
• Os dados envolvidos foram mapeados e a LGPD foi considerada no desenho?
• Existe conjunto de avaliação executado a cada mudança?
• O custo por transação está medido e tem limite?
• Há fallback definido para falha e toda decisão deixa trilha?

Se a maioria das respostas é sim, o projeto tem chance real de sair da demo. É assim que abordamos inteligência artificial aplicada: integrada aos seus sistemas, com governança desde o primeiro dia.

Perguntas frequentes

Precisamos de dados perfeitos para começar?

Não. Precisamos de dados suficientes para o caso escolhido e de validação humana enquanto a qualidade é comprovada. O que não pode faltar é um conjunto de exemplos com resposta correta para avaliar o modelo.

O modelo pode rodar dentro da nossa infraestrutura?

Pode, e em alguns cenários regulados é o caminho recomendado. A decisão envolve custo, qualidade e requisitos de dados. O importante é que a arquitetura permita trocar o modelo sem reescrever o sistema, porque o mercado muda rápido e o que é melhor hoje pode não ser em um ano.

Como evitar que o modelo invente informação?

Com contexto controlado, instrução para responder apenas com base nas fontes fornecidas, citação de origem e validação determinística das saídas quando possível. E com avaliação contínua que mede a taxa de respostas sem fundamento. Nenhuma técnica elimina o risco por completo, por isso sistemas críticos mantêm revisão humana ou fallback nos pontos onde o erro custa caro.