01
Contexto: el punto de inflexión
AI aceleró la producción de software, pero también creó preguntas simples e importantes: quién revisa, quién aprueba, qué puede ir a producción y cómo sabemos que la decisión fue buena.
A tese deste playbook
A IA tornou a execução abundante: gerar código, criar testes, resumir incidentes e sugerir correções ficou mais fácil. O problema novo é outro: saber o que a IA pode fazer sozinha, quando precisa de revisão e como provar que ela está ajudando sem aumentar risco.
Este playbook foi escrito para líderes que ainda estão no começo dessa jornada. A ideia não é dominar todos os termos de IA, mas construir um mapa prático para qualidade, confiabilidade e governança.
Glossário mínimo para ler sem travar
| Termo | O que significa | Exemplo prático |
|---|---|---|
| Agent | Um software com IA que recebe uma meta, consulta contexto, chama ferramentas e propõe ou executa passos. | Um agent de SRE lê alertas, consulta logs e sugere a causa provável de um incidente. |
| Guardrail | Uma regra de proteção que limita o que a IA pode acessar, responder ou executar. | A IA pode sugerir rollback, mas não pode executar sem aprovação humana. |
| Human-in-the-loop | Um ponto obrigatório de revisão humana antes de uma decisão sensível. | Mudanças em produção, dados sensíveis e ações irreversíveis pedem aprovação de uma pessoa. |
| Judgment SLO | Uma meta para medir se a decisão da IA foi boa, não apenas se o sistema estava no ar. | Menos de 5% das recomendações do agent precisam ser revertidas por humanos. |
| Observabilidade comportamental | Monitorar o que a IA decidiu, por quê, com qual contexto e quais ferramentas usou. | Além de latência, registrar prompt, dados consultados, tool calls e decisão final. |
| Drift | Quando o comportamento da IA muda com o tempo, mesmo sem uma falha técnica aparente. | O agent continua respondendo rápido, mas começa a sugerir soluções piores após mudança de modelo. |
Sinais de mercado que mudaram o jogo
| Sinal | Evidência | Implicação | Fonte |
|---|---|---|---|
| IA virou parte do trabalho diário | DORA 2025 reporta adoção de AI no trabalho por 90% dos respondentes e ganhos percebidos de produtividade por mais de 80%. | O problema deixa de ser apenas produzir mais código e passa a ser controlar mudança, feedback e estabilidade. | DORA 2025 |
| Qualidade voltou ao nível executivo | A criação de uma liderança dedicada a engenharia de qualidade na Microsoft foi tratada como resposta organizacional à escala de AI. | Qualidade e confiabilidade deixam de ser funções de suporte e passam a ser tema de liderança. | Microsoft Quality Excellence |
| Falha silenciosa virou risco real | Monte Carlo reporta que 61% dos líderes já viram métricas normais enquanto um incidente crítico estava acontecendo. | Não basta ver se o sistema está online; é preciso entender se ele está decidindo certo. | Monte Carlo 2026 |
| Agents precisam de operação própria | Zylos descreve reliability de agents como task fidelity, judgment quality, custo por operação e capacidade de parar. | O líder precisa medir quando a IA acerta, quando erra, quando deve parar e quando deve chamar uma pessoa. | Zylos Research |
| Fonte | Tema | Uso no playbook |
|---|---|---|
| DORA / Google Cloud | State of AI-assisted Software Development 2025 | AI como amplificador do sistema de trabalho; adoção alta, ganhos de throughput e risco de instabilidade quando controles são fracos. |
| Google Cloud Blog | Resumo executivo do DORA 2025 | Base para o argumento de que AI melhora produtividade, mas expõe fraquezas downstream em testes, feedback loops e arquitetura. |
| Microsoft / cobertura pública | Quality Excellence Initiative e nova liderança de engenharia de qualidade | Sinal de mercado: qualidade deixa de ser função de release e vira tema de accountability executiva. |
| Monte Carlo + CDO Magazine | State of AI Reliability 2026 | Dados sobre silent failures, lacunas de observabilidade/governança e risco de escalar agents mais rápido que os controles. |
| Tricentis | How AI is redefining QA leadership | Base para o conceito de QA leader como decision architect, com foco em julgamento, contexto e confiança. |
| Xray Blog | How AI Will Shape QA Leadership in 2026 | Modelo de liderança agentic: orquestração, trust architecture, human checkpoints e PACT. |
| Zylos Research | SRE for AI Agent Systems | Framework de judgment SLOs, error budgets 2.0, HITL thresholds, token budgets e incident response para agents. |
| Zylos Research | OpenTelemetry for AI Agents | Telemetria de agents, GenAI semantic conventions, traces de tool calls e custo por outcome. |
| Google SRE | SRE Book e automação operacional | Fundação clássica: SRE como engenharia aplicada a operações, cap de toil e playbooks para reduzir MTTR. |
| Simon Prior | AI Governance and Guardrails | Argumento de que líderes de qualidade devem entrar cedo em governança, segurança e guardrails de AI. |
| Inspired Testing | 2026: The year quality engineering grows up | Contrapeso editorial anti-hype: 2026 como ano de disciplina operacional, governança e maturidade. |
| Forrester | The CIOs Guide To AI Readiness | AI readiness como maturidade de capacidades de TI: governança, dados, segurança e controle de risco. |
| McKinsey | AI transformation e liderança na era de AI | AI como transformação de pessoas, workflows e capacidade organizacional, não apenas ferramenta de produtividade. |
O ponto não é declarar que QA e SRE viraram a mesma coisa. O ponto é que IA criou uma zona comum: confiança em sistemas que decidem, mudam e operam com autonomia parcial.
02
La nueva carta de liderazgo
El mandato ya no es solo probar, monitorear o responder incidentes. El liderazgo ahora define permisos, aprobaciones, evidencias y límites claros para el uso de AI.
A carta da nova liderança
| Mandato | Pergunta que precisa responder | Artefatos |
|---|---|---|
| Governar autonomia | O que a IA pode fazer sozinha, o que exige aprovação e o que nunca deve executar? | Tabela de permissões, pontos de aprovação humana e níveis de risco por ação. |
| Arquitetar confiança | Como sabemos que o sistema está correto quando ele responde 200, mas decidiu errado? | Metas de qualidade da decisão, testes de comportamento e análise de decisões revertidas. |
| Instrumentar decisões | Conseguimos reconstruir o que a IA viu, fez e decidiu? | Logs de decisão, trilha de auditoria, histórico de ferramentas chamadas e contexto usado. |
| Traduzir risco em linguagem executiva | Qual é o custo de uma decisão errada, não de um teste falho? | Histórias de risco, impacto de negócio e relatório de confiança por fluxo crítico. |
| Desenvolver o sistema humano-agent | Quais habilidades humanas ficam mais valiosas quando execução vira abundante? | Trilhas de carreira, rituais de revisão, playbooks e comunidades internas de prática. |
Mandato QA + SRE pós-AI
+------------------+ +------------------+ +------------------+
| Produto e Dados | ---> | IA e Ferramentas | ---> | Produção |
+------------------+ +------------------+ +------------------+
| | |
v v v
+------------------+ +------------------+ +------------------+
| Contexto | ---> | Decisão | ---> | Consequência |
+------------------+ +------------------+ +------------------+
\_________________________|_________________________/
v
Liderança Quality + Reliability
limites, metas, auditoria, revisão humana
O líder deixa de inspecionar no fim e passa a desenhar o sistema que limita, observa e aprende com decisões.
O primeiro salto de maturidade não é comprar mais ferramentas de AI; é descobrir quais decisões hoje já estão sendo delegadas sem contrato, rastreabilidade ou limite de autoridade.
A Voidr pode acelerar esse diagnóstico com mapeamento de fluxos críticos, automações existentes e sinais de qualidade/confiabilidade já disponíveis.
03
De ejecución a orquestación
Cinco cambios mentales ayudan a líderes con baja madurez en AI a salir del miedo o del hype y comenzar por decisiones, riesgos y responsabilidades.
Cinco mudanças mentais
| Antes | Depois | Comportamento | Prática |
|---|---|---|---|
| QA/SRE como executores | Líderes que desenham onde a IA ajuda e onde o humano decide | Definir onde a IA atua, onde uma pessoa revisa e como discordâncias são resolvidas. | Tabela simples de responsabilidades por fluxo e risco. |
| Qualidade só no fim | Qualidade acompanhando todo o fluxo | Validar requisito, código, deploy, produção e comportamento da IA no mesmo ciclo de feedback. | Sinais de qualidade no PR, no rollout, em produção e no postmortem. |
| Mais testes = mais confiança | Melhores decisões = mais confiança | Priorizar testes, evals e observabilidade pelo risco da decisão, não pelo volume gerado. | Inventário das decisões críticas e sinais mínimos para cada uma. |
| Escrever prompts melhores | Dar contexto confiável para a IA | Controlar fontes, limites, dados, exemplos e critérios que chegam ao agent. | Pacotes de contexto versionados e testados antes de uso amplo. |
| Incidente como falha técnica | Incidente como aprendizado de governança | Perguntar por que o sistema tinha permissão, contexto ou incentivo para agir daquela forma. | Postmortem com seção obrigatória: autonomia, contexto e proteções. |
A pergunta que muda a conversa
Em vez de perguntar "quantos testes temos?", comece por "quais decisões estamos permitindo que o sistema tome e qual evidência prova que essa permissão continua segura?".
04
Mapa de habilidades 2026
Las habilidades críticas empiezan simple: entender riesgos, dar el contexto correcto a la AI, registrar decisiones, crear reglas de aprobación e influir en otras áreas.
Mapa de habilidades 2026
| Habilidade | Por que importa | Gap típico | Como desenvolver |
|---|---|---|---|
| Pensamento sistêmico | IA amplifica dependências invisíveis entre produto, dados, deploy, operação e suporte. | O líder ainda otimiza atividade local: cobertura, tickets ou MTTR isolado. | Mapear jornadas críticas e decisões antes de escolher ferramenta. |
| Governança de IA | Agents precisam de limites explícitos de dados, ferramentas, ação e auditoria. | Governança fica com jurídico/segurança sem tradução operacional para engenharia. | Criar uma matriz simples com o que a IA pode acessar, sugerir e executar. |
| Contexto para IA | A qualidade da resposta depende do contexto fornecido, não só do modelo. | Times tratam prompt como texto solto e não como artefato versionado. | Versionar prompts, fontes, exemplos e critérios de aceite. |
| Observabilidade comportamental | Falhas de agent podem parecer sucesso técnico: resposta válida, decisão errada. | Dashboards mostram disponibilidade, mas não qualidade de julgamento. | Registrar contexto, ferramentas chamadas, decisão final e correções humanas. |
| Políticas de ação | Automação sem regra aumenta o impacto de uma decisão errada. | Runbooks viram scripts com permissão demais e revisão de menos. | Definir níveis de risco, bloqueios automáticos e aprovações por tipo de ação. |
| Narrativa de risco | Governança abstrata raramente move orçamento; risco concreto move decisão. | Liderança técnica fala em testes e ferramentas, não em perdas, confiança e operação. | Levar exemplos reais, custo provável e controle preventivo para fóruns executivos. |
| Influência entre áreas | Qualidade com IA atravessa engenharia, produto, segurança, dados, jurídico e atendimento. | QA/SRE entra tarde, quando a decisão de arquitetura já foi tomada. | Criar revisões de risco, segurança e confiabilidade antes do piloto. |
Para uma empresa começando em IA, a primeira habilidade não é escolher a ferramenta mais avançada. É saber explicar quais decisões são críticas e quais evidências tornam uma decisão confiável.
05
Frameworks operacionales
Antes de frameworks avanzados, empieza por lo básico: qué decisiones puede tomar la AI, cómo medir si acertó, cuándo parar y cuándo llamar a una persona.
Métricas de decisão para sistemas com IA
| Métrica | Meta inicial | Sinal | O que fazer quando piora |
|---|---|---|---|
| Taxa de correção humana | < 5% em decisões de baixo risco | Percentual de decisões revertidas, corrigidas ou bloqueadas por humanos. | Reduzir autonomia ou revisar contexto quando houver muitas correções. |
| Tarefa concluída corretamente | >= 95% em workflow definido | Agent conclui a tarefa correta com evidência suficiente, não apenas com resposta final. | Adicionar avaliações por etapa e validar a sequência de ações. |
| Custo por resultado correto | Estável por classe de tarefa | Consumo de tokens, chamadas de ferramentas e tentativas por tarefa concluída. | Investigar drift quando custo sobe sem melhora de resultado. |
| Escalonamento correto | 100% para ações irreversíveis | Ações de alto risco exigem aprovação ativa antes de execução. | Bloquear permissões perigosas e revisar aprovações humanas. |
| Mudança de comportamento | Sem alteração não explicada entre versões | Mudança de output, decisão ou custo após update de modelo, prompt, retrieval ou ferramenta. | Rodar regressão com exemplos conhecidos e pausar rollout. |
| Rastreabilidade da decisão | 100% para decisões autônomas | Prompt/contexto, retrieved data, tool calls, confidence e decisão final rastreáveis. | Impedir autonomia sem audit trail completo. |
Pirâmide de confiança operacional
+------------------+
| Confiança negócio|
| risco aceito |
+--------+---------+
|
+--------v---------+
| Decisão correta |
| decisão correta |
+--------+---------+
|
+--------v---------+
| Rastros da IA |
| contexto + ações |
+--------+---------+
|
+--------v---------+
| SLOs clássicos |
| uptime + latency |
+------------------+
Disponibilidade continua necessária, mas não prova que uma decisão autônoma foi apropriada.
Agents em produção precisam ser tratados como sistemas operacionais: observáveis, limitados, avaliados e revogáveis.
A plataforma da Voidr ajuda a transformar testes, monitoramento sintético e análise de falhas em sinais contínuos de confiança.
Ver como funciona: Relatórios Inteligentes06
Gobernanza de AI en la práctica
La gobernanza útil es específica: define qué datos puede usar la AI, qué puede responder, qué puede ejecutar y qué debe quedar registrado.
Camadas de governança que precisam virar rotina
| Camada | Dono | Controles | Evidência |
|---|---|---|---|
| 1. Acesso e dados | Security + Data + Quality/Reliability | Quais repositórios, dados, logs, clientes e ferramentas o agent pode acessar. | Allow-list, data classification, secrets policy, trace de acesso. |
| 2. Padrões de output | Engineering + Product + Quality/Reliability | O que precisa ser validado antes de virar PR, deploy, resposta a cliente ou ação operacional. | Eval suites, review policy, contract tests, acceptance rubric. |
| 3. Autoridade de ação | SRE + Platform + Quality/Reliability | Quais ações são autônomas, quais pedem aprovação e quais são proibidas. | Risk scores, HITL thresholds, circuit breakers, audit ledger. |
| 4. Monitoramento comportamental | Observability + Data + Quality/Reliability | Como detectar drift, tool loops, custo anormal, alucinação, override e regressão. | Judgment SLOs, OTel GenAI spans, anomaly alerts, postmortems. |
Governança boa é específica
"Precisamos usar IA com responsabilidade" não muda comportamento. Uma política útil diz quais dados podem entrar, quais ferramentas podem ser chamadas, quais ações exigem aprovação e qual trilha de auditoria é obrigatória.
07
Estructura organizacional y carrera
QA y SRE se acercan porque ambos protegen producción, clientes y confianza. Los nuevos roles pueden venir después; primero viene claridad de responsabilidad.
Trilhas de carreira que estão convergindo
| Origem | Próximo papel | Novo escopo | Prova de maturidade |
|---|---|---|---|
| QA Analyst / Tester | Quality Strategist | Sai de execução de casos para análise de risco, exploração assistida por AI e feedback de produto. | Consegue transformar requisito ambíguo em riscos, exemplos e critérios de decisão. |
| QA Engineer / SDET | Quality Architect | Desenha test architecture, contract validation, synthetic monitoring e evals para agents. | Cria frameworks que squads usam sem depender de handoff central. |
| SRE | Agent Reliability Engineer | Opera agents como sistemas distribuídos: SLOs, error budgets, observability, runbooks e safe remediation. | Define quando um agent pode agir, pausar, pedir ajuda ou perder autonomia. |
| QA/SRE Lead | Reliability + Quality Lead | Lidera um portfólio de decisões críticas, não apenas um backlog de testes ou incidentes. | Conecta quality signals a risco de negócio, experiência e confiança de release. |
| Head of QA / Head of SRE | Head of Quality & Reliability | Mandato executivo de durabilidade, governança de AI, operação e qualidade sistêmica. | Tem assento nos fóruns onde autonomia, risco, produto e arquitetura são decididos. |
Modelos organizacionais pós-AI
| Modelo | Melhor para | Responsabilidades | Risco |
|---|---|---|---|
| Reliability + Quality CoE | Empresas com múltiplos produtos e necessidade de governança comum. | Frameworks, policies, eval platform, standards, enablement e métricas executivas. | Virar torre de aprovação se não houver self-service. |
| Embedded Quality/Reliability Architect | Squads com domínio complexo ou AI/agents em produção. | Apoiar arquitetura, riscos, SLOs, testability e reviews de autonomia dentro do produto. | Isolamento se não houver guilda central. |
| Agent Platform Team | Organizações que operam agents em escala. | Runtime, tracing, evals, tool permissions, policy graph, guardrails e rollout controls. | Focar em infraestrutura e esquecer comportamento de produto. |
| Incident Learning Council | Ambientes com incidentes frequentes ou alto custo reputacional. | Postmortems, padrões de falha, autonomy lessons, reliability investments e executive reporting. | Virar comitê retrospectivo sem autoridade de priorização. |
08
Métricas que conectan al negocio
Las métricas de liderazgo deben responder preguntas simples: la AI ayudó, falló, necesitó corrección humana, salió demasiado cara o actuó sin trazabilidad?
Métricas que conectam a confiança ao negócio
| Métrica | Audiência | Interpretação | Fonte |
|---|---|---|---|
| Mudanças que quebram produção | Engenharia e liderança executiva | Mostra se a velocidade trazida pela IA está aumentando incidentes, rollback ou retrabalho. | DORA |
| Correções humanas | Produto, risco e operações | Mostra onde a IA ainda precisa de supervisão antes de ganhar mais autonomia. | Zylos / AI SRE patterns |
| Custo por resultado correto | Financeiro e plataforma | Distingue produtividade real de gasto crescente com tentativas, tokens e loops. | OpenTelemetry GenAI patterns |
| Tempo para detectar falha silenciosa | C-level e customer operations | Mede quanto tempo a organização fica confiante enquanto o sistema já está errado. | Monte Carlo AI Reliability |
| Tempo até confiar | Engineering leaders | Tempo até uma automação com IA ganhar autonomia limitada com evidência rastreável. | Governance practice |
| Rastreabilidade da decisão | Security, legal e compliance | Capacidade de reconstruir por que uma decisão foi tomada e quais dados/ferramentas foram usados. | OTel GenAI / auditability |
Entrega
change failure rate
Decisão
correção humana
Confiança
rastreabilidade
09
Roadmap 90/180/365 días
Un camino práctico para empezar pequeño: mapear dónde ya aparece AI, crear límites mínimos, medir decisiones y solo entonces aumentar autonomía.
Roadmap 90/180/365 dias
1
0-30 dias: Diagnosticar o sistema real
Inventário de decisões e riscos
Mapear fluxos onde IA já influencia código, incidentes, testes ou atendimento
Classificar decisões por risco, reversibilidade e impacto no cliente
Levantar sinais atuais: incidentes, testes instáveis, correções humanas, custo e gaps de registro
Identificar uso informal de IA e pontos sem regra de dados/contexto
2
31-90 dias: Criar guardrails mínimos
Governança operável
Publicar matriz de autonomia por classe de decisão
Definir primeiras métricas de decisão e limites de erro aceitável
Registrar contexto, decisão e ferramentas usadas em um fluxo crítico
Rodar agents em modo observação antes de permitir ações autônomas
3
91-180 dias: Escalar confiança com evidência
Plataforma e rituais
Criar exemplos conhecidos para testar respostas e decisões da IA
Implementar bloqueios, limite de tentativas e aprovações humanas
Criar revisões de autonomia, segurança e confiabilidade antes de pilotos
Treinar leads para explicar risco, contexto e decisão em linguagem simples
4
181-365 dias: Virar função estratégica
Mandato organizacional
Consolidar um fórum de qualidade e confiabilidade com autoridade de priorização
Conectar métricas de confiança a OKRs de produto e engenharia
Reorganizar trilhas de carreira para papéis de qualidade, confiabilidade e IA responsável
Apresentar narrativa trimestral de qualidade/confiabilidade para liderança executiva
Checklist de prontidão
Fundação
0/4
Observabilidade
0/4
Governança
0/4
Liderança
0/4
10
Próximo paso
Transforma el playbook en acción con un diagnóstico de prontitud QA + SRE post-AI.
Quality + Reliability
Diagnóstico de prontidão QA + SRE pós-AI
A Voidr ajuda sua liderança a mapear fluxos com IA, riscos de autonomia, lacunas de observabilidade, sinais de qualidade e um roadmap prático para sair de execução reativa para governança estratégica.
Inventário de decisões autônomas
Métricas iniciais de decisão
Mapa de limites e aprovações
Roadmap de 90 dias
Lideranças QA/SRE que se posicionam só como executoras serão medidas por custo; as que assumem governança de risco serão medidas por confiança de entrega.
A Voidr apoia a transição com frameworks, automação e especialistas que conectam qualidade técnica a risco de negócio.