Pular para o conteúdo

Estratégia e gestão de T&D··7 min de leitura

O modelo de Kirkpatrick sem ilusão: os quatro níveis e o que eles não provam

Reação, aprendizagem, comportamento e resultados: o que cada nível mede de verdade, e por que a corrente entre eles não se sustenta na pesquisa.

Toda empresa que treina alguém coleta a mesma coisa: a pesquisa de satisfação do fim do curso. Nota média 4,6, comentários elogiosos, relatório enviado. Seis meses depois, alguém da diretoria pergunta se o treinamento adiantou, e aquela nota 4,6 não serve para responder.

O modelo de Kirkpatrick existe justamente para separar o que a nota 4,6 mede do que a pergunta da diretoria pede. São quatro perguntas diferentes, e quase todo mundo responde só a primeira.

De onde vem o modelo

Donald Kirkpatrick publicou em 1959 uma série de quatro artigos na revista da associação americana de diretores de treinamento, a partir da tese de doutorado que tinha defendido em 1954 na Universidade de Wisconsin. Foi ali que apareceram os quatro nomes que a área repete desde então: reação, aprendizagem, comportamento e resultados. O livro que consolidou tudo isso como "os quatro níveis" veio bem depois, em 1994.

Existe uma nota de rodapé que vale conhecer. Em um artigo de 1956, Kirkpatrick atribuiu explicitamente essa estrutura de quatro passos a Raymond Katzell, psicólogo organizacional que já vinha publicando sobre avaliação de treinamento desde o fim dos anos 1940. Na série de 1959, o crédito desapareceu, e a pesquisa de Will Thalheimer sobre o assunto não encontrou nenhuma retomada dele depois disso.

Isso não diminui o modelo, e explica uma coisa: ele nunca foi uma teoria fechada, com demonstração. É uma boa arrumação de perguntas que a área adotou porque funcionava para conversar. Guarde isso para o final do artigo.

Os quatro níveis, um a um

Nível 1: reação

Mede o que a pessoa achou. Gostou, achou relevante, recomendaria.

É o nível mais fácil de coletar e o mais fácil de interpretar errado. Nota alta não é sinal de aprendizagem: um curso agradável, com bom áudio e um instrutor simpático, colhe nota alta mesmo sem mudar nada no trabalho de ninguém. O que vale a pena perguntar no nível 1 não é "você gostou", é "isso tem a ver com o que você faz" e "você se sente capaz de aplicar". Esse é o assunto de o que as suas avaliações de reação realmente medem.

Nível 2: aprendizagem

Mede o que a pessoa passou a saber ou saber fazer. Prova, exercício, demonstração prática, simulação.

Aqui o erro comum é medir memória em vez de capacidade. Uma prova de múltipla escolha no fim do módulo mostra que a pessoa reconhece a resposta certa entre quatro opções, o que é bem diferente de conseguir agir na situação real. O remédio começa no objetivo de aprendizagem: se ele foi escrito de forma verificável, a avaliação quase se escreve sozinha. É para isso que serve a taxonomia de Bloom.

Nível 3: comportamento

Mede se a pessoa mudou o que faz no trabalho. É o nível que interessa de verdade, e o que quase ninguém mede, porque exige voltar semanas depois e olhar.

Também é o nível em que o treinamento deixa de ser o único responsável. Uma pessoa pode ter aprendido bem e não aplicar nada porque o gestor não cobra, porque o sistema não permite, porque o jeito antigo continua sendo mais rápido, ou porque ninguém percebeu a diferença. Nenhum desses é problema de conteúdo.

Nível 4: resultados

Mede o efeito no negócio: acidentes, retrabalho, tempo de atendimento, turnover, vendas, reclamação de cliente.

O desafio aqui não é medir, é atribuir. O indicador se mexeu, e o treinamento foi uma das cinco coisas que aconteceram no período. Assumir a queda inteira como mérito do curso é o tipo de relatório que funciona uma vez e destrói a credibilidade da área na segunda. Sobre que indicadores acompanhar, vale ver os principais indicadores de treinamento.

A corrente que não existe

Aqui está a parte que a maioria dos artigos sobre Kirkpatrick omite.

O modelo é quase sempre desenhado como uma escada, e junto com o desenho vem uma suposição: se a pessoa gostou, ela aprendeu; se aprendeu, ela aplica; se aplica, o resultado aparece. Essa corrente é confortável porque permite medir o nível 1, que é barato, e deduzir o resto.

Ela não se sustenta. Em 1989, George Alliger e Elizabeth Janak revisaram trinta anos de pesquisa sobre os níveis e mostraram que as ligações causais entre eles são pressupostas, não demonstradas. Revisões posteriores, ao longo dos anos 2000, encontraram correlações fracas entre os níveis, em especial entre o 2 e o 3: gente que aprendeu de verdade com frequência não muda o comportamento, e a explicação costuma estar no ambiente de trabalho, não na aprendizagem.

A consequência prática é direta e desconfortável: a sua pesquisa de satisfação não é indício de nada além de satisfação. Se o que a empresa quer saber é o nível 3, alguém precisa medir o nível 3.

O que o Novo Mundo Kirkpatrick acrescentou

Jim e Wendy Kirkpatrick revisaram o modelo e publicaram em 2016 a versão conhecida como Novo Mundo Kirkpatrick. Três mudanças interessam à prática:

Comece pelo nível 4, no planejamento. Em vez de treinar e depois procurar um indicador que tenha se mexido, define-se primeiro qual resultado se espera, depois qual comportamento leva a ele, depois o que a pessoa precisa aprender para se comportar assim, e só então como será o treinamento. É o desenho ao contrário, e é o que faz a avaliação virar possível.

Fatores de sustentação. O reconhecimento explícito de que treinamento sozinho não muda comportamento. Cobrança do gestor, lembretes, acompanhamento, o que é medido e o que é reconhecido: sem isso, o nível 3 não acontece por mais bem-feito que seja o curso. É a resposta direta ao problema da corrente quebrada.

Retorno sobre expectativas. Em vez de perseguir um número financeiro que raramente convence, combina-se no início com quem patrocina o projeto o que ele considera sucesso, e no fim se responde àquilo. Menos elegante que ROI, e bastante mais honesto.

O nível 5, de Jack Phillips

Jack Phillips propôs acrescentar um quinto nível ao modelo: o retorno sobre o investimento, que converte o resultado do nível 4 em dinheiro e compara com o custo total do programa, incluindo produção, plataforma e o tempo das pessoas em treinamento.

O passo que distingue um cálculo sério de um número de apresentação é o isolamento: estimar quanto daquele ganho se deve ao treinamento, e não às outras coisas que aconteceram no período. Sem esse passo, o ROI é ficção com duas casas decimais. Se for por esse caminho, comece por entender os custos do projeto.

Como começar sem virar projeto de pesquisa

Avaliar nos quatro níveis em tudo é inviável, e ninguém faz. O que funciona é escolher onde vale o esforço:

Escolha um programa por ano para medir de verdade. O de maior público, ou o de maior risco. Nos outros, nível 1 e nível 2 bem-feitos já bastam.

Combine o nível 4 antes de produzir. Uma frase, com quem pediu o treinamento, sobre o que deveria estar diferente em seis meses. Sem isso, a avaliação vira arqueologia.

Escolha até três comportamentos observáveis. No nível 3, específico vence completo. "Registra a ocorrência no sistema no mesmo turno" é verificável; "adota postura de segurança" não é.

Trate o ambiente como parte do projeto. Quem vai cobrar, com que frequência, e o que acontece se a pessoa não mudar. Se ninguém souber responder, o resultado do nível 3 já está decidido.

Vale lembrar o que Kirkpatrick nunca prometeu: o modelo não é uma máquina de provar valor. É uma forma de não confundir quatro perguntas diferentes. Quem usa assim tem uma conversa melhor com a diretoria. Quem usa como prova acaba defendendo um número que não se sustenta.

Sobre o que fazer com o que a medição mostrar, o caminho prático está em cinco ações para medir resultados de treinamento. E se o projeto ainda está sendo desenhado, a hora de embutir a avaliação é agora: é uma das cinco decisões do modelo ADDIE.

Escrito pela equipe da Clarity Solutions.Compartilhar:LinkedInWhatsApp
Clarity SolutionsFalar no WhatsApp

Olá! Em que podemos ajudar? Deixe seu contato e a conversa abre em seguida.

Ao enviar, você receberá comunicações e conteúdos da Clarity sobre treinamento corporativo. Você pode cancelar quando quiser pelo link presente em todos os nossos e-mails ou pelo contato@clarity.com.br. Saiba como tratamos seus dados na nossa Política de Privacidade.