Além das taxas de conclusão: avalie as decisões no treinamento

Imagine um painel de treinamento mostrando que quase todo mundo concluiu o curso. Essa é uma informação útil sobre a realização do treinamento. Mas ainda resta uma pergunta: os participantes conseguem aplicar o conteúdo?

A conclusão do curso e a capacidade demonstrada respondem a perguntas diferentes. Mantenha os relatórios de conclusão quando forem úteis e, em seguida, acrescente avaliações que examinem as decisões que o treinamento pretende aprimorar.

Por que a conclusão virou o padrão

Concluir um módulo é uma evidência de participação. Não é uma evidência suficiente de que a pessoa consegue aplicar o conteúdo.

Uma pessoa pode passar em um questionário de memorização e ainda ter dificuldade diante de uma objeção inédita de um cliente. Escolha uma avaliação que teste a habilidade desejada, independentemente do sistema usado para aplicá-la.

O que as pesquisas sobre aprendizagem ativa podem nos dizer

A metanálise de Freeman e seus colegas, publicada em 2014 na PNAS, concluiu que a aprendizagem ativa resultou em melhor desempenho em provas e menores taxas de reprovação em 225 estudos de graduação nas áreas de STEM.

Essas evidências não comprovam a eficácia de um produto específico de treinamento corporativo. Teste sua própria atividade em relação à habilidade profissional que deseja desenvolver.

A lacuna entre saber e fazer

Conhecer um protocolo de escalonamento e aplicá-lo a uma situação ambígua são tarefas de avaliação diferentes. Um plano de treinamento útil dá aos participantes a oportunidade de praticar ambas.

Simulações baseadas em decisões podem pedir que os participantes expliquem o que fariam diante de informações incompletas e prioridades conflitantes. No LiveCase, os autores podem configurar a avaliação por IA de respostas escritas e conversas com personagens segundo os critérios da avaliação. A rapidez da resposta não é, por padrão, uma medida da qualidade do raciocínio.

O que medir em vez disso

Considere estas medidas quando forem adequadas ao objetivo de aprendizagem:

• Qualidade das decisões: A recomendação foi respaldada pelas evidências disponíveis?
• Raciocínio: A pessoa explicou as concessões e as incertezas?
• Consistência: A pessoa consegue aplicar o mesmo princípio em uma situação diferente?
• Aplicação no trabalho: Observações posteriores mostram que a habilidade está sendo usada no trabalho?

Escolha medidas que respondam a uma pergunta específica. Uma pontuação em uma simulação, por si só, não comprova uma melhora no desempenho profissional nem um retorno financeiro.

Quatro etapas para passar da conformidade à capacidade

Você não precisa reformular todo o catálogo de treinamento da noite para o dia. Comece com uma situação de alto risco em que o custo de uma decisão errada seja maior.

Etapa 1: Faça uma auditoria das métricas atuais. Identifique quais medidas descrevem a participação, quais avaliam a aprendizagem e quais examinam a aplicação no trabalho.

Etapa 2: Transforme um módulo em uma simulação baseada em decisões. Use um estúdio gratuito de criação com IA para transformar uma situação de alto risco, uma violação de conformidade, uma negociação ou uma situação de gestão de crises em uma simulação interativa na qual os participantes tomem decisões reais.

Etapa 3: Defina uma rubrica para as decisões. Trabalhe com especialistas no assunto para definir como é uma boa decisão no seu contexto. Não as etapas, mas o raciocínio. Que concessões a pessoa deve ponderar? Que informações deve priorizar?

Etapa 4: Planeje a medição de acompanhamento. Se quiser afirmar que houve melhora, defina uma linha de base, uma avaliação de acompanhamento comparável e observações pertinentes no ambiente de trabalho. Esse é um plano de avaliação para sua equipe, não um relatório automático da plataforma.

Contextualize a conclusão

Apresente os dados de participação junto com evidências de capacidade. Explique o que cada medida demonstra e o que continua incerto.

As ferramentas para fazer isso já existem. A questão é se você está pronto para fazer a pergunta mais difícil.

Experimente o Estúdio de Criação de Casos com IA para elaborar um cenário de treinamento ou explore o catálogo de casos. Analise o caso e os critérios de avaliação antes de usá-lo com os participantes.

Perguntas frequentes

O que há de errado com as taxas de conclusão de treinamento?

As taxas de conclusão mostram quantas pessoas terminaram uma atividade. Combine-as com avaliações adequadas antes de tirar conclusões sobre a aprendizagem ou o desempenho no trabalho.

Como as simulações baseadas em decisões medem a aprendizagem de outra maneira?

Uma simulação pode pedir que os participantes façam uma recomendação e a expliquem dentro de um contexto. No LiveCase, a avaliação por IA configurada pode avaliar respostas escritas e conversas com personagens. O que é medido depende do caso e dos respectivos critérios.

O que as pesquisas dizem sobre aprendizagem ativa em comparação com a passiva?

O estudo de Freeman citado acima trata de cursos de graduação em STEM. Ele respalda a aprendizagem ativa nesse contexto, mas não comprova resultados de treinamento corporativo.

Posso criar uma simulação sem experiência em programação?

O Estúdio de Criação de Casos com IA do LiveCase oferece uma opção de criação autônoma. Analise e refine o caso gerado antes de aplicá-lo; o trabalho necessário depende do material e do objetivo de aprendizagem.

Como convencer a liderança a ir além dos relatórios de taxas de conclusão?

Proponha um pequeno projeto-piloto com objetivo definido, linha de base, critérios de avaliação e observação de acompanhamento. Apresente tanto os resultados quanto os limites do que o projeto-piloto pode comprovar.

Qual é a diferença entre métricas de conformidade e métricas de capacidade?

As medidas de participação descrevem o envolvimento na atividade. As medidas de avaliação examinam o desempenho em uma tarefa. As observações no ambiente de trabalho examinam a aplicação na prática. Use cada uma para responder à pergunta correspondente.