Criando uma cultura de experimentação

É preciso mais do que boas ferramentas. É necessário uma mudança completa de atitude.

Resumo do artigo

Uma oportunidade:

Em um mundo cada vez mais digital, experimentos A/B controlados e randomizados são uma maneira extremamente valiosa de criar ou melhorar experiências online.

O Obstáculo:

A cultura, não as ferramentas e tecnologia, impede as empresas de conduzir as centenas, até mesmo milhares de testes que deveriam estar fazendo anualmente e, em seguida, aplicar os resultados.

O Remédio:

Criar um ambiente no qual a curiosidade seja incentivada, os dados prevaleçam sobre opiniões, qualquer pessoa possa conduzir um teste, todos os experimentos sejam feitos eticamente e os gestores adotem um novo modelo de liderança.

Em dezembro de 2017, pouco antes da temporada de viagens movimentada das festas de fim de ano, o diretor de design do Booking.com propôs um experimento radical: testar um layout totalmente novo para a página inicial da empresa. Em vez de oferecer muitas opções para hotéis, aluguéis de temporada e ofertas de viagens, como a página inicial existente fazia, a nova apresentaria apenas uma pequena janela perguntando para onde o cliente estava indo, as datas e o número de pessoas na festa, e apresentaria três opções simples: “acomodações”, “voos” e “aluguel de carros”. Todo o conteúdo e elementos de design – imagens, textos, botões e mensagens – que o Booking.com passou anos otimizando seriam eliminados.

Gillian Tans, CEO do Booking.com na época, estava cética. Ela estava preocupada que a mudança causaria confusão entre os clientes leais da empresa. Lukas Vermeer, então chefe da equipe de experimentação principal da empresa, apostou uma garrafa de champanhe que o teste “fracassaria” – ou seja, que reduziria a métrica de desempenho crítico da empresa: a conversão de clientes, ou quantos visitantes do site fizeram uma reserva.

Dada essa visão pessimista, por que a alta administração não simplesmente vetou o teste? Porque fazê-lo teria violado um dos princípios fundamentais do Booking.com: Qualquer pessoa na empresa pode testar qualquer coisa – sem permissão da administração.

Booking.com executa mais de 1.000 testes rigorosos simultaneamente e, segundo minhas estimativas, mais de 25.000 testes por ano. Em qualquer momento, quadrilhões (milhões de bilhões) de combinações de páginas de destino estão ativas, o que significa que é improvável que dois clientes no mesmo local vejam a mesma versão. Toda essa experimentação ajudou a transformar a empresa de uma pequena startup holandesa na maior plataforma de acomodações online do mundo em menos de duas décadas.

Booking.com não é a única empresa a descobrir o poder dos experimentos online. Gigantes digitais como Amazon, Facebook, Google e Microsoft descobriram que eles são um grande diferencial quando se trata de marketing e inovação. Eles ajudaram a unidade Bing da Microsoft, por exemplo, a fazer dezenas de melhorias mensais, que coletivamente aumentaram a receita por busca de 10% a 25% ao ano. (Veja “O Poder Surpreendente dos Experimentos Online”, HBR, setembro-outubro de 2017.) Empresas sem raízes digitais – incluindo FedEx, State Farm e H&M – também adotaram os testes online, usando-os para identificar os melhores pontos de contato digitais, escolhas de design, descontos e recomendações de produtos.

“Num mundo cada vez mais digital, se você não fizer experimentação em larga escala, a longo prazo – e em muitas indústrias a curto prazo – você está morto”, disse-me Mark Okerstrom, CEO do Grupo Expedia. “Em qualquer momento, estamos executando centenas, se não milhares, de experimentos simultâneos, envolvendo milhões de visitantes. Por causa disso, não precisamos adivinhar o que os clientes querem; temos a capacidade de executar as maiores ‘pesquisas de clientes’ que existem, repetidamente, para que eles nos digam o que querem.”

Mas ao estudar mais de uma dúzia de organizações e analisar dados anonimizados de experimentos de mais de 1.000, percebi que Booking.com, Expedia e seus semelhantes são a exceção. Em vez de realizar centenas ou milhares de testes online por ano, muitas empresas realizam no máximo algumas dezenas que têm pouco impacto.

Se os testes são tão valiosos, por que as empresas não os fazem mais? Depois de examinar essa questão por vários anos, posso dizer que o motivo central é a cultura. Conforme as empresas tentam aumentar sua capacidade de experimentação online, muitas vezes descobrem que os obstáculos não são ferramentas e tecnologia, mas comportamentos compartilhados, crenças e valores. Para cada experimento que tem sucesso, quase 10 não têm – e aos olhos de muitas organizações que enfatizam eficiência, previsibilidade e “ganhar”, esses fracassos são um desperdício.

Para inovar com sucesso, as empresas precisam tornar a experimentação uma parte integral da vida cotidiana – mesmo quando os orçamentos são apertados. Isso significa criar um ambiente onde a curiosidade dos funcionários é nutrida, dados superam opiniões, qualquer pessoa (não apenas pessoas em P&D) pode conduzir ou encomendar um teste, todos os experimentos são feitos eticamente e os gestores adotam um novo modelo de liderança. Neste artigo, vou examinar várias empresas que conseguiram fazer essas coisas bem, focando principalmente na Booking.com, que tem uma das culturas de experimentação mais fortes que encontrei.

Cultivar a curiosidade

Todos na organização, desde a liderança até a base, precisam valorizar as surpresas, apesar da dificuldade de atribuir um valor monetário a elas e da impossibilidade de prever quando e com que frequência elas ocorrerão. Quando as empresas adotam essa mentalidade, a curiosidade prevalecerá e as pessoas verão os fracassos não como erros custosos, mas como oportunidades de aprendizado.

Um exemplo clássico diz respeito a um incidente na Amazon envolvendo uma revisão de Air Patriots, um jogo para dispositivos móveis no qual os jogadores defendem torres de ataque com um esquadrão de aviões.

logotipo logomarca amazon

Quando a Amazon lançou uma nova versão, a equipe de desenvolvimento ficou surpresa com a resposta: a taxa de retenção de usuários de sete dias caiu impressionantes 70%, e a receita caiu 30%. A equipe descobriu que havia aumentado inadvertidamente a dificuldade do jogo em cerca de 10%.

A Amazon rapidamente enviou uma correção, mas os desenvolvedores se perguntaram se tornar o jogo mais fácil poderia produzir grandes ganhos em retenção e receita. Para descobrir, eles realizaram um teste com quatro novos níveis de dificuldade, além de um controle, e descobriram que a variante mais fácil foi a melhor.

Após alguns refinamentos adicionais, a Amazon lançou uma nova versão – e desta vez os usuários jogaram 20% mais tempo e a receita aumentou em 20%. Um acidente havia levado a uma percepção surpreendente, que se tornou o ponto de partida para novos experimentos.
Infelizmente, esse tipo de reação é uma anomalia. Em muitas empresas, o risco associado aos experimentos faz com que os gestores relutem em alocar recursos para eles. Mas os ganhos desfrutados por empresas que deram o salto de fé deveriam dar coragem a outras para segui-las.

Muitas organizações também são muito conservadoras em relação à natureza e à quantidade de experimentação. Dar excesso de importância aos experimentos bem-sucedidos pode incentivar os funcionários a se concentrarem em soluções familiares ou naquelas que eles já sabem que funcionarão e a evitar testar ideias que temem que possam falhar. E é na verdade menos arriscado executar um grande número de experimentos do que um pequeno.

Na Booking.com, apenas cerca de 10% dos experimentos geram resultados positivos – o que significa que “B”, uma modificação que tenta melhorar algo (vendas, uso repetido, taxas de cliques ou o tempo que os usuários passam no site, por exemplo), tem um desempenho melhor entre os usuários atribuídos aleatoriamente do que “A”, o controle, que é o status quo. (Além dos testes A/B, a Booking.com também executa testes mais complexos que avaliam mais de uma modificação ao mesmo tempo.)

Mas quando você conduz um grande volume de experimentos, uma baixa taxa de sucesso ainda se traduz em um número significativo de sucessos, o que, por sua vez, diminui os custos financeiros e emocionais dos fracassos. Se uma empresa faz apenas alguns experimentos por ano, pode ter apenas um sucesso ou, se tiver azar, nenhum. Então, o fracasso é um grande problema.

Nas empresas que estudei, a taxa de sucesso para ideias testadas no início do desenvolvimento de uma nova oferta de marca é ainda menor. Os fracassos iniciais, no entanto, permitem que os desenvolvedores eliminem rapidamente opções desfavoráveis e concentrem seus esforços em alternativas mais promissoras. Em culturas experimentais, os funcionários não se intimidam com a possibilidade de fracasso.

“As pessoas que se destacam aqui são curiosas, de mente aberta, ávidas por aprender e descobrir coisas, e tudo bem serem provadas erradas”, disse Vermeer, que agora supervisiona todos os testes na Booking.com. Os recrutadores da empresa procuram por essas pessoas, e para garantir que tenham poder para seguir seus instintos, a empresa submete os novos contratados a um rigoroso processo de integração, que inclui treinamento em experimentação, e então lhes dá acesso a todas as ferramentas de teste.

Insista que os dados superem as opiniões

Os resultados empíricos dos experimentos online devem prevalecer quando entram em conflito com opiniões fortes, não importa de quem sejam as opiniões. Esta é a atitude na Booking.com, mas é rara entre a maioria das empresas por uma razão compreensível: a natureza humana.

Tendemos a aceitar felizmente resultados “bons” que confirmam nossos preconceitos, mas desafiamos e investigamos minuciosamente resultados “ruins” que vão contra nossas suposições.
O remédio é implementar as mudanças que os experimentos validam com poucas exceções. Como disse um diretor da Booking.com para mim, “Se o teste disser que o cabeçalho do site deve ser rosa, então deve ser rosa. Você sempre segue o teste.”

Conseguir que executivos nos escalões mais altos cumpram essa regra não é fácil. (Como o escritor americano Upton Sinclair certa vez observou: “É difícil fazer um homem entender algo quando seu salário depende de não entender isso!”) Mas é vital que o façam: Nada trava a inovação mais rapidamente do que uma opinião do chamado HiPPO – pessoa mais bem paga da empresa. Note que não estou dizendo que todas as decisões de gestão podem ou devem ser baseadas em experimentos online.

Algumas coisas são muito difíceis, se não impossíveis, de testar – por exemplo, decisões estratégicas sobre adquirir uma empresa.

Mas se tudo que pode ser testado online for testado, os experimentos podem se tornar instrumentais para decisões de gestão e alimentar debates saudáveis. Às vezes, essas discussões podem resultar em uma escolha consciente de sobrepor os dados. Isso é o que aconteceu com uma decisão envolvendo uma série de comédia na Netflix, que construiu uma infraestrutura sofisticada para experimentação em larga escala.

De acordo com um artigo do Wall Street Journal publicado em 2018, os executivos da empresa estavam divididos quando os testes mostraram que uma promoção apresentando uma imagem apenas de Lily Tomlin, uma das estrelas de Grace and Frankie, resultava em mais cliques por potenciais espectadores do que promoções apresentando tanto Tomlin quanto sua colega de elenco, Jane Fonda.

A equipe de conteúdo estava preocupada que excluir Fonda alienaria a atriz e possivelmente violaria seu contrato. Após debates acalorados que opunham evidências empíricas a “considerações estratégicas”, a Netflix optou por usar imagens que incluíam ambas as atrizes, mesmo que os dados dos clientes não apoiassem a decisão. No entanto, a evidência experimental tornou os trade-offs mais transparentes.

Democratize a experimentação

Como mencionei, qualquer funcionário da Booking.com pode lançar um experimento em milhões de clientes sem permissão da gerência. Cerca de 75% dos seus 1.800 funcionários de tecnologia e produto usam ativamente a plataforma de experimentação da empresa.

Modelos padrão permitem que eles configurem testes com esforço mínimo, e processos como recrutamento de usuários, randomização, registro do comportamento dos visitantes e relatórios são automatizados.

Uma equipe central de experimentação e cinco equipes satélites costumavam fornecer treinamento e suporte para toda a organização, mas porque as necessidades da empresa evoluíram, essa estrutura foi recentemente alterada para quatro equipes centrais que reportam a Vermeer e especialistas (“embaixadores”) que são colocados em equipes de produto.

Para começar, indivíduos ou equipes preenchem um formulário eletrônico, que é visível para todos e inclui o nome do experimento, seu propósito, os principais beneficiários (clientes ou fornecedores), experimentos passados relacionados e o número de modificações a serem testadas em testes A/B, A/B/C ou A/B/n.

Uma vez que um experimento está em funcionamento, a equipe o observa de perto nas primeiras horas; se suas métricas primárias ou secundárias despencarem rapidamente, a equipe pode interromper o teste. Após esse período inicial, a plataforma continua a executar automaticamente verificações de qualidade dos dados e envia mensagens de aviso se algo estiver estranho.

Para incentivar a transparência, a Booking.com mantém um repositório central pesquisável de experimentos passados, com descrições completas de sucessos, fracassos, iterações e decisões finais. E todos podem ver as informações em tempo real geradas por experimentos em andamento.

“Ironicamente, a centralização de nossa infraestrutura de experimentação é o que torna nossa descentralização organizacional possível”, explicou Vermeer para mim. “Todos usam as mesmas ferramentas. Isso promove a confiança nos dados uns dos outros e possibilita discussões e responsabilidade. Enquanto algumas empresas, como Microsoft, Facebook e Google, podem ser mais avançadas tecnicamente em áreas como aprendizado de máquina, nosso uso de testes simples A/B nos torna mais bem-sucedidos em envolver todas as pessoas; nós democratizamos os testes em toda a organização.”

A democratização, é claro, tem seus desafios. Um deles é o risco de equipes ou indivíduos quebrarem algo no site de alto tráfego da Booking.com, fazendo-o travar. Outro é que cada equipe precisa definir sua própria direção e descobrir quais problemas dos usuários deseja resolver. Isso requer treinamento extensivo e discussões contínuas entre os membros da equipe sobre quais são os problemas certos.

Os debates são incentivados, e as pessoas procuram colegas se veem algo que lhes pareça questionável. Assim como qualquer um pode lançar um experimento, qualquer um pode interrompê-lo. No entanto, isso acontece apenas em raras ocasiões, quando um experimento deu terrivelmente errado – por exemplo, se alguém está sozinho no escritório à noite e vê que um experimento está fazendo uma métrica chave como a taxa de conversão de clientes despencar e custará à empresa milhões de dólares em receitas se continuar.

Esse sistema dá às equipes a autonomia de que precisam para experimentar novas abordagens que acreditam ser valiosas e permite que as pessoas em toda a empresa monitorem os experimentos e forneçam feedback em tempo real. Isso realmente liberta todos para testar qualquer ideia sobre como melhorar os negócios da Booking.com.

Ser sensível eticamente

Ao contemplar novos experimentos, as empresas devem pensar cuidadosamente se os usuários considerariam os testes antiéticos. Embora a resposta nem sempre seja clara, as organizações que deixam de examinar essa questão correm o risco de desencadear uma reação negativa.

Tome o experimento de uma semana que o Facebook realizou em 2012 para descobrir se estados emocionais eram contagiosos em sua plataforma. O Facebook reajustou seu feed de notícias – uma lista de postagens, histórias e atividades curadas algoritmicamente – para ver se visualizar menos notícias positivas levava as pessoas a reduzir o número de postagens positivas.

A rede também testou se o inverso acontecia quando as pessoas eram expostas a menos notícias negativas. O experimento envolveu quase 690.000 usuários selecionados aleatoriamente, cerca de 310.000 dos quais foram expostos sem saber a expressões emocionais manipuladas em seus feeds de notícias, enquanto o restante foi submetido a condições de controle nas quais um número correspondente de postagens escolhidas aleatoriamente foi omitido.

Quando pesquisadores do Facebook e da Universidade de Cornell publicaram os resultados em uma revista acadêmica, houve uma reação pública. A equipe de ciência de dados do Facebook vinha realizando experimentos em usuários sem que eles soubessem há anos sem controvérsias, mas a manipulação emocional tocou em um nervo.

Críticos levantaram preocupações sobre se o consentimento dos participantes à política geral de uso de dados do Facebook era suficiente; eles sentiram que a empresa deveria ter deixado mais claro que os usuários poderiam optar por não participar dos testes e que os dados eram coletados para pesquisa. Do ponto de vista do aprendizado, o experimento foi um sucesso: ele descobriu que o contágio emocional existia online, embora o efeito fosse muito pequeno. Mas alguns usuários sentiram que o Facebook os havia explorado em nome da ciência.

Pesquisas sugerem que empresas que testam novas ideias enfrentam uma maior escrutínio dos clientes do que concorrentes que implementam novas práticas sem conduzir experimentos. Em uma análise publicada de 16 estudos em domínios como cuidados de saúde, design de veículos e pobreza global, a bioeticista Michelle Meyer e seus colaboradores concluíram que os participantes consideravam os testes A/B mais moralmente questionáveis do que a implementação universal de uma prática não testada (A ou B) em toda a população – mesmo quando ambos os tratamentos eram incontestáveis.

Claramente, o treinamento em ética e algum tipo de supervisão são necessários. O desafio é conduzir este último de maneiras que não tornem as pessoas excessivamente cautelosas ou as enrosquem em burocracia. Por esses motivos precisos, a Booking.com evitou impor regras de cima para baixo sobre que tipo de testes podem ser realizados.

Em vez disso, incentiva os funcionários a perguntarem se um experimento ou prática proposta ajudaria ou prejudicaria os clientes. “Prefiro ficar longe de policiar ou comitês de revisão ética”, disse David Vismans, diretor de produto da Booking.com. “Isso não é uma solução escalonável. Você criaria um gargalo, e a polícia de testes não faz as pessoas se sentirem capacitadas.”

Em vez disso, a empresa incentiva debates em fóruns internos online abertos a todos os funcionários. Os debates podem ser vigorosos e abordaram questões como o uso de técnicas para persuadir os clientes a completar transações (por exemplo, mensagens como “Por favor, reserve agora ou você perderá esta reserva” ou “Apenas três quartos restantes”). “Eu prefiro ter uma comunidade que se autocorrija”, explicou Vismans.

Para isso, o processo de integração da Booking.com também inclui treinamento em ética. O LinkedIn, outra empresa com um grande programa de experimentação, adota uma abordagem um pouco diferente. Ele criou diretrizes internas que afirmam que a empresa não realizará experimentos “com o objetivo de proporcionar uma experiência negativa aos membros, de alterar o humor ou as emoções dos membros, ou de substituir configurações ou escolhas existentes dos membros”.

Abraçar um modelo de liderança diferente

Ao democratizar a experimentação e seguir os resultados dos testes onde eles levam, as empresas podem capacitar os funcionários a tomar boas decisões por conta própria e acelerar a inovação e melhorias. Mas se a maioria das decisões for tomada dessa forma, o que resta para os líderes seniores fazerem, além de desenvolver a direção estratégica da empresa e lidar com grandes decisões, como quais aquisições fazer? Existem pelo menos quatro coisas:

Definir um grande desafio que possa ser dividido em hipóteses testáveis e métricas-chave de desempenho. Os funcionários precisam ver como seus experimentos apoiam um objetivo estratégico geral.

Digamos que os líderes sêniores da Booking.com desafiem os funcionários a projetar a melhor experiência online do setor. Eles poderiam esperar que uma experiência superior gerasse mais tráfego de clientes, o que atrairia mais fornecedores para a plataforma da Booking.com, ajudando a expandir ainda mais a base de clientes e a atividade.

Para descobrir maneiras de perseguir esse objetivo, os funcionários poderiam elaborar hipóteses e métricas relacionadas – por exemplo, que sublinhar texto importante aumentaria as taxas de conversão ao tornar as informações críticas mais fáceis de encontrar, e que uma opção de cancelamento “um clique, sem custo” aumentaria as taxas de retorno do usuário sem causar queda líquida nas reservas de hotéis.

Implementar sistemas, recursos e designs organizacionais que permitam experimentação em larga escala. Testar cientificamente quase todas as ideias requer infraestrutura: instrumentação, pipelines de dados e cientistas de dados.

Várias ferramentas e serviços de terceiros tornam fácil experimentar, mas para expandir as coisas, os líderes sêniores devem integrar firmemente a capacidade de teste nos processos da empresa. Fazer isso requer encontrar o equilíbrio certo entre centralização e descentralização.

Em grupos centralizados, especialistas dedicados, como desenvolvedores, designers de interface do usuário e analistas de dados, podem realizar experimentos para toda a empresa e se concentrar em introduzir métodos e ferramentas de ponta. Mas se os testes forem limitados a um pequeno grupo de especialistas, será difícil escalar a experimentação e mudar a cultura de uma empresa.

Na descentralização dos testes, as empresas espalham equipes especializadas por diferentes unidades de negócios. Embora essa abordagem expanda a experimentação para mais partes da organização, ela pode dificultar o compartilhamento de conhecimento e levar a objetivos conflitantes e má coordenação entre especialistas.

A descentralização pode ser necessária para envolver a organização mais ampla no início, mas depois disso, as empresas devem buscar melhorar suas capacidades de experimentação. Foi isso que a Booking.com fez.

Inicialmente, ela usava equipes satélites para espalhar a experimentação pela empresa, mas descobriu que elas estavam muito ocupadas apoiando os usuários para se concentrarem em construir capacidades de toda a empresa. Para resolver esse problema e alinhar melhor as equipes, a Booking.com recentemente mudou para um modelo de centro de excelência que apoia as unidades de negócios, padroniza a abordagem da empresa à experimentação e garante que as melhores práticas sejam adotadas e seguidas.

Ser um modelo a seguir.

Os líderes têm que viver pelas mesmas regras que todos os outros e submeter suas próprias ideias a testes. “Você não pode ter ego, pensando que sempre sabe o melhor”, disse Tans para mim. “Se eu, como CEO, disser a alguém, ‘Isso é o que quero que você faça porque acho que é bom para o nosso negócio’, os funcionários literalmente olhariam para mim e diriam, ‘OK, tudo bem, vamos testar e ver se você está certo.’”

Os chefes devem mostrar humildade intelectual e não ter medo de admitir: “Eu não sei”. Eles devem seguir o conselho de Francis Bacon, o pai do método científico: “Se um homem começar com certezas, ele terminará com dúvidas; mas se ele estiver disposto a começar com dúvidas, ele terminará com certezas.”

Reconhecer que palavras sozinhas não mudarão o comportamento. Ser um líder em uma organização orientada por experimentos significa deixar ir e capacitar os funcionários a realizar seus próprios testes – o que não acontece simplesmente dizendo às pessoas que elas podem fazer isso. Isso requer um esforço concertado como o da IBM.

logotipo ibm

Em 2015, a experimentação não era uma atividade central na IBM; a função de TI da empresa oferecia-se para realizar testes, mas eles eram caros, cobrados de volta para as unidades de negócios e tinham que seguir um processo rígido. A capacidade de teste consistia apenas em um especialista, que também era o guardião e que rejeitava muitos experimentos propostos porque sentia que eles não eram candidatos fortes o suficiente.

Como resultado, a empresa realizou apenas 97 testes naquele ano. Então, Ari Sheinkin, chefe de análise de marketing da IBM na época, assumiu a experimentação e, com o apoio do diretor de marketing, capacitou mais de 5.500 profissionais de marketing em todo o mundo a conduzirem seus próprios testes. Para incentivá-los a fazer isso, Sheinkin tomou várias medidas.

Ele instalou ferramentas fáceis de usar, criou um centro de excelência para fornecer suporte, introduziu um framework para condução de experimentos disciplinados, ofereceu treinamento para todos e tornou os testes online gratuitos para todos os grupos de negócios. Ele também conduziu uma “blitz de testes” inicial durante a qual as unidades de marketing tiveram que realizar um total de 30 experimentos online em 30 dias.

Depois disso, ele realizou concursos trimestrais para os experimentos mais inovadores ou mais escaláveis. Ele também empregou táticas mais enérgicas: a IBM vinculou parte dos orçamentos das unidades de marketing aos planos de experimentação. Esses esforços deram certo. Em 2018, o número de testes anuais aumentou para 2.822.

Reconhecer o poder transformador da experimentação requer um compromisso sustentado.

Com o tempo, os experimentos resultarão em milhares de pequenas e não tão pequenas mudanças que geram benefícios enormes. Fornecer as ferramentas certas, embora essencial, é a parte fácil e não é suficiente para tornar a experimentação um modo de vida. Vismans expressou isso melhor: “Se eu tiver algum conselho para CEOs, é este: Testar em larga escala não é algo técnico; é uma questão cultural que você precisa abraçar completamente. Você precisa se perguntar duas perguntas importantes: Quão disposto você está a ser confrontado todos os dias por estar errado? E quanto de autonomia você está disposto a dar às pessoas que trabalham para você? E se a resposta for que você não gosta de ser provado errado e não quer que os funcionários decidam o futuro dos seus produtos, não vai funcionar. Você nunca vai colher todos os benefícios da experimentação.”

A lição é que não é tão importante se algum experimento individual tem sucesso ou falha; o que importa é como as decisões são julgadas sob incerteza em uma organização. Elas não devem ser baseadas apenas na fé ou opinião pessoal. Se puderem ser testadas, devem ser.

Fonte:

Periódico HBR, março de 2020

Sobre o autor:

Stefan Thomke é o Professor na Harvard Business School e autor do livro “Experimentation Works: The Surprising Power of Business Experiments” (HBR Press, 2020).