English
Datart, membro do portfólio do grupo HP TRONIC, é um dos principais players na venda no varejo de eletrônicos de consumo na República Tcheca e Eslováquia. Seja em lojas físicas ou vendas através de lojas eletrônicas, Datart está conosco há 32 anos. É recebedora dos prêmios Mastercard Merchant of the Year 2021 na categoria de engenharia elétrica, e Most Trusted Brand 2020 e 2021. Em 2022, o grupo HP TRONIC, incluindo DATART, aumentou seu faturamento em 5% para CZK 25,3 bilhões. Lucro EBITDA de CZK 942 milhões.
Neste artigo você aprenderá que:
- sempre há uma razão para testar
- a implementação do teste deve ser perfeita
- um teste A/B pode ser um ótimo começo
- é possível trabalhar para resultados significativos em um tempo relativamente curto
- testes ocasionais podem surpreender
Foi a análise, curiosidade ou intuição no início?
Vários clientes de alto perfil começaram com Luigi’s Box no mesmo lugar que Datart. No início, implantaram Luigi’s Box Analytics em sua loja eletrônica. Como a análise já forneceu muitas informações, a questão era se Luigi’s Box poderia ser um parceiro igualmente confiável em busca ou preenchimento automático ao usar Luigi’s Box Search como era com a análise.
Datart percebe como a busca é importante para suas lojas eletrônicas e o que pode afetar sua configuração correta ou incorreta. Além dos custos, há também outras métricas importantes, como receita gerada, taxa de conversão, número de compras concluídas. Uma abordagem responsável certamente inclui testes e verificação de hipóteses. Datart inova, o que pode ser visto em várias áreas. Ela faz o seu melhor para melhorar a experiência do usuário, e compreensivamente, estão procurando por melhores soluções que ajudem os usuários e aumentem os lucros simultaneamente.
Eles estavam desenvolvendo sua busca internamente, e em algum momento, foi necessário verificar que a busca externa poderia ser tão boa, se não melhor, que a interna.
Implementar um teste não está a alguns cliques de distância
Qualquer que seja o que queremos testar, é crucial ter tudo pensado com antecedência. Por exemplo, metodologia, valores comparados, viabilidade do teste ou método de avaliação. Por outro lado, implementação técnica, dificuldade e requisitos para desenvolvedores ou qualquer especialização técnica ou especificações. O teste pode ser executado em integração frontend ou backend. No caso de Datart, foi a mais complicada e complexa integração backend. A maioria dos clientes é profissional e pessoalmente preparada para testes semelhantes, então lidar com tais tarefas geralmente não apresenta complicações.
Afortunadamente, Datart tem uma equipe de especialistas que não subestimou nenhum aspecto, forneceu informações e especificações passo a passo e ajustou os valores necessários para se comunicar corretamente com nosso sistema através da API.
Até mesmo antes de executar um teste A/B, um conjunto de testes é necessário para eliminar possíveis erros que poderiam significativamente afetar o resultado de tal teste.
Por que um teste A/B?
Há muitas maneiras de tentar ou testar algo. A primeira opção é substituir uma solução por outra e examinar se a nova solução é mais eficaz. No entanto, surge um risco fundamental aqui. Com o tamanho de um cliente como Datart, até mesmo um pequeno desvio em unidades de baixa porcentagem pode se manifestar como uma queda significativa nos lucros, o que é inaceitável para qualquer empresa.
Mas uma opção mais segura é primeiro usar o chamado teste A/B offline. Os resultados de busca existentes, por exemplo, ao longo de um tempo, são comparados com os resultados oferecidos pela ferramenta testada. Desenvolvemos este método de teste e o usamos há muito tempo, graças ao qual fundamentalmente eliminamos o risco de que uma nova busca para algumas frases exibisse resultados piores ou nenhum resultado. Isso torna o teste mais seguro mesmo para clientes mais proeminentes, onde dado o número de buscas de frases individuais, até mesmo um pequeno desvio pode ter um impacto significativo.
Após um teste A/B offline, os clientes se movem suavemente para um teste online A/B “ao vivo”. A base é uma metodologia na qual alguns visitantes recebem uma versão e outros outra. A proporção de exibição de uma e outra solução é escolhida, que pode ser 50:50. Ainda assim, no início, por exemplo, apenas 80:20, para que o cliente possa ter certeza de que a variante testada é melhor ou igual à variante original. No final, ambos os resultados são comparados relativamente, e se os valores de entrada, por exemplo, o número de sessões, foram significativos, podemos proceder à avaliação.
O resultado em menos de duas semanas
Se fôssemos testar casos particulares, ou se tivéssemos uma loja eletrônica com baixo tráfego, o teste demoraria muito tempo porque o número baixo de visitas não seria significativo o suficiente. Simplesmente não seria possível determinar qual das soluções comparadas é o vencedor do teste.
Alguns clientes testam por uma semana, outros por meses. Considerando o tamanho do tráfego e o número de conversões, podemos estimar quanto tempo o teste levará. Posteriormente, verificaremos o resultado através da significância estatística para reduzir o risco de um resultado inesperado. Tudo é sempre definido com antecedência. Para que o início e o final do teste, bem como as métricas comparadas e o método de avaliação, sejam claros. As regras não devem ser alteradas “durante o jogo”.
Neste caso, tínhamos dados de entrada suficientes, bom tempo e avaliação precisa do teste. O teste em Datart ocorreu de 1 a 12 de setembro de 2022. Em menos de duas semanas, os dados necessários foram coletados – e foi possível avaliar o teste e determinar o vencedor.
Luigi’s Box como vencedor do teste A/B
O teste comparativo A/B foi implantado nas versões tcheca e eslovaca da loja eletrônica. Ambos os testes diferem em alguns valores, pois cada mercado em cada país funciona de forma diferente ao buscar.
Em ambas as lojas eletrônicas testadas, a proporção de implantação foi 50:50. Onde 50% dos usuários receberam a versão original da busca e 50% receberam a versão com Luigi’s Box Search.
Os resultados de ambos os testes foram significativos de acordo com a metodologia escolhida.
A métrica comparativa principal foi “Taxa de conversão” – taxa de conversão dos usuários de busca.
Após avaliar os testes, descobrimos que, comparado à versão de busca original, Luigi’s Box Search foi demonstravelmente melhor em ambas as versões de idioma da loja eletrônica.
Outra informação interessante é que nossa solução eliminou resultados incorretos e buscas sem resultados para algumas categorias. Luigi’s Box pode ser uma resposta confiável se você está resolvendo um problema semelhante com relevância.
Conclusão
As métricas escolhidas demonstraram que a inteligência artificial e o aprendizado de máquina utilizados pelo Luigi’s Box poderiam aumentar a taxa de conversão, neste caso, de 14-19%. Dependendo do segmento e status de busca, a diferença na taxa de conversão pode ser ainda maior. Juntamente com o aumento na taxa de conversão, é claro que as vendas também aumentaram – o que é o estado desejado. Após tais resultados de teste, não é surpresa que Datart use Luigi’s Box Search como sua ferramenta de busca e preenchimento automático em ambas as lojas eletrônicas testadas.
Este exemplo mostra claramente que os anos de pesquisa e desenvolvimento de nossa ferramenta têm um alto valor agregado para o cliente.
