Nesta página, descrevemos como monitorar o tráfego de experimentos A/B e comparar as principais métricas de negócios para pesquisa no console "Pesquisa para comércio".
Visão geral
Você pode realizar um experimento A/B para comparar as principais métricas de negócios entre a implementação de pesquisa atual e a Vertex AI para Pesquisa no comércio.
Depois de configurar o experimento e a divisão de tráfego, é possível monitorar o tráfego do experimento e conferir as métricas de negócios usando a página Experimento no console da Pesquisa para e-commerce.
Para configurar o monitoramento de experimentos A/B no console, insira informações sobre seu teste A/B, como nome, período e informações do grupo experimental. Cada grupo de variante do experimento é mapeado para um grupo experimental criado para o experimento A/B. O primeiro grupo configurado no console é tratado como o controle de base.
Cada experimento tem uma guia Monitoring que mostra métricas de divisão de tráfego que podem ajudar você a determinar se o teste A/B está configurado corretamente. Isso é importante para validar se um viés foi introduzido no teste A/B. Por exemplo, um problema típico a ser observado é se algumas consultas ou categorias são veiculadas por um grupo experimental, mas não por outros.
Cada experimento também tem uma guia Analytics em que você pode conferir comparações de métricas comerciais importantes. Duas categorias de métricas de negócios estão incluídas:
- Métricas por pesquisa ou navegação, como cliques por pesquisa.
- Métricas por pesquisa ou visita de navegação, como receita por visita de navegação.
Consulte a lista de métricas para conferir uma lista completa.
Cada métrica de negócios fornece valores brutos, aumento relativo em comparação com o controle de base e um intervalo de confiança de 95%. É possível conferir métricas agregadas e por data.
A guia de monitoramento de tráfego mostra se ocorreram divisões de tráfego não intencionais e as datas em que elas aconteceram. Uma divisão de tráfego não intencional é determinada comparando a porcentagem real de divisão de tráfego com a porcentagem pretendida inserida ao configurar o monitoramento. A divisão de tráfego é considerada correta se a diferença relativa for igual ou menor que 10%. Por exemplo, se o tráfego for dividido igualmente entre dois grupos, uma divisão real de 45% a 55% estará dentro do intervalo pretendido.
Você pode usar o console para monitorar vários experimentos simultaneamente.
A data do experimento e as métricas segmentadas por data usam America/Los_Angeles como fuso horário e 0h (horário de America/Los_Angeles) para datas de início e término.
É possível atualizar os detalhes do experimento no console, como datas de início e término, número de variantes, IDs de experimento e porcentagem de divisão de tráfego pretendida a qualquer momento, independente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados de forma retroativa.
O monitoramento e a análise dos experimentos A/B têm os seguintes requisitos/limitações:
O período máximo de dados de experimento que você pode acompanhar é de 180 dias. Se um experimento começou há mais de 180 dias, as métricas mais antigas não serão capturadas.
O monitoramento de tráfego por consulta ou categoria retorna apenas as 100 principais consultas ou categorias que recebem mais tráfego de todos os grupos de variantes no experimento.
Antes de começar
Antes de configurar o monitoramento no console de pesquisa para comércio em um teste A/B:
Configure a ingestão de eventos do usuário para eventos veiculados pela sua implementação de pesquisa atual e pela Vertex AI para Pesquisa de comércio.
Revise as práticas recomendadas para experimentos A/B.
Configure o experimento usando uma plataforma de experimento de terceiros, como o Google Optimize ou o Optimizer.
Configure e anote o evento do usuário
experimentIdspara cada grupo de experimento. Ao configurar o monitoramento de experimentos, você precisa especificar os IDs de experimento para cada grupo de variante.
Adicionar um experimento no console
Use os procedimentos a seguir para adicionar um novo experimento a ser monitorado no console da Pesquisa para e-commerce:
Neste procedimento, você cria braços variantes no console da Pesquisa para e-commerce que correspondem aos grupos de experimentos criados na plataforma de experimentos de terceiros. Para exemplos de como os grupos de variantes podem ser mapeados para grupos de experimentos atuais, consulte Exemplos de configurações de experimentos.
Adicionar detalhes do experimento
Adicione um experimento no console e insira os detalhes dele.
Acesse a página Experimentos no console da Pesquisa para e-commerce.
Acessar a página "Experimentos"Clique em Adicionar experimento.
A página Novo experimento é aberta.
Insira um nome para o experimento.
Selecione as datas de início e término do experimento.
Se o tráfego do experimento estiver configurado para aumentar gradualmente, defina a data de início para quando o aumento estiver concluído e a divisão de tráfego estiver estabilizada.
Selecione o tipo de atividade que o experimento rastreia:
Procurar: navegação no seu site por categoria de página. A atividade de navegação é indicada por uma consulta vazia na resposta da pesquisa.
Pesquisa: pesquisas de consultas de texto no seu site.
Em seguida, crie grupos de variantes para seu experimento.
Adicionar variantes
Depois de adicionar os detalhes do experimento no console, crie grupos de variantes que correspondam a cada grupo de experimento.
A primeira variante que você configura é a de referência. A linha de base geralmente representa sua solução atual.
Antes de começar, verifique se você tem o evento do usuário experimentIds para cada grupo de teste.
Clique em Adicionar grupo de variante.
O painel Criar grupo variante é aberto.
Insira o evento do usuário
experimentIdassociado à configuração do experimento que este grupo variante vai monitorar:Se você estiver configurando o primeiro braço de variante:insira o evento do usuário
experimentIdassociado ao grupo de controle que vai servir como seu valor de referência.Se você já configurou a variante de base: insira o evento do usuário
experimentIdassociado ao próximo grupo de experimento.
Insira um nome legível para este grupo de variantes.
Esse nome é exibido nos painéis de monitoramento no console.
(Opcional) Forneça uma descrição do grupo de variante.
Selecione um destino de tráfego de veiculação:
API Google Vertex AI para Pesquisa para varejo: se esta ramificação variante monitorar o tráfego para resultados de pesquisa da Vertex AI para comércio.
Externo: se esse grupo de variantes monitora o tráfego para resultados de um serviço externo. Por exemplo, o grupo de variantes de referência (ou controle) provavelmente representa um destino externo se o experimento estiver comparando o tráfego de um serviço atual com o tráfego de pesquisa para e-commerce da Vertex AI.
Clique em Criar para concluir a criação desse braço de variante.
O grupo de variantes é exibido na página Novo experimento.
Repita as etapas anteriores para criar braços de variante associados a cada grupo de experimento que você planeja monitorar.
É necessário ter pelo menos um braço Externo e um braço API Google Vertex AI Search para varejo.
(Opcional) Por padrão, a porcentagem de tráfego pretendida é dividida igualmente entre todos os grupos de variantes. Para personalizar as porcentagens de tráfego pretendidas:
Na seção Adicionar variantes, clique em um valor de porcentagem de tráfego na coluna %de tráfego.
O painel Porcentagem de tráfego é aberto.
No campo Distribuição de ponderação, selecione Porcentagens personalizadas.
Na coluna %de tráfego de cada grupo de variante, insira a porcentagem de tráfego pretendida.
A porcentagem total de tráfego em todos os grupos de variantes precisa ser de 100%.
Clique em Concluído.
O painel Porcentagem de tráfego será fechado.
Clique em Criar na página Novo experimento para concluir a criação do experimento.
O experimento é exibido na página Experimentos de integração.
Exemplos de configurações de experimentos
Esta seção apresenta dois exemplos de configurações de experimentos.
O exemplo 1 mostra um controle de base e um grupo de experimentos da Vertex AI para Pesquisa no comércio.
O exemplo 2 mostra como comparar um controle de base com dois grupos de experimentos da Vertex AI para Pesquisa no comércio.
Exemplo 1: dois grupos de variante
Neste exemplo, suponha que você planeje configurar um experimento A/B com:
- 20% das solicitações de pesquisa enviadas a mecanismos de pesquisa internos como o grupo de controle de referência
- 20% das solicitações de pesquisa enviadas à Google Vertex AI para Pesquisa para API Retail como o grupo experimental
- 60% como um grupo de controle que não está no teste A/B
A configuração da solicitação e do evento do usuário seria:
| Tipo de tráfego | Mecanismo de descoberta | 60% | event.experimentIds |
event.attributionToken |
Porcentagem do tráfego |
|---|---|---|---|---|---|
| Controlar o tráfego | Interno | CONTROL |
N/A | 20% | |
| Tráfego do experimento | Google Vertex AI para Pesquisa para API Retail | EXPERIMENT |
Token de atribuição da resposta da pesquisa | 20% | |
| Tráfego de controle | Qualquer um / ambos | N/A | Depende do mecanismo de descoberta | 60% |
O tráfego de validação pode ser veiculado por um mecanismo de pesquisa interno, pela Vertex AI para Pesquisa de comércio ou por ambos. Como não fazem parte do teste A/B, eles não têm um ID de experimento. Para indicar quais eventos de usuário fazem parte do
teste A/B, forneça informações de experimentIds e attributionToken. Suas strings experimentId podem ser diferentes das fornecidas neste exemplo. Verifique se os IDs usados são consistentes entre seus experimentos e eventos do usuário.
Ao criar o experimento correspondente no console, você criaria apenas duas versões, porque o grupo de controle não faz parte do experimento. A divisão de porcentagem de tráfego pretendida entre os dois grupos de variantes é de 50% / 50%.
Para configurar o monitoramento desse experimento de exemplo, crie os grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | Porcentagem de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROLE | 50% |
| Exemplo de grupo experimental | Google Vertex AI para Pesquisa para API Retail | EXPERIMENTO | 50% |
Exemplo 2: três grupos de variantes
Neste exemplo, suponha que você planeja realizar um experimento A/B nas consultas principais (consultas de alta frequência) e incluir a ativação e desativação de facetas dinâmicas. As configurações de solicitações e eventos do usuário seriam:
| Nome do grupo de variante | Destino do tráfego | event.experimentIds | event.attributionToken | Porcentagem do tráfego |
|---|---|---|---|---|
| Controle de consultas de cabeçalho | Interno | CONTROLE | N/A | 50% das consultas de cabeçalho |
| Experimento com atributos dinâmicos de consultas de cabeçalho ATIVADO | Google Vertex AI para Pesquisa para API Retail | EXP_DF_ON | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Experimento para desativar atributos dinâmicos em consultas de cabeçalho | Google Vertex AI para Pesquisa para API Retail | EXP_DF_OFF | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Consultas não principais e outras retenções | Google Vertex AI para Pesquisa para API Retail | N/A | Depende do mecanismo usado | N/A |
Para configurar o monitoramento desse experimento de exemplo, crie os grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | Porcentagem de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROLE | 50% |
| Exemplo de grupo experimental 1 | Google Vertex AI para Pesquisa para API Retail | EXP_DF_ON | 25% |
| Exemplo de grupo experimental 2 | Google Vertex AI para Pesquisa para API Retail | EXP_DF_OFF | 25% |
Métricas de tráfego
A página Monitoramento de um experimento mostra se há divisões de tráfego não intencionais para as seguintes métricas:
- Contagem de eventos de pesquisa/navegação por data
- Pesquisar/navegar pela contagem de visitantes por data
- Contagem de eventos de pesquisa/navegação por categoria
Quando ocorrem divisões de tráfego não intencionais para uma dessas métricas, o card na parte de cima da página Monitoramento mostra as datas em que a divisão de tráfego não intencional ocorreu. Clique em Divisões de tráfego não intencionais para ver uma tabela filtrável com as divisões de tráfego não intencionais dessa métrica.
As tabelas a seguir na página Monitoramento de um experimento comparam as métricas de tráfego entre os grupos de variantes de acordo com o uso. Clique em Ver mais ao lado do título de qualquer tabela para conferir uma tabela filtrável com todas as divisões de tráfego da métrica:
Contagem de eventos de pesquisa/navegação por data: o número total de pesquisas ou navegações que ocorreram em um grupo variante em uma determinada data.
Contagem de visitantes da pesquisa/navegação por data: o número de visitantes que fizeram consultas ou navegaram em um grupo variante em uma determinada data.
Contagem de eventos de pesquisa/navegação por categoria: o número total de vezes que uma determinada consulta ou categoria foi pesquisada em um grupo de variantes desde a data de início até a data de término do experimento (ou até hoje, se o experimento ainda estiver em andamento). Essa tabela mostra apenas as 100 principais consultas ou categorias em termos de tráfego total de todos os grupos de variantes no experimento.
Monitorar um experimento
A página Experimentos de integração mostra uma tabela com seus experimentos recentes.
Para monitorar um experimento:
Acesse a página Experimentos no console da Pesquisa para e-commerce.
Acessar a página "Experimentos"Clique no nome do experimento.
A página Monitoring do experimento é aberta.
Revise a página para verificar se há divisões de tráfego não intencionais.
Cada métrica mostra as datas em que ocorreram divisões de tráfego não intencionais.
Se você encontrar divisões não intencionais, clique em Divisões de tráfego não intencionais para ver uma tabela filtrável com essas divisões para essa métrica.
Resolver divisões de tráfego não intencionais
O monitoramento de experimentos no console "Pesquisa para comércio" pode ajudar a chamar sua atenção para possíveis problemas no experimento.
Se você encontrar divisões de tráfego não intencionais, verifique se os eventos estão marcados com o ID do experimento correto. Por exemplo, um evento pertencente a um grupo de controle marcado com o ID de experimento errado pode ser atribuído à variante incorreta.
Se a inclusão de tags de eventos estiver funcionando corretamente, as divisões de tráfego não intencionais informadas pelo console de pesquisa para comércio poderão indicar problemas de divisão de tráfego na plataforma de experimentos. Nesse caso, pause o teste A/B antes de resolver o problema para que o experimento não produza resultados incorretos.
Métricas de negócios para análise
Dois grupos de métricas de negócios estão disponíveis:
- Métricas por pesquisa ou por navegação
- Por visita de pesquisa ou por visita de navegação
Métricas por visita de pesquisa
As definições de métricas por visita de pesquisa estão listadas aqui. As definições das métricas por visita de navegação são semelhantes às das métricas por visita de pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
Na taxa de ordem de compra, uma ordem pode incluir vários SKUs. Cada SKU pode ter uma quantidade maior ou igual a um.
-->| Nome da métrica | Definição |
|---|---|
| Contagem de visitas de pesquisa | Contagem de visitas que contêm pelo menos uma pesquisa. |
| Taxa de rejeição | Contagem de visitas de pesquisa que têm apenas um evento de usuário / contagem de visitas de pesquisa |
| Taxa de visualização de página | Contagem de cliques (visualizações de página) / contagem de visitas de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades adicionadas ao carrinho em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de ordem de compra | Contagem de pedidos de compra em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de receita | Soma da receita em visitas de pesquisa / contagem de visitas de pesquisa |
| Valor médio do pedido (VMP) | Soma da receita em visitas de pesquisa / contagem de pedidos de compra em visitas de pesquisa |
Métricas por pesquisa
As definições de métricas por pesquisa estão listadas aqui. As definições de métricas por navegação são semelhantes às de métricas por pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
| Nome da métrica | Definição |
|---|---|
| Número de pesquisas | Contagem de eventos de pesquisa |
| Taxa de nenhum resultado | Contagem de eventos de pesquisa sem resultados / contagem de pesquisa |
| CTR (taxa de cliques) | Contagem de cliques gerados pela pesquisa (visualizações de página) / contagem de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades de adição ao carrinho geradas pela pesquisa / contagem de pesquisa |
| Taxa de compra | Contagem de unidades compradas por pesquisa / contagem de pesquisa |
| Taxa de receita | Soma da receita gerada pela pesquisa / contagem de pesquisa |
| Valor médio da unidade (AUV) | Soma da receita gerada pela pesquisa / contagem de unidades compradas geradas pela pesquisa |
Analisar a performance comercial do experimento
A guia Analytics de cada experimento mostra painéis de métricas de negócios. Os painéis mostram comparações de performance entre os grupos de variantes.
Há dois painéis de métricas:
- Métricas por visita de pesquisa e por visita de navegação
- Métricas por pesquisa e por navegação
As métricas de pesquisa ou de navegação são mostradas com base no atributo ProductType do experimento.
Cada painel mostra uma tabela de métricas de resumo com resultados agregados nas datas exibidas no filtro de período. Os valores de data padrão são as datas de início e término do experimento.
Cada métrica é mostrada como uma tabela de resultados agregados e um gráfico de valores diários que fornece informações mais detalhadas.
O período da tabela agregada usa as datas de início e término do experimento como valores padrão. Se o experimento estiver em andamento, a data de término será definida como a data atual. É possível modificar o filtro de período. Se userAgent for fornecido com eventos de usuário ingeridos, você também poderá dividir as métricas por tipo de dispositivo.
Clique no ícone Atualizar para aplicar os filtros modificados às métricas.
Quando o Lift relativo das métricas é positivo o suficiente para exceder a largura de banda do intervalo de confiança, uma cor de plano de fundo verde é mostrada para essa variante. Da mesma forma, se o Lift relativo for negativo o suficiente, uma cor de plano de fundo vermelha será mostrada para essa variante. Se o Lift relativo for menor que a largura do intervalo de confiança, uma cor de plano de fundo cinza vai indicar que o resultado não tem significância estatística.
Por exemplo, ao comparar um grupo de variante com um grupo de controle de referência:
- Se uma métrica Taxa de cliques por pesquisa for +3,0% e o intervalo de confiança, exibido como IC de Lift, for [2,1%, 4,0%], o grupo de variante será destacado em verde para indicar que é uma variante de melhor performance para essa métrica em comparação com o controle de referência.
- Se uma métrica Taxa de receita por visita de navegação for -1,5% e o intervalo de confiança for [-2,6%, -0,4%], o grupo de variante será destacado em vermelho para indicar que tem uma performance pior nessa métrica em comparação com o controle de referência.
- Se uma métrica Valor médio da unidade por pesquisa for +1,0% e o intervalo de confiança for [-1,1%, 3,0%], o grupo da variante será destacado em cinza para indicar que a diferença na performance ainda não tem significância estatística.
Em geral, quanto mais pontos de dados, menor é a variância. As métricas acumuladas ao longo de algumas semanas têm uma largura de banda de intervalo de confiança menor do que as métricas diárias e são mais propensas a mostrar significância estatística.
Modificar detalhes do experimento
É possível atualizar os detalhes do experimento no console, como datas de início e término, número de variantes, IDs de experimento e porcentagem de divisão de tráfego pretendida, a qualquer momento, independente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados de forma retroativa.
Para editar os detalhes do experimento:
Acesse a página Experimentos no console da Pesquisa para e-commerce.
Acessar a página "Experimentos"Na tabela que mostra seus experimentos recentes, encontre aquele que você quer modificar.
Clique no ícone de três pontos Ações à direita da linha da tabela e clique em Editar.
A página Editar experimento é aberta.
Modifique os campos do experimento que você quer atualizar.
Clique em Update to save your changes.
Excluir um experimento do console
Para excluir um experimento do console "Pesquisar no comércio":
Acesse a página Experimentos no console da Pesquisa para e-commerce.
Acessar a página "Experimentos"Na tabela com seus experimentos recentes, encontre o que você quer excluir.
Clique no ícone de três pontos Ações à direita da linha da tabela e clique em Excluir.
A janela de confirmação Excluir experimento? será aberta.
Digite o nome do experimento e clique em Confirmar para confirmar a exclusão.
Quando a exclusão for concluída, o console vai mostrar uma mensagem informando que o experimento foi excluído.