Criar recomendações de filmes personalizadas

Neste tutorial, vamos usar o conjunto de dados Movielens para demonstrar como fazer upload do catálogo de produtos e de eventos de usuário na Vertex AI para Pesquisa para e-commerce e treinar um modelo de recomendação de produtos personalizado. O conjunto de dados Movielens contém um catálogo de filmes (produtos) e classificações de filmes do usuário (eventos do usuário).

Trataremos cada classificação positiva de filme (classificação >= 4) como um evento de visualização da página do produto. Vamos treinar um modelo de recomendação do tipo "Outro que você possa gostar" que fará recomendações de filmes com base em qualquer usuário ou um filme semente no nosso conjunto de dados.

Tempo estimado:

  • Etapas iniciais para iniciar o treinamento do modelo: aproximadamente 1,5 hora.
  • Aguardando o treinamento do modelo: aproximadamente 2 dias.
  • Avaliação das previsões do modelo e limpeza: aproximadamente 30 minutos.

Preparar o conjunto de dados

Abra o console doGoogle Cloud e selecione seu projeto do Google Cloud . Anote o ID do projeto no card Informações do projeto na página do painel. Você precisará do ID do projeto para as etapas a seguir. Em seguida, clique no botão Ativar o Cloud Shell na parte de cima do console.

Cloud Shell

Uma sessão do Cloud Shell é aberta em um novo frame na parte de baixo do console Google Cloud e mostra um prompt de linha de comando.

Importar o conjunto de dados

  1. Use o Cloud Shell para fazer o download do conjunto de dados de origem e descompactá-lo:

    wget https://files.grouplens.org/datasets/movielens/ml-latest.zip
    unzip ml-latest.zip
    
  2. Crie um bucket do Cloud Storage e faça o upload dos dados para ele:

    gcloud storage buckets create gs://PROJECT_ID-movielens-data
    gcloud storage cp ml-latest/movies.csv ml-latest/ratings.csv \
      gs://PROJECT_ID-movielens-data
    
  3. Crie um conjunto de dados do BigQuery:

    bq mk movielens
    
  4. Carregue movies.csv em uma nova tabela de filmes do BigQuery:

    bq load --skip_leading_rows=1 movielens.movies \
      gs://PROJECT_ID-movielens-data/movies.csv \
      movieId:integer,title,genres
    
  5. Carregue ratings.csv em uma nova tabela de classificações do BigQuery:

    bq load --skip_leading_rows=1 movielens.ratings \
      gs://PROJECT_ID-movielens-data/ratings.csv \
      userId:integer,movieId:integer,rating:float,time:timestamp
    

Criar visualizações do BigQuery

  1. Crie uma visualização que converta a tabela "filmes" no esquema do catálogo de produtos de varejo:

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
     SELECT
       CAST(movieId AS string) AS id,
       SUBSTR(title, 0, 128) AS title,
       SPLIT(genres, "|") AS categories
     FROM `PROJECT_ID.movielens.movies`' \
    movielens.products
    

    Agora a nova visualização tem o esquema esperado pela Vertex AI para Pesquisa de Comércio. Na barra lateral esquerda, escolha BIG DATA -> BigQuery. Na barra do explorador, à esquerda, expanda o nome do projeto e selecione movielens -> products para abrir a página de consulta dessa visualização.

    Visualização de produtos

  2. Agora, converta as classificações de filmes em eventos de usuário. Também vamos:

    • Ignorar classificações negativas de filmes (<4>)
    • Trate todas as classificações positivas como um evento de visualização da página do produto (detail-page-view).
    • Redimensione a linha do tempo Movielens para os últimos 90 dias. Fazemos isso por dois motivos:
      • A Vertex AI para Pesquisa para Commerce exige que os eventos do usuário sejam anteriores a 2015. As classificações do Movielens remontam a 1995.
      • A Vertex AI para Pesquisa para e-commerce usa os últimos 90 dias de eventos do usuário ao veicular solicitações de previsão para um usuário. Parece que cada usuário tem eventos recentes quando fazemos previsões para qualquer usuário posteriormente.

    Crie uma visualização do BigQuery. O comando a seguir usa uma consulta SQL que atende aos requisitos de conversão listados anteriormente.

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
     WITH t AS (
       SELECT
         MIN(UNIX_SECONDS(time)) AS old_start,
         MAX(UNIX_SECONDS(time)) AS old_end,
         UNIX_SECONDS(TIMESTAMP_SUB(
           CURRENT_TIMESTAMP(), INTERVAL 90 DAY)) AS new_start,
         UNIX_SECONDS(CURRENT_TIMESTAMP()) AS new_end
       FROM `PROJECT_ID.movielens.ratings`)
     SELECT
       CAST(userId AS STRING) AS visitorId,
       "detail-page-view" AS eventType,
       FORMAT_TIMESTAMP(
         "%Y-%m-%dT%X%Ez",
         TIMESTAMP_SECONDS(CAST(
           (t.new_start + (UNIX_SECONDS(time) - t.old_start) *
             (t.new_end - t.new_start) / (t.old_end - t.old_start))
         AS int64))) AS eventTime,
       [STRUCT(STRUCT(movieId AS id) AS product)] AS productDetails,
     FROM `PROJECT_ID.movielens.ratings`, t
     WHERE rating >= 4' \
    movielens.user_events
    

Importar catálogo de produtos e eventos do usuário

Agora estamos prontos para importar o catálogo de produtos e os dados de eventos do usuário para a Vertex AI para Pesquisa no comércio.

  1. Ative a API Vertex AI Search para e-commerce no seu projeto Google Cloud .

    ATIVAR A API

  2. Clique em Primeiros passos.

  3. Acesse a página Dados no console da Pesquisa para e-commerce.

    Acessar a página "Dados"

  4. Clique em Importar.

Importar catálogo de produtos

  1. Preencha o formulário para importar produtos da visualização do BigQuery que você criou anteriormente:

    • Selecione o tipo de importação: Product Catalog.
    • Selecione o nome da ramificação padrão.
    • Selecione a fonte dos dados: BigQuery.
    • Selecione o esquema dos dados: Esquema de produto de varejo.
    • Insira o nome da visualização de produtos do BigQuery que você criou antes (PROJECT_ID.movielens.products).

  2. Clique em Importar.

  3. Aguarde até que todos os produtos sejam importados, o que deve levar de 5 a 10 minutos.

    É possível verificar a atividade de importação para o status da operação. Quando a importação for concluída, o status da operação de importação será alterado para Concluído.

    Atividade de importação de produtos

Importar eventos do usuário

  1. Importe a visualização user_events do BigQuery:

    • Selecione o tipo de importação: Eventos do usuário.
    • Selecione a fonte dos dados: BigQuery.
    • Selecione o esquema dos dados: Esquema de eventos do usuário de varejo.
    • Insira o nome da visualização user_events do BigQuery que você criou anteriormente.
  2. Clique em Importar.

  3. Aguarde até que pelo menos um milhão de eventos tenham sido importados antes de prosseguir para a próxima etapa, a fim de atender aos requisitos de dados para treinar um novo modelo.

    É possível verificar a atividade de importação do status da operação. O processo leva cerca de uma hora para ser concluído.

    Atividade de importação de eventos

Treinar e avaliar modelos de recomendação

Siga estas instruções para treinar e avaliar modelos de recomendação.

Criar um modelo de recomendação

  1. Acesse a página Modelos no console da Pesquisa para e-commerce.

    Acessar a página "Modelos"

  2. Clique em Criar modelo.

    • Dê um nome ao modelo.
    • Selecione Outros itens que você pode gostar como o tipo de modelo.
    • Escolha Taxa de cliques (CTR) como o objetivo de negócio.
  3. Clique em Criar.

    Criar modelo

    Seu novo modelo começa o treinamento.

    Modelo criado

Criar uma configuração de exibição

  1. Acesse a página Configurações de exibição no console da Pesquisa para e-commerce.

    Acessar a página "Configurações de exibição"

  2. Clique em Criar configuração de veiculação:

    • Selecione Recomendação.
    • Dê um nome à configuração de veiculação.
    • Selecione o modelo que você criou.
  3. Clique em Criar.

Aguarde até que o modelo esteja "Pronto para consulta"

Leva cerca de dois dias para que o modelo seja treinado e esteja pronto para consulta.

Para conferir o status, clique na configuração de exibição criada na página "Configurações de exibição".

O campo Modelo pronto para consulta indica Sim quando o processo é concluído.

Recomendações de visualização

Quando o modelo estiver pronto para consulta:

  1. Acesse a página Configurações de exibição no console da Pesquisa para e-commerce.

    Acessar a página "Configurações de exibição"
  2. Clique no nome da configuração de veiculação para acessar a página de detalhes.
  3. Clique na guia *Avaliar.
  4. Digite o código do filme, como 4993, para "O Senhor dos Anéis" (2001).

    Insira o ID

  5. Clique em Prediction preview para ver a lista de itens recomendados à direita da página.