Crie uma stream

Nesta secção, vai aprender a criar uma stream. O Datastream usa esta stream para transferir dados de uma base de dados Oracle, MySQL, SQL Server ou PostgreSQL de origem para o BigQuery ou o Cloud Storage.

A criação de uma stream inclui:

  • Definir as definições da stream.
  • Selecionar o perfil de associação que criou para a sua origem Oracle, MySQL, SQL Server, PostgreSQL, Salesforce ou MongoDB (o perfil de associação de origem) ou criar um perfil de associação de origem, se ainda não o tiver feito.
  • Configurar informações sobre a base de dados de origem para a stream especificando as tabelas e os esquemas na base de dados de origem que o Datastream:
    • Pode transferir para o destino.
    • Está restrito de ser transferido para o destino.

  • Determinar se o Datastream vai preencher dados do histórico, bem como transmitir alterações contínuas para o destino, ou transmitir apenas alterações aos dados. Quando ativa o preenchimento retroativo do histórico, pode especificar opcionalmente esquemas e tabelas na base de dados de origem que o Datastream não deve preencher retroativamente no destino.

  • Selecionar o perfil de associação que criou para o BigQuery ou o Cloud Storage (o perfil de associação de destino) ou criar um perfil de associação de destino se ainda não tiver criado um.

  • Configurar informações sobre o destino da stream. Estas informações incluem:

    • Para o BigQuery:
      • Os conjuntos de dados nos quais o Datastream vai replicar esquemas, tabelas e dados de uma base de dados de origem.
    • Para o Cloud Storage:
      • A pasta do contentor de destino para o qual o Datastream transfere esquemas, tabelas e dados de uma base de dados de origem.

  • Validar a stream para garantir que é executada com êxito. A validação de verificações de streams:

    • Se a origem está configurada corretamente para permitir que o fluxo de dados transmita dados a partir da mesma.
    • Se a stream consegue estabelecer ligação à origem e ao destino.
    • A configuração integral da stream.

Antes de começar

  • Certifique-se de que configurou a base de dados de origem para replicação. Para informações sobre os passos necessários para cada tipo de origem suportado, consulte Configurar origens.
  • Saiba que passos podem ser necessários para configurar o destino selecionado. Para mais informações, consulte o artigo Configure destinos.

Defina as definições da stream

  1. Aceda à página Streams na Google Cloud consola.

    Aceda à página Streams

  2. Clique em CRIAR STREAM.

  3. Use a tabela seguinte para preencher os campos da secção Definir detalhes da stream da página Criar stream:

    CampoDescrição
    Nome do streamIntroduza o nome a apresentar da stream.
    ID da streamA stream de dados preenche este campo automaticamente com base no nome da stream que introduzir. Pode manter o ID gerado automaticamente ou alterá-lo.
    RegiãoSelecione a região onde a stream está armazenada. As streams, como todos os recursos, são guardadas numa região. A seleção da região não afeta a capacidade de a stream se ligar à base de dados de origem ou ao destino, mas pode afetar a disponibilidade se a região sofrer tempo de inatividade. Recomendamos que mantenha todos os recursos da stream na mesma região que os dados de origem para otimizar o custo e o desempenho.
    Tipo de origem

    Selecione o tipo de perfil que especificou quando criou um perfil de ligação para a sua origem Oracle, MySQL, SQL Server, PostgreSQL, Salesforce ou MongoDB. Em alternativa, se não tiver criado um perfil de associação para a base de dados de origem, pode criar um agora.

    Tipo de destinoSelecione o tipo de perfil que especificou quando criou um perfil de associação para um destino do BigQuery ou do Cloud Storage. Em alternativa, se não tiver criado um perfil de associação para o destino, pode criar um agora.
    Encriptação

    Por predefinição, os seus dados são encriptados com uma chave gerida pela Google Cloud. Se quiser gerir a sua encriptação, pode usar uma chave de encriptação gerida pelo cliente (CMEK):

    1. Selecione a caixa de verificação Chave do Cloud KMS.
    2. No menu pendente Tipo de chave, selecione Cloud KMS e, de seguida, selecione a sua CMEK.

    Se não vir a chave, clique em INTRODUZIR NOME DO RECURSO DA CHAVE para indicar o nome do recurso da chave que quer usar. Por exemplo, pode introduzir projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key no campo Nome do recurso principal e, de seguida, clicar em GUARDAR.

  4. Opcionalmente, use etiquetas para organizar os recursos do fluxo de dados.

    1. Para criar uma etiqueta, clique em ADICIONAR ETIQUETA e, de seguida, introduza o par de chave-valor para a etiqueta.
    2. Para remover a etiqueta, clique no ícone do cesto de lixo à direita da linha que contém a etiqueta.

  5. Opcionalmente, adicione políticas de alerta para o seu fluxo. As políticas de alerta definem quando e como quer receber notificações sobre falhas de streams.

    1. Para criar uma política de alertas, clique em Adicionar política de alertas.
    2. É apresentada a página Criar política de alertas no Cloud Monitoring. Nesta página, define a política de alerta caso a sua stream falhe.

    Para mais informações sobre políticas de alerta, consulte o artigo Gerir políticas de alerta baseadas em métricas.

  6. Reveja os pré-requisitos necessários gerados automaticamente para refletir a forma como o ambiente tem de ser preparado para uma stream. Estes pré-requisitos podem incluir como configurar a base de dados de origem e como associá-la ao destino. É melhor concluir estes pré-requisitos neste passo, mas pode concluí-los em qualquer altura antes de testar ou iniciar a stream. Para mais informações acerca destes pré-requisitos, consulte Origens.

  7. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de base de dados de origem.

Especifique informações sobre o perfil de associação de origem

  1. Se tiver criado um perfil de ligação de origem para Oracle, MySQL, SQL Server, PostgreSQL, Salesforce ou MongoDB, selecione-o na lista de perfis de ligação.

    Se não tiver criado um perfil de associação à origem, clique em CRIAR PERFIL DE ASSOCIAÇÃO na parte inferior da lista pendente e, em seguida, execute os mesmos passos que em Criar perfis de associação.

  2. Clique em EXECUTAR TESTE para verificar se a base de dados de origem e o Datastream conseguem comunicar entre si.

    Se o teste falhar, é apresentado o problema associado ao perfil de ligação. Consulte a página Diagnosticar problemas para ver os passos de resolução de problemas. Faça as alterações necessárias para corrigir o problema e, em seguida, volte a testar.

  3. Clique em CONTINUAR. É apresentado o painel Configurar origem da stream da página Criar stream.

Configure informações sobre a base de dados de origem da stream

Configure uma base de dados de origem do PostgreSQL
  1. Defina as propriedades de replicação para a base de dados de origem do PostgreSQL. Na secção Propriedades de replicação, especifique as seguintes propriedades:
    1. No campo Nome do espaço de replicação, introduza o nome do espaço que criou especificamente para esta stream. O servidor de base de dados usa este espaço para enviar eventos para o Datastream.
    2. No campo Nome da publicação, introduza o nome da publicação que criou na base de dados. Uma publicação é um grupo de todas as tabelas a partir das quais quer replicar alterações através desta stream.
  2. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para o destino.
    • Se quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e, em seguida, selecione as caixas de verificação dos esquemas e das tabelas que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual das tabelas e dos esquemas que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza os esquemas e as tabelas que quer que o Datastream extraia. Se a sua base de dados tiver um grande número de tabelas e esquemas, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  3. Opcionalmente, expanda o nó Selecionar objetos a excluir. No campo Objetos a excluir, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream extraia. A lista Objetos a excluir tem precedência sobre a lista Objetos a incluir. Se um objeto cumprir os critérios nas listas de inclusão e exclusão, o objeto é excluído da stream.
  4. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para transmitir apenas as alterações aos dados para o destino.
  5. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Configure uma base de dados de origem do MySQL
  1. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para o destino.
    • Se quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e, em seguida, selecione as caixas de verificação dos esquemas e das tabelas que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual das tabelas e dos esquemas que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza os esquemas e as tabelas que quer que o Datastream extraia. Se a sua base de dados tiver um grande número de tabelas e esquemas, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  2. Opcionalmente, expanda o nó Selecionar objetos a excluir. No campo Objetos a excluir, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream extraia. A lista Objetos a excluir tem precedência sobre a lista Objetos a incluir. Se um objeto cumprir os critérios nas listas de inclusão e exclusão, o objeto é excluído da stream.
  3. Especifique o método de CDC para a sua stream:
    • Replicação baseada em GTID (IDs de transações globais): selecione este método se quiser que o Datastream suporte failovers e forneça uma replicação perfeita, independentemente das alterações no cluster da base de dados.
    • Replicação baseada em binlogs: selecione este método para ler e replicar alterações diretamente dos ficheiros de registo binários de uma instância de base de dados selecionada. Não pode mudar uma stream em execução para uma instância de origem ou uma réplica diferente através deste método de CDC.
  4. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para transmitir apenas as alterações aos dados para o destino.
  5. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Configure uma base de dados de origem Oracle
  1. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para o destino.
    • Se quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e, em seguida, selecione as caixas de verificação dos esquemas e das tabelas que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual das tabelas e dos esquemas que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza os esquemas e as tabelas que quer que o Datastream extraia. Se a sua base de dados tiver um grande número de tabelas e esquemas, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  2. Opcionalmente, expanda o nó Selecionar objetos a excluir. No campo Objetos a excluir, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream extraia. A lista Objetos a excluir tem precedência sobre a lista Objetos a incluir. Se um objeto cumprir os critérios nas listas de inclusão e exclusão, o objeto é excluído da stream.
  3. Especifique o método de CDC para a sua stream:
    • LogMiner: selecione este método para consultar registos de refazer arquivados através da API LogMiner. O LogMiner suporta a maioria das opções disponíveis para o Oracle, como opções de encriptação e compressão.
    • Leitor binário (pré-visualização): selecione este método para extrair alterações diretamente dos registos do Oracle. Isto permite uma replicação mais rápida de grandes bases de dados Oracle e uma latência e sobrecarga reduzidas. Quando seleciona esta opção, é apresentado um menu pendente adicional. Selecione a forma como quer aceder aos seus ficheiros de registo da Oracle:
      • Gestão de armazenamento automática (ASM): selecione esta opção se a sua base de dados usar o ASM. Certifique-se de que selecionou a caixa de verificação Ativar acesso ao ASM para leitor binário e preencheu os detalhes da sua instância do ASM no perfil de associação de origem.
      • Diretórios de bases de dados: selecione esta opção se não usar o ASM para armazenar os seus ficheiros de registo. Se selecionar diretórios de bases de dados, tem de indicar os nomes dos diretórios de registo de repetição e de registo arquivado.
  4. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para transmitir apenas as alterações aos dados para o destino.
  5. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Configure uma base de dados de origem do SQL Server
  1. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para o destino.
    • Se quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e, em seguida, selecione as caixas de verificação dos esquemas e das tabelas que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual das tabelas e dos esquemas que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza os esquemas e as tabelas que quer que o Datastream extraia. Se a sua base de dados tiver um grande número de tabelas e esquemas, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  2. Opcionalmente, expanda o nó Selecionar objetos a excluir. No campo Objetos a excluir, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream extraia. A lista Objetos a excluir tem precedência sobre a lista Objetos a incluir. Se um objeto cumprir os critérios nas listas de inclusão e exclusão, o objeto é excluído da stream.
  3. Especifique o método de CDC para a sua stream:
    • Registos de transações: selecione este método para processar alterações diretamente a partir dos registos da base de dados. Este método oferece o melhor desempenho e é mais eficiente, mas requer passos de configuração adicionais.
    • Alterar tabelas: selecione este método para processar alterações de tabelas de alterações dedicadas. Este método é mais fácil de configurar e tem menos limitações, mas suporta um débito mais baixo e produz uma carga mais elevada na sua base de dados do que o método de registos de transações.
  4. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza as tabelas e os esquemas na base de dados de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para transmitir apenas as alterações aos dados para o destino.
  5. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Configure uma organização do Salesforce de origem
  1. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar os objetos e os campos na sua organização que quer que o Datastream transfira para o destino.
    • Se quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
    • Se quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e, de seguida, selecione as caixas de verificação dos objetos que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual dos objetos que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza os objetos que quer que o Datastream extraia. Introduza os objetos como uma lista separada por vírgulas, usando o formato [object].[field]. Se a sua base de dados tiver um grande número de objetos, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  2. Defina o valor do intervalo de sondagem em minutos. O fluxo de dados usa este valor para verificar se existem alterações de dados na sua organização do Salesforce. Quanto mais elevado for o valor, menor é o custo e a carga na sua organização. Quanto menor for o valor, mais atualizados estão os dados no destino.
  3. Opcionalmente, expanda o nó Selecionar objetos a excluir. No campo Objetos a excluir, introduza os objetos e os campos na organização de origem que quer impedir que o Datastream extraia. A lista Objetos a excluir tem precedência sobre a lista Objetos a incluir. Se um objeto cumprir os critérios nas listas de inclusão e exclusão, o objeto é excluído da stream.
  4. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para replicar todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza os objetos na organização de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para replicar apenas as alterações aos dados no destino.
  5. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Configure uma base de dados MongoDB de origem
  1. Na secção Selecionar objetos a incluir, use o menu pendente Objetos a incluir para especificar as bases de dados e as coleções que quer que o Datastream transfira para o destino.
    • Se quiser que o fluxo de dados transfira todas as coleções, selecione Todas as bases de dados e coleções.
    • Se quiser que o Datastream transfira apenas coleções específicas, selecione Bases de dados e coleções específicas e, de seguida, selecione as caixas de verificação das coleções que quer que o Datastream extraia.
    • Se quiser fornecer uma definição textual das coleções que quer que o Datastream transfira, selecione Personalizado e, de seguida, no campo Critérios de correspondência de objetos, introduza as coleções que quer que o Datastream extraia. Introduza os objetos como uma lista separada por vírgulas, usando o formato [collection].[field]. Se a sua base de dados tiver um grande número de objetos, recomendamos que use a opção Personalizado, uma vez que algumas tabelas e esquemas podem não ser incluídos na lista de objetos a extrair.
  2. Opcionalmente, expanda o nó Escolher modo de preenchimento para dados do histórico e, de seguida, faça uma das seguintes seleções:
    • Selecione a opção Automático para replicar todos os dados existentes, além das alterações aos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, introduza os objetos na organização de origem que quer impedir que o Datastream preencha automaticamente no destino.
    • Selecione a opção Manual para replicar apenas as alterações aos dados no destino.
  3. Clique em CONTINUAR. O painel Definir perfil de associação da página Criar stream é apresentado para o tipo de destino.

Selecione um perfil de ligação de destino

  1. Se criou um perfil de associação de destino, selecione-o na lista de perfis de associação.

    Se não tiver criado um perfil de associação de destino, clique em CRIAR PERFIL DE ASSOCIAÇÃO na parte inferior da lista pendente e, em seguida, execute os mesmos passos que em Criar perfis de associação.

  2. Clique em CONTINUAR. É apresentado o painel Configurar destino da stream da página Criar stream.

Configure informações sobre o destino da stream

Esta secção descreve as informações que tem de facultar para configurar o destino do BigQuery ou do Cloud Storage.

Destino do BigQuery

  1. Na secção Especifique como o Datastream deve fazer streaming para um conjunto de dados do BigQuery, selecione uma das seguintes opções no menu pendente Agrupamento de esquemas:

    • Conjunto de dados para cada esquema: o fluxo de dados cria um conjunto de dados do BigQuery para cada esquema de origem, com base no nome do esquema.

      Se selecionar esta opção, o Datastream cria um conjunto de dados no projeto que contém a stream para cada esquema na base de dados de origem.

      Além disso, se selecionar a opção Conjunto de dados para cada esquema, tem de fornecer o seguinte:

      1. Na secção Tipo de localização, especifique onde quer armazenar os seus dados no BigQuery. Selecione Região para especificar uma única localização geográfica ou Multirregião para especificar uma área maior que contenha duas ou mais regiões. Se a sua prioridade for otimizar os custos e o desempenho, selecione Região e mantenha os seus conjuntos de dados juntamente com outros Google Cloud recursos que gere. Se quiser alcançar limites de quota mais elevados, selecione Várias regiões para permitir que o BigQuery use várias regiões num grupo. Quando seleciona Região, o campo é preenchido por predefinição com a região que selecionou para a stream.
      2. (Opcional) No campo Prefixo do conjunto de dados, defina um prefixo para o conjunto de dados criado pela stream. A string que especificar é adicionada ao nome do esquema de origem. Por exemplo, se o esquema se chamar <mySchema> e definir o prefixo do conjunto de dados como <myPrefix>, o Datastream cria um conjunto de dados denominado <myPrefix><mySchema>.
      3. Expanda a secção Mostrar opções de encriptação avançadas.

      4. Especifique como quer que os seus dados sejam encriptados no BigQuery selecionando uma chave de encriptação gerida pela Google ou pelo cliente.

    • Conjunto de dados único para todos os esquemas: o Datastream cria todas as tabelas no conjunto de dados do BigQuery existente que especificar. Cada tabela criada pelo Datastream tem um nome que é uma combinação do nome do esquema de origem e do nome da tabela, separados por um sublinhado (por exemplo, <mySchemaName>_<myTableName>). Os conjuntos de dados disponíveis estão agrupados por região. Também pode criar um novo conjunto de dados.

  2. Especifique o Modo de escrita da stream. Selecione o modo de escrita para definir como os dados são escritos e processados no BigQuery:

    • Unir: selecione esta opção se quiser que os seus dados sejam sincronizados com a origem.
    • Apenas anexar: selecione esta opção se quiser manter todos os dados do histórico dos seus eventos de alteração.

  3. Especifique o limite de desatualização dos dados. Apenas disponível quando o modo Unir é selecionado no passo anterior. Selecione um limite para equilibrar o desempenho e o custo das consultas do BigQuery em função da atualização dos dados. O BigQuery aplica as alterações em segundo plano de forma contínua ou no tempo de execução da consulta, de acordo com o limite de desatualização. Uma menor obsolescência (dados mais recentes) pode aumentar os custos de processamento do BigQuery.

  4. Clique em CONTINUAR. É apresentado o painel Reveja os detalhes da stream e crie-a da página Criar stream.

Destino das tabelas Iceberg do BigLake

  1. Na secção Especifique como o Datastream deve fazer stream para um conjunto de dados do BigQuery, selecione como quer que o Datastream crie novos esquemas e tabelas no menu pendente Agrupamento de esquemas:

    • Conjunto de dados para cada esquema: o Datastream cria um conjunto de dados do BigQuery para cada esquema de origem, com base no nome do esquema.

      Se selecionar esta opção, o Datastream cria um conjunto de dados no projeto que contém a stream para cada esquema na base de dados de origem.

      Além disso, se selecionar a opção Conjunto de dados para cada esquema, tem de fornecer o seguinte:

      1. Na secção Tipo de localização, especifique onde quer armazenar os seus dados no BigQuery. Selecione Região para especificar uma única localização geográfica ou Multirregião para especificar uma área maior que contenha duas ou mais regiões. Se a sua prioridade for otimizar os custos e o desempenho, selecione Região e mantenha os seus conjuntos de dados juntamente com outros Google Cloud recursos que gere. Se quiser alcançar limites de quota mais elevados, selecione Várias regiões para permitir que o BigQuery use várias regiões num grupo. Quando seleciona Região, o campo é preenchido por predefinição com a região que selecionou para a stream.
      2. (Opcional) No campo Prefixo do conjunto de dados, defina um prefixo para o conjunto de dados criado pela stream. A string que especificar é adicionada ao nome do esquema de origem. Por exemplo, se o esquema se chamar <mySchema> e definir o prefixo do conjunto de dados como <myPrefix>, o Datastream cria um conjunto de dados denominado <myPrefix><mySchema>.
      3. Expanda a secção Mostrar opções de encriptação avançadas.

      4. Especifique como quer que os seus dados sejam encriptados no BigQuery selecionando uma chave de encriptação gerida pela Google ou pelo cliente.

    • Conjunto de dados único para todos os esquemas: o Datastream cria todas as tabelas no conjunto de dados do BigQuery existente que especificar. Cada tabela criada pelo Datastream tem um nome que é uma combinação do nome do esquema de origem e do nome da tabela, separados por um sublinhado (por exemplo, <mySchemaName>_<myTableName>). Os conjuntos de dados disponíveis estão agrupados por região. Também pode criar um novo conjunto de dados.

  2. Na secção Defina a associação do fluxo de dados a tabelas Iceberg do BigLake, faculte as seguintes informações:

    • No menu pendente ID da associação, selecione o identificador da associação ao BigQuery que criou e que quer usar para a sua stream. Para obter informações sobre como criar uma ligação de recursos da nuvem no BigQuery, consulte o artigo Configure tabelas Iceberg do BigLake no BigQuery.

    • Introduza ou selecione o endereço URI do contentor que criou no Cloud Storage. Para obter informações sobre como criar um contentor do Cloud Storage, consulte o artigo Crie um contentor.

  3. Reveja o formato do ficheiro e o formato da tabela. O fluxo de dados suporta o formato de ficheiro Parquet e o formato de tabela Iceberg.

  4. Reveja o Modo de gravação de streams. O fluxo de dados só suporta o modo de escrita apenas anexar quando faz streaming para tabelas Iceberg do BigLake.

  5. Clique em CONTINUAR. É apresentado o painel Reveja os detalhes da stream e crie-a da página Criar stream.

Destino do Cloud Storage

  1. Opcionalmente, no campo Prefixo do caminho da stream, introduza a pasta do contentor de destino para o qual o Datastream vai transferir esquemas, tabelas e dados de uma base de dados de origem.

    Por exemplo, se quiser que o Datastream transfira dados da base de dados de origem para a pasta /root/example no contentor de destino, introduza /root/example no campo Prefixo do caminho da stream.

  2. No campo Formato de saída, escolha o formato dos ficheiros escritos no Cloud Storage.

  3. Opcional. Se selecionar o formato JSON, são apresentadas duas caixas de verificação:

    1. Incluir um ficheiro de esquema de tipos unificados no caminho do ficheiro: se selecionar esta caixa de verificação, o Datastream escreve dois ficheiros no Cloud Storage: um ficheiro de dados JSON e um ficheiro de esquema Avro. O ficheiro de esquema tem o mesmo nome que o ficheiro de dados, com uma extensão .schema. Se não selecionar esta caixa de verificação, o Datastream escreve apenas o ficheiro de dados JSON no Cloud Storage. Por predefinição, esta caixa de verificação não está selecionada.
    2. Ativar compressão gzip: se selecionar esta caixa de verificação, o Datastream usa o utilitário gzip para comprimir os ficheiros que o Datastream escreve no Cloud Storage. Se não selecionar esta caixa de verificação, o Datastream escreve os ficheiros no Cloud Storage sem os comprimir. Por predefinição, esta caixa de verificação está selecionada.

  4. Clique em CONTINUAR. É apresentado o painel Reveja os detalhes da stream e crie-a da página Criar stream.

Crie a stream

  1. Valide os detalhes sobre o fluxo, bem como os perfis de ligação de origem e destino que o fluxo vai usar para transferir dados de uma base de dados de origem para um destino.

  2. Clique em EXECUTAR VALIDAÇÃO para validar a stream. Ao validar uma stream, o Datastream verifica se a origem está configurada corretamente, valida se a stream consegue estabelecer ligação à origem e ao destino, e verifica a configuração ponto a ponto da stream.

    1. Se a base de dados de origem for o Oracle, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Validade da lista de objetosO fluxo de dados verifica se a lista de exclusão não subsume a lista de inclusão.
      Encaminhe a conetividade do túnel SSHO fluxo de dados verifica se consegue estabelecer ligação a um anfitrião de bastião através de um túnel SSH encaminhado.
      Conetividade à base de dados OracleO Datastream verifica se consegue estabelecer ligação à base de dados Oracle de origem.
      Autorizações do utilizador do OracleO Datastream verifica se o utilizador que usa para se ligar à base de dados de origem tem todas as autorizações necessárias para obter esquemas, tabelas e dados da base de dados, para que o Datastream possa transmitir estas informações para o destino.
      Configuração do modo de registoA stream de dados verifica se o modo de registo da base de dados Oracle está definido como ARCHIVELOG.
      Configuração de registo suplementarO fluxo de dados verifica se o registo suplementar está ativado para as tabelas da base de dados que estão a ser transmitidas a partir da origem para o destino.
      Configuração da CDC da OracleO fluxo de dados verifica se o método de CDC que selecionou está em conformidade com a configuração da base de dados.
      Configuração dos ficheiros de registo do arquivoO fluxo de dados verifica se o registo de arquivos está configurado na origem e se os ficheiros de registo de arquivos estão presentes.
      Autorizações do Cloud Storage (para destinos do Cloud Storage) O Datastream verifica se tem as autorizações necessárias para escrever no contentor de destino no Cloud Storage.

    2. Se a base de dados de origem for o MySQL, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Autorizações de replicaçãoO Datastream verifica se tem autorizações para replicar uma base de dados do MySQL.
      Versão da base de dadosO Datastream verifica se a versão da base de dados MySQL é suportada. Para obter informações sobre as edições suportadas, consulte o artigo Versões.
      Configuração do formato de registo binárioO Datastream verifica se o formato de registo binário da base de dados MySQL está definido como ROW.
      O registo binário está ativadoO fluxo de dados verifica se os ficheiros de registo binários estão configurados corretamente e se existem ficheiros de registo.
      Configuração de imagem de linha do registo binárioO fluxo de dados verifica se a imagem da linha binlog está definida como FULL.
      Compressão de binlogs desativadaO fluxo de dados verifica se a compressão binlog está desativada.
      Atualizações de réplicas ou escravos de registos ativadasO fluxo de dados verifica se as atualizações da réplica ou do escravo do registo estão ativadas.
      Configuração do modo GTID (applies only to GTID-based CDC)O fluxo de dados verifica se o modo GTID está definido como ON se for usada a replicação baseada em GTID.
      GtidSet não contém GTIDs etiquetados (applies only to GTID-based CDC)O fluxo de dados verifica se o conjunto de GTIDs não contém GTIDs etiquetados.
      Autorizações do Cloud Storage (para destinos do Cloud Storage)O Datastream verifica se tem as autorizações necessárias para escrever no contentor de destino no Cloud Storage.
      Verificação de avisosDescrição
      Configuração de dias de registos de expiração, segundos de registos de expiração ou horas de retenção de registos bináriosA stream de dados verifica se expire_logs_days, binlog_expire_logs_seconds e binlog retention hours estão configurados com valores superiores a 7, 604800 e 168, respetivamente.
      Configuração de pacotes máxima permitidaO fluxo de dados verifica se o valor max_allowed_packet está definido como 1 GB.
      Aplique a consistência do GTID ou o modo rigoroso do GTID (applies only to GTID-based CDC)O fluxo de dados verifica se a consistência do GTID ou o modo rigoroso do GTID está ativado.

    3. Se a sua base de dados de origem for o PostgreSQL, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Conetividade à base de dados PostgreSQLO Datastream verifica se consegue estabelecer ligação à base de dados PostgreSQL de origem.
      A descodificação lógica está ativadaO Datastream verifica se o parâmetro wal_level da base de dados PostgreSQL está definido como logical.
      Configuração do espaço de replicaçãoO Datastream verifica se o espaço de replicação do PostgreSQL existe e está ativo, se o Datastream tem as autorizações necessárias para aceder ao mesmo e se está configurado corretamente.
      Configuração da publicaçãoO fluxo de dados verifica se a publicação existe e se as tabelas a replicar para o fluxo estão incluídas na publicação.
      Autorizações de repreenchimentoO fluxo de dados verifica se existem tabelas necessárias para preencher dados do histórico e se tem as autorizações necessárias para as ler.

    4. Se a base de dados de origem for o SQL Server, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Edição do SQL ServerO Datastream verifica se a edição da base de dados do SQL Server de origem é suportada. Para obter informações sobre as edições suportadas, consulte o artigo Versões.
      Autorizações do utilizador do SQL ServerO Datastream verifica se o utilizador tem as autorizações necessárias para aceder à base de dados do SQL Server de origem.
      O CDC do SQL Server está ativadoA stream de dados verifica se o CDC está ativado para a base de dados e todas as tabelas incluídas na stream.
      Validações da base de dados do SQL ServerO Datastream verifica se a base de dados de origem está configurada corretamente, se todos os requisitos de replicação são cumpridos e se não existem tipos de dados não suportados nas colunas.
      Autorizações do Cloud Storage ou do BigQueryO Datastream verifica se o utilizador tem as autorizações necessárias para escrever no destino.

    5. Se a sua base de dados de origem for o Salesforce, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Início de sessão com credenciaisO fluxo de dados verifica se consegue autenticar-se com êxito na organização do Salesforce do cliente através das credenciais fornecidas.
      API BulkO fluxo de dados verifica se tem as autorizações necessárias para aceder à Salesforce Bulk API 2.0. A API Bulk 2.0 é necessária para ler grandes quantidades de dados.
      Verificação de avisosDescrição
      Limites da APIO fluxo de dados calcula uma estimativa da utilização esperada da API com base no número de objetos e no intervalo de sondagem selecionados. Se o número diário esperado de pedidos for superior ao limite aplicado pela Salesforce, o Datastream emite um aviso. Pode continuar a criar e executar a stream, mesmo que a verificação de validação não seja aprovada.

    6. Se a sua base de dados de origem for o MongoDB, o Datastream realiza as seguintes verificações:

      SelecionarDescrição
      Autorizações do utilizadorO fluxo de dados verifica se a função readAnyDatabase está atribuída ao utilizador.
      Configurações de ligaçãoO fluxo de dados usa o comando hello para verificar se as configurações de associação são válidas.
      Versão do MongoDBO fluxo de dados verifica se a versão do MongoDB é 5.0 ou posterior.
      Autorizações do Cloud Storage ou do BigQueryO Datastream verifica se o utilizador tem as autorizações necessárias para escrever no destino.

  3. Depois de todas as verificações de validação serem aprovadas, clique em CRIAR E INICIAR para criar a stream e iniciá-la imediatamente, ou em CRIAR para criar a stream sem a iniciar imediatamente.

    Se não iniciar a stream agora, pode iniciá-la na página Streams clicando em INICIAR.

Depois de criar uma stream, pode ver informações detalhadas e de nível superior sobre a mesma.

O que se segue?