Gerenciar metadados de repositórios do Dataform com o Dataplex Universal Catalog

Neste documento, descrevemos como usar o Dataplex Universal Catalog para visualizar metadados de repositórios do Dataform e adicionar aspectos a eles.

Com o Dataplex Universal Catalog, é possível armazenar e gerenciar seus metadados. Os repositórios do Dataform estão disponíveis no Dataplex Universal Catalog por padrão, sem nenhuma configuração extra. O Dataplex Universal Catalog recupera automaticamente os seguintes metadados dos repositórios do Dataform:

  • Nome do recurso de dados
  • Recurso de dados principal
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto Google Cloud correspondente
  • Origem do repositório de terceiros
  • Conta de serviço

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM).

Funções exigidas

Para gerenciar repositórios do Dataform no Dataplex Universal Catalog, você precisa das funções predefinidas do Dataform, que dão acesso aos recursos do Dataform, e das funções necessárias do Dataplex Universal Catalog.

Gerenciar metadados no Dataplex Universal Catalog

O Dataplex Universal Catalog registra repositórios do Dataform como entradas com os seguintes valores de entrada:

Grupo de entradas do sistema
O grupo de entrada do sistema para repositórios do Dataform é @dataform. Para conferir os detalhes das entradas do repositório no Dataplex Universal Catalog, acesse o grupo de entradas do sistema dataform. Para instruções sobre como conferir uma lista de todas as entradas em um grupo de entradas, consulte Ver detalhes de um grupo de entradas na documentação do Dataplex Universal Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para repositórios do Dataform é dataform-repository. Para conferir os detalhes dos repositórios do Dataform, é necessário acessar o tipo de entrada do sistema dataform-repository. Para instruções sobre como ver detalhes de um tipo de entrada selecionado, consulte Ver detalhes de um tipo de entrada na documentação do Dataplex Universal Catalog. Para instruções sobre como ver detalhes de uma entrada selecionada, consulte Ver detalhes de uma entrada na documentação do Dataplex Universal Catalog.

Pesquisar recursos

Para instruções sobre como pesquisar recursos de dados no Dataplex Universal Catalog, consulte Pesquisar recursos de dados no Dataplex Universal Catalog na documentação do Dataplex Universal Catalog.

Anotar repositórios

Para fornecer mais contexto aos repositórios do Dataform no Dataplex Universal Catalog, anote as entradas do Dataform com aspectos.

O tipo de aspecto do sistema para repositórios do Dataform é dataform-repository.

Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Dataplex Universal Catalog.

Limitações

O gerenciamento de repositórios do Dataform no Dataplex Universal Catalog está disponível com as seguintes limitações:

  • Não é possível visualizar nem gerenciar recursos no nível do arquivo do Dataform no Dataplex Universal Catalog, como tabelas ou visualizações.

Locais

Use o Dataplex Universal Catalog para gerenciar repositórios do Dataform de todos os locais do Dataform.

Cotas

O gerenciamento de repositórios do Dataform no Dataplex Universal Catalog está sujeito às cotas e limites do Dataplex Universal Catalog.

Preços

O gerenciamento de repositórios do Dataform no Dataplex Universal Catalog está sujeito aos preços do Dataplex Universal Catalog.

A seguir