Envie dados do Data Stream ao Google BigQuery

Hands-on para configurar o Google BigQuery para receber dados do Data Stream.

Ver como Markdown

Ao configurar streams, você precisa configurar um endpoint específico para transmitir seus dados da Azion.

Continue lendo para obter o passo a passo sobre como conectar um endpoint Google BigQuery com o Data Stream.

Pré-requisitos do Google BigQuery

Para começar com Google BigQuery, siga estes passos:

  1. Crie uma conta na Google Cloud Platform.
  2. Crie um projeto na Google Cloud Platform. O Project ID será dado enquanto você o cria, salve-o para usar depois.
  3. Crie uma service account na Google Platform.
  4. A service account deve possuir as permissões de BigQuery Admin. Selecione essa opção no menu suspenso do campo Role.

Para mais detalhes sobre as permissões padrões atribuídas à função do editor de dados BigQuery, acesse BigQuery Roles.

Você também precisa criar e salvar as seguintes informações:

  • Habilitar a BigQuery API
  • Um dataset
  • Uma service account key

Habilite a BigQuery API

Agora, você deve acessar o API ⁠Manager e habilitar a BigQuery API.

A BigQuery API tem suporte a um endpoint para transmitir linhas em uma tabela. No entanto, esse endpoint não é suportado na versão Free Tier. Para utilizá-lo, é necessário habilitar a versão completa da plataforma com a configuração de faturamento (billing).

Veja mais detalhes sobre esse passo na documentação de gerenciamento de faturamento de projetos. As taxas de utilização da API podem ser consultadas na tabela de preços na seção Streaming Inserts.

Crie um dataset

Após habilitar a API, você precisa criar um dataset. Para isso, você precisa criar um projeto no console da Google Cloud. Por padrão, o BigQuery já vem habilitado em novos projetos.

Após criar o projeto, siga os seguintes passos:

  1. No seu Google Cloud console, abra a página do BigQuery.
  2. Selecione o projeto no qual você quer criar o dataset.
  3. Clique na opção Actions, com a elipse vertical >⁠ Create dataset.
  4. Preencha as informações solicitadas. Após escolher um Dataset ID, salve-o para usar depois.
  5. Clique em Create dataset.

Após criar o dataset, você deve criar uma tabela:

  1. Crie uma tabela e associe-a ao dataset que você acabou de criar.
  2. Salve o Table name, o nome da tabela, que você escolheu. Esse é o ⁠Table ID.
  3. Em Schema, adicione a estrutura dos dados que serão inseridos.
  4. Clique em Create table.

Após a tabela ser criada, é possível fazer a ingestão de dados através da BigQuery API.

Crie uma service account key

Agora, você deve criar uma service account key, uma chave de conta de serviços, para continuar sua configuração.

  1. Após criar sua service account, acesse-a.
  2. No menu esquerdo, clique em IAM & Admin > Service Accounts.
  3. Selecione a service account que você criou na lista.
  4. Clique na aba KEYS no menu superior > ADD ⁠KEY > Create new Key.
  5. Em Key Type, escolha a opção JSON > clique em CREATE.
  6. Após a confirmação, o arquivo JSON com as credenciais será baixado automaticamente.

O conteúdo do arquivo deve ser similar ao exemplo:

{
"type": "service_account",
"project_id": "azion-data",
"private_key_id": "-----BEGIN RSA PRIVATE KEY-----\n<your_private_key>\n-----END RSA PRIVATE KEY-----",
"private_key": "-----BEGIN PRIVATE KEY-----\\nxxx\\n-----END PRIVATE KEY-----\\n",
"client_email": "myemail@azion.com",
...
}

Configure o novo endpoint no Data Stream

Agora, siga os próximos passos para configurar o novo endpoint criado no Google BigQuery no seu Azion Data Stream.

Você encontra os passos detalhados para a configuração completa no guia Como utilizar o Data Stream.

Todos os campos key serão mascarados e um ícone que permite revelar o conteúdo do campo será exibido apenas para usuários com a permissão Edit Data Stream. Usuários sem a permissão Edit Data Stream podem apenas visualizar as configurações do stream existente, mas não podem editar ou criar novos.

Nas configurações de Destination:

  1. No menu suspenso Connector, selecione Google BigQuery.
  2. Em Project ID, adicione a ID do seu projeto na Google Cloud.
  3. Em Data Set ID, adicione a ID do seu dataset criado no Google BigQuery.
  4. Em Table ID, adicione a ID da sua tabela que irá receber os dados transmitidos.
  5. Em Service Account Key, copie o conteúdo do arquivo JSON baixado que contém sua chave de acesso privado.

A chave de acesso privada deve ser similar ao exemplo:

{
"type": "service_account",
"project_id": "[name]",
"private_key_id": "key-id",
"private_key": "-----BEGIN PRIVATE KEY-----\nprivate-key\n-----END PRIVATE KEY-----\n",
"client_email": "email@myemailaccount.com",
"client_id": "client_id",
"auth_uri": "https://accounts.google.com/o/oauth2/auth",
"token_uri": "https://oauth2.googleapis.com/token",
"auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
"client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/mytest.com"
}
  1. Confira se o switch Active está habilitado.
  2. Clique no botão Save.

Toda autenticação com o Google Oauth2 e geração de JWTokens será realizada pelos sistemas de backend do Data Stream.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

Você pode acompanhar as chamadas feitas pelo Data⁠ Stream ao Google BigQuery no Real-Time Events. Para isso, selecione Data Source > Data Stream e escolha as opções de filtro que você deseja utilizar.

Marca registrada

Google BigQuery e Google Cloud Platform são marcas registradas de Google LLC nos Estados Unidos e/ou outros países.