# Envie dados do Data Stream ao Google BigQuery

Ao configurar [streams](/pt-br/documentacao/produtos/observe/data-stream/), você precisa configurar um endpoint específico para transmitir seus dados da Azion.

Continue lendo para obter o passo a passo sobre como conectar um endpoint [Google BigQuery](https://cloud.google.com/bigquery/) com o Data Stream.


---

## Pré-requisitos do Google BigQuery

Para começar com **Google BigQuery**, siga estes passos:

1. Crie [uma conta na Google Cloud Platform](https://cloud.google.com/).
2. Crie [um projeto](https://developers.google.com/workspace/guides/create-project) na Google Cloud Platform. O **Project ID** será dado enquanto você o cria, salve-o para usar depois.
3. Crie uma [service account](https://cloud.google.com/iam/docs/service-accounts-create) na Google Platform.
4. A service account deve possuir as permissões de **BigQuery Admin**. Selecione essa opção no menu suspenso do campo **Role**.

> Para mais detalhes sobre as permissões padrões atribuídas à função do editor de dados BigQuery, acesse [BigQuery Roles](https://cloud.google.com/iam/docs/understanding-roles#bigquery-roles).

Você também precisa criar e salvar as seguintes informações:

- Habilitar a BigQuery API
- Um dataset
- Uma service account key

### Habilite a BigQuery API

Agora, você deve acessar o [API ⁠Manager](https://console.cloud.google.com/apis/library) e habilitar a BigQuery API.

A BigQuery API tem suporte a um endpoint para transmitir linhas em uma tabela. No entanto, esse endpoint não é suportado na versão *Free Tier*. Para utilizá-lo, é necessário habilitar a versão completa da plataforma com a configuração de faturamento (billing).

Veja mais detalhes sobre esse passo na [documentação de gerenciamento de faturamento de projetos](https://cloud.google.com/billing/docs/how-to/modify-project). As taxas de utilização da API podem ser consultadas na tabela de preços na seção **Streaming Inserts**.

### Crie um dataset

Após habilitar a API, você precisa criar um dataset. Para isso, você precisa criar um projeto no [console da Google Cloud](https://console.cloud.google.com/bigquery). Por padrão, o BigQuery já vem habilitado em novos projetos.

Após criar o projeto, siga os seguintes passos:

1. No seu Google Cloud console, abra a página do BigQuery.
2. Selecione o projeto no qual você quer criar o dataset.
3. Clique na opção **Actions**, com a elipse vertical >⁠ **Create dataset**.
4. Preencha as [informações solicitadas](https://cloud.google.com/bigquery/docs/datasets#create-dataset). Após escolher um **Dataset ID**, salve-o para usar depois.
5. Clique em **Create dataset**.

Após criar o dataset, você deve criar uma tabela:

1. [Crie uma tabela](https://cloud.google.com/bigquery/docs/tables) e associe-a ao dataset que você acabou de criar.
2. Salve o **Table name**, o nome da tabela, que você escolheu. Esse é o ⁠Table ID.
3. Em **Schema**, adicione a estrutura dos dados que serão inseridos.
4. Clique em **Create table**.

Após a tabela ser criada, é possível fazer a ingestão de dados através da BigQuery API.

### Crie uma service account key

Agora, você deve criar uma *service account key*, uma chave de conta de serviços, para continuar sua configuração.

1. Após criar sua service account, acesse-a.
2. No menu esquerdo, clique em **IAM & Admin** > **Service Accounts**.
3. Selecione a service account que você criou na lista.
4. Clique na aba **KEYS** no menu superior > **ADD ⁠KEY** > **Create new Key**.
5. Em **Key Type**, escolha a opção **JSON** > clique em **CREATE**.
6. Após a confirmação, o arquivo JSON com as credenciais será baixado automaticamente.

O conteúdo do arquivo deve ser similar ao exemplo:

```json
{
  "type": "service_account",
  "project_id": "azion-data",
  "private_key_id": "-----BEGIN RSA PRIVATE KEY-----\n<your_private_key>\n-----END RSA PRIVATE KEY-----",
  "private_key": "-----BEGIN PRIVATE KEY-----\\nxxx\\n-----END PRIVATE KEY-----\\n",
  "client_email": "myemail@azion.com",
   ...
}
```

---

## Configure o novo endpoint no Data Stream

Agora, siga os próximos passos para configurar o novo endpoint criado no **Google BigQuery** no seu Azion **Data Stream**.

Você encontra os passos detalhados para a configuração completa no guia [Como utilizar o Data Stream](/pt-br/documentacao/produtos/guias/como-usar-data-stream/).

:::note
Todos os campos `key` serão mascarados e um ícone que permite revelar o conteúdo do campo será exibido apenas para usuários com a permissão `Edit Data Stream`. Usuários sem a permissão `Edit Data Stream` podem apenas visualizar as configurações do stream existente, mas não podem editar ou criar novos.
:::

Nas configurações de **Destination**:

1. No menu suspenso **Connector**, selecione **Google BigQuery**.
2. Em **Project ID**, adicione a ID do seu projeto na Google Cloud.
3. Em **Data Set ID**, adicione a ID do seu dataset criado no Google BigQuery.
4. Em **Table ID**, adicione a ID da sua tabela que irá receber os dados transmitidos.
5. Em **Service Account Key**, copie o conteúdo do arquivo `JSON` baixado que contém sua chave de acesso privado.

A chave de acesso privada deve ser similar ao exemplo:

```json
{
	"type": "service_account",
	"project_id": "[name]",
	"private_key_id": "key-id",
	"private_key": "-----BEGIN PRIVATE KEY-----\nprivate-key\n-----END PRIVATE KEY-----\n",
	"client_email": "email@myemailaccount.com",
	"client_id": "client_id",
	"auth_uri": "https://accounts.google.com/o/oauth2/auth",
	"token_uri": "https://oauth2.googleapis.com/token",
	"auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
	"client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/mytest.com"
}
```

6. Confira se o switch **Active** está habilitado.
7. Clique no botão **Save**.

Toda autenticação com o Google Oauth2 e geração de JWTokens será realizada pelos sistemas de backend do Data Stream.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

Você pode acompanhar as chamadas feitas pelo Data⁠ Stream ao Google BigQuery no [Real-Time Events](/pt-br/documentacao/produtos/observe/real-time-events/). Para isso, selecione **Data Source** > **Data Stream** e escolha as opções de filtro que você deseja utilizar.

---

### Marca registrada

[Google BigQuery](https://cloud.google.com/bigquery) e [Google Cloud Platform](https://cloud.google.com/) são marcas registradas de Google LLC nos Estados Unidos e/ou outros países.




---