Envie dados do Data Stream ao Object Storage

Guia prático para configurar um conector do Azion Object Storage para receber dados do Data Stream.

Ao configurar streams, você precisa configurar um endpoint específico para fazer stream dos seus dados da Azion.

Continue lendo para obter o passo a passo sobre como configurar um conector do Object Storage da Azion com o Data Stream.

Pré-requisitos

As credenciais S3 utilizadas com o endpoint devem incluir as permissões ListBucket (para listar e visualizar os objetos dentro de um bucket) e PutObject (para adicionar ou sobrescrever objetos dentro de um bucket), garantindo o acesso necessário para operações de leitura e escrita no armazenamento de informações, incluindo logs. Saiba mais sobre credenciais S3.

Crie uma credencial S3 via API e configure o acesso ao bucket através do s3cmd.
- Salve a Access Key e a Secret Key vinculadas à sua credencial. Você precisará delas mais tarde.
Crie um bucket de Object Storage, ou use um existente.

Configure o novo conector no Data Stream

Agora, siga os próximos passos para configurar o novo conector no seu Azion Data Stream.

Você encontra os passos detalhados para a configuração completa no guia Como utilizar o Data Stream.

Todos os campos key serão mascarados e um ícone que permite revelar o conteúdo do campo será exibido apenas para usuários com a permissão Edit Data Stream. Usuários sem a permissão Edit Data Stream podem apenas visualizar as configurações do stream existente, mas não podem editar ou criar novos.

No menu suspenso Connector, selecione Simple Storage Service (S3).
Em URL, adicione a URL do seu Azion Object Storage S3 Host. Exemplo: s3.us-east-005.azionstorage.net.
Em Bucket Name, adicione o nome do seu bucket S3 criado na AWS. Exemplo: mys3bucket.
Em Region, adicione a região configurada na AWS. Exemplo: us-east-005.
Em Access Key, adicione a chave de acesso criada na AWS. Exemplo: ORIA5ZEH9MW4NL5OITY4.
Em Secret Key, adicione a chave secreta criada na AWS. Exemplo: +PLjkUWJyOLth3anuWXcLLVrMLeiiiThIokaPEiw.
Em Object Key Prefix, adicione o prefixo para o nome do seu objeto enviado. Exemplo: user/logs.
Em Content Type, adicione o formato do objeto que será criado no seu bucket S3. Pode ser plain/text ou application/gzip.
Confira se o switch Active está habilitado.
Clique no botão Save.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

O campo Object Key Prefix refere-se ao prefixo para o nome do seu objeto enviado. O nome do arquivo é composto pelo Prefixo, pela data e hora em que os pacotes são enviados no formato YYYY/MM/DD/hh/mm/ e pelo UUID. Exemplo: user/logs/2024/10/12/06/24/37d66e78-c308-4006-9d4d-1c013ed89276.

Você pode acompanhar as chamadas feitas pelo Data⁠ Stream ao Object Storage pelo Real-Time Events. Para isso, selecione Data Source > Data Stream e escolha as opções de filtro que você deseja utilizar.