Envie dados do Data Stream ao Amazon S3

Hands-on para configurar um Amazon S3 para receber dados do Data Stream.

Ver como Markdown

Ao configurar streams, você precisa configurar um endpoint específico para transmitir seus dados da Azion.

Continue lendo para obter o passo a passo sobre como conectar um endpoint Amazon S3 com o Data Stream.

Pré-requisitos da Amazon S3

As credenciais S3 utilizadas com o endpoint devem incluir as permissões s3:ListBucket (para listar e visualizar os objetos dentro de um bucket) e s3:PutObject (para adicionar ou sobrescrever objetos dentro de um bucket), garantindo o acesso necessário para operações de leitura e escrita no armazenamento de informações, incluindo logs. Saiba mais sobre credenciais S3.

Para começar, você deve completar algumas configurações na Amazon S3:

  1. Crie uma conta na Amazon AWS.
  2. Registre uma credencial de Identity and Access Management (IAM).
  3. Crie um Amazon S3 bucket.
  4. Opcionalmente, você pode carregar um objeto.
  5. Opcionalmente, você pode fazer a configuração e gestão do Server Side Encryption (SSE) utilizando Amazon S3-Managed Keys (SSE-S3).

Você também precisa salvar e criar as seguintes informações:

  • Region
  • Access Key
  • Secret Key

Region

É a região onde a sua Amazon S3 está rodando.

  1. Na barra superior do seu dashboard, logo ao lado do botão de ajuda, identificado com ’?’ , você encontra um menu suspenso onde você pode ver o nome da região, bem como seu código.
  2. Encontre o código e salve-o para usar depois. Ele é semelhante a: us-east-1

Você encontra mais detalhes na documentação da AWS A VPC abrange as zonas de disponibilidade e a zona Wavelength.

Access Key e Secret Key

  1. Acesse o painel Identify and Access Management (IAM).
  2. Clique no botão Criar nova chave de acesso.
  3. Um pop-up aparecerá na tela com as informações da sua chave.
  4. Clique em Exibir Chave de Acesso para exibir as informações das suas chaves conforme indicado abaixo:
    • ID da Chave de acesso, com formato semelhante a AKIA5LVCRTER524RAIA3
    • Secret Access Key, com formato semelhante a N9UTjunb299M5ryfKdG2cKh2+Pe2mBiGZXaBpVff
  5. Salve as informações das duas chaves para usá-las depois no Azion Data Stream.

Você também pode fazer download do arquivo PEM com as informações das chaves.

Para mais detalhes sobre configurações na Amazon S3, veja a página de documentação da AWS.

Configure o novo endpoint no Data Stream

Agora, siga os próximos passos para configurar o novo endpoint criado na Amazon S3 no seu Azion Data Stream.

Você encontra os passos detalhados para a configuração completa no guia Como utilizar o Data Stream.

Todos os campos key serão mascarados e um ícone que permite revelar o conteúdo do campo será exibido apenas para usuários com a permissão Edit Data Stream. Usuários sem a permissão Edit Data Stream podem apenas visualizar as configurações do stream existente, mas não podem editar ou criar novos.

Nas configurações de Destination:

  1. No menu suspenso Connector, selecione Simple Storage Service (S3).
  2. Em URL, adicione a URL do seu host S3.
  3. Em Bucket Name, adicione o nome do seu bucket S3 criado na AWS.
  4. Em Region, adicione a região configurada na AWS.
  5. Em Access Key, adicione a chave de acesso criada na AWS.
  6. Em Secret Key, adicione a chave secreta criada na AWS.
  7. Em Object Key Prefix (opcional), adicione o prefixo para o nome do seu objeto enviado. Exemplo: user/logs.
  8. Em Content Type, adicione o formato do objeto que será criado no seu bucket S3. Pode ser plain/text ou application/gzip.
  9. Confira se o switch Active está habilitado.
  10. Clique no botão Save.

O campo Object Key Prefix refere-se ao prefixo para o nome do seu objeto enviado. O nome do arquivo é composto pelo Prefixo, pela data e hora em que os pacotes são enviados no formato YYYY/MM/DD/hh/mm/ e pelo UUID. Exemplo: user/logs/2024/10/12/06/24/37d66e78-c308-4006-9d4d-1c013ed89276.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

Você pode acompanhar as chamadas feitas pelo Data⁠ Stream à Amazon S3 no Real-Time Events. Para isso, selecione Data Source > Data Stream e escolha as opções de filtro que você deseja utilizar.

Marca registrada

Amazon S3 é uma marca registrada de Amazon Web Services nos Estados Unidos e outros países.