Simulado AWS Certified Data Engineer – Associate (DEA-C01) | Questões Atualizadas

Explicação: para processar as listagens de carros recebidos de maneira econômica, escalonável e automatizada, a abordagem ideal envolve o uso do AWS Glue para processamento de dados, AWS Lambda com S3 Event Notifications para orquestração, Amazon Athena para consultas únicas e relatórios analíticos e Amazon QuickSight para visualização no painel. Vamos detalhar: AWS Glue: Este é um serviço ETL (Extrair, Transformar, Carregar) totalmente gerenciado que processa automaticamente os arquivos de dados recebidos. O Glue não tem servidor e oferece suporte a diversas fontes de dados, incluindo Amazon S3 e Redshift. AWS Lambda e S3 Event Notifications: O uso de Lambda e S3 Event Notifications permite o acionamento quase em tempo real de fluxos de trabalho de processamento assim que novos dados são carregados no S3. Essa abordagem é orientada por eventos, garantindo que as listagens sejam processadas assim que carregadas, reduzindo a latência para processamento de dados. Amazon Athena: um serviço sem servidor e pago por consulta que permite consultas interativas diretamente em dados no S3 usando SQL padrão. É ideal para a necessidade de consultas únicas e relatórios analíticos sem a necessidade de provisionamento ou gerenciamento de servidores. Amazon QuickSight: uma ferramenta de business intelligence que se integra a uma ampla variedade de fontes de dados da AWS, incluindo o Athena, e é usada para criar painéis interativos. Ele é bem dimensionado e fornece insights em tempo real para as listagens de carros. Esta solução (Opção D) é a mais econômica, porque tanto o Glue quanto o Athena não têm servidor e o preço é baseado no uso, reduzindo custos quando comparado ao provisionamento de clusters EMR nas outras opções. Além disso, usar Lambda para orquestração é mais econômico do que AWS Step Functions devido à sua natureza leve. Referência: Documentação do AWS Glue Documentação do Amazon Athena Documentação do Amazon QuickSight Notificações de eventos do S3 e Lambda

Explicação: O Amazon DynamoDB é um banco de dados NoSQL sem servidor e de baixa latência, ideal para dados semiestruturados. A adição do DynamoDB Accelerator (DAX) fornece tempos de resposta de microssegundos para cargas de trabalho com uso intenso de leitura. "Para aplicações que exigem leituras de milissegundos ou menos de milissegundos com operação sem servidor, use DynamoDB com cache DAX." Ace the AWS Certified Data Engineer - Certificação Associada - versão 2 - apple.pdf

Explicação: As camadas Lambda são uma forma de compartilhar código e dependências entre várias funções Lambda. Ao empacotar os scripts Python personalizados em camadas do Lambda, o engenheiro de dados pode atualizar os scripts em um só lugar e aplicá-los automaticamente a todas as funções do Lambda que usam a camada. Isso reduz o esforço manual e garante consistência entre as funções do Lambda. As outras opções não são viáveis ​​ou não são eficientes. Armazenar um ponteiro para scripts Python personalizados no objeto de contexto de execução ou em variáveis ​​de ambiente exigiria que as funções do Lambda fizessem download dos scripts do Amazon S3 sempre que fossem invocados, o que aumentaria a latência e o custo. Atribuir o mesmo alias a cada função Lambda não ajudaria na atualização dos scripts Python, pois o alias aponta apenas para uma versão específica do código da função Lambda. Referência: Camadas AWS Lambda AWS Certified Data Engineer - Associate DEA-C01 Complete Study Guide, Capítulo 3: Ingestão e transformação de dados, Seção 3.4: AWS Lambda

Explicação: O problema descrito é que a tarefa do AWS Glue está reprocessando arquivos de execuções anteriores, apesar do recurso de marcador estar habilitado. Os marcadores no AWS Glue permitem que os trabalhos acompanhem quais arquivos ou dados já foram processados ​​para evitar o reprocessamento. O motivo mais provável para o reprocessamento dos arquivos é a falta de permissões do S3, especificamente s3 s3 é uma permissão exigida pelo AWS Glue quando os marcadores estão habilitados para garantir que o Glue possa recuperar metadados dos arquivos no S3, o que é necessário para que o mecanismo de marcadores funcione corretamente. Sem essa permissão, o Glue não pode rastrear quais arquivos foram processados, resultando no reprocessamento durante as execuções subsequentes. As configurações de simultaneidade (opção B) e a versão do AWS Glue (opção C) não afetam o comportamento do marcador. Da mesma forma, a falta de uma instrução de commit (Opção D) não é aplicável neste contexto, pois o Glue trata os commits internamente ao interagir com o Redshift e o S3. Portanto, a causa raiz provavelmente está relacionada a permissões insuficientes no bucket S3, especificamente s3 , que é necessário para que os marcadores funcionem conforme o esperado. Referência: Documentação de marcadores de trabalho do AWS Glue Permissões do AWS Glue para marcadores

Explicação: AWS Glue é uma plataforma ETL totalmente gerenciada e sem servidor que oferece suporte a scripts em trabalhos de shell PySpark ou Python. Os fluxos de trabalho no Glue orquestram vários estágios de trabalho sem gerenciamento de infraestrutura. "Use fluxos de trabalho do AWS Glue para criar e orquestrar pipelines ETL complexos de vários estágios usando trabalhos do AWS Glue sem servidor." Ace the AWS Certified Data Engineer - Associate Certification - versão 2 - apple.pdf Isso atende aos requisitos de "somente sem servidor" e "executa scripts" com precisão.