Questão 14 — Simulado AWS Certified Data Engineer – Associate (DEA-C01) | Questões Atualizadas

Explicação: O problema descrito é que a tarefa do AWS Glue está reprocessando arquivos de execuções anteriores, apesar do recurso de marcador estar habilitado. Os marcadores no AWS Glue permitem que os trabalhos acompanhem quais arquivos ou dados já foram processados ​​para evitar o reprocessamento. O motivo mais provável para o reprocessamento dos arquivos é a falta de permissões do S3, especificamente s3 s3 é uma permissão exigida pelo AWS Glue quando os marcadores estão habilitados para garantir que o Glue possa recuperar metadados dos arquivos no S3, o que é necessário para que o mecanismo de marcadores funcione corretamente. Sem essa permissão, o Glue não pode rastrear quais arquivos foram processados, resultando no reprocessamento durante as execuções subsequentes. As configurações de simultaneidade (opção B) e a versão do AWS Glue (opção C) não afetam o comportamento do marcador. Da mesma forma, a falta de uma instrução de commit (Opção D) não é aplicável neste contexto, pois o Glue trata os commits internamente ao interagir com o Redshift e o S3. Portanto, a causa raiz provavelmente está relacionada a permissões insuficientes no bucket S3, especificamente s3 , que é necessário para que os marcadores funcionem conforme o esperado. Referência: Documentação de marcadores de trabalho do AWS Glue Permissões do AWS Glue para marcadores