데이터 팀이 Databricks에서 매일 실행되는 다중 작업 ETL 파이프라인을 자동화하고 있습니다. 이 파이프라인에는 원시 데이터를 수집하는 노트북, 데이터 변환을 위한 Python wheel 작업, 그리고 집계 값을 업데이트하는 SQL 쿼리가 포함됩니다. 팀은 파이프라인을 프로그램 방식으로 실행하고 GUI에서 이전 실행 결과를 확인하고 싶어합니다. 또한, 작업 실패 시 재시도하고, 실패한 작업이 발생하면 이해관계자에게 이메일로 알림을 보내야 합니다. 이러한 요구 사항을 충족하는 두 가지 접근 방식은 무엇입니까? (두 가지를 선택하세요.)

• A. dbutils.notebook.run()을 사용하여 각 단계를 호출하는 단일 오케스트레이터 노트북을 생성하고, 해당 노트북에 대한 작업을 정의하고, 노트북 수준에서 재시도 및 알림을 구성합니다.
• B. REST API 엔드포인트 /jobs/runs/submit을 사용하여 각 작업을 개별적으로 별도의 작업 실행으로 트리거하고 오케스트레이터에서 사용자 지정 로직을 사용하여 재시도를 구현합니다.
• C. UI, Databricks Asset Bundles(DAB) 또는 Jobs REST API(/jobs/create)를 사용하여 노트북, Python wheel 및 SQL 작업을 포함하는 다중 작업 작업을 생성합니다. 작업 정의에서 작업 수준 재시도 및 이메일 알림을 구성합니다.
• D. Databricks Jobs REST API(/jobs/run-now), CLI(databricks jobs run-now) 또는 Databricks SDK 중 하나를 사용하여 프로그래밍 방식으로 작업을 실행합니다.
• E. Databricks Asset Bundles(DAB)를 사용하여 워크플로를 배포한 다음 작업 공간에서 각 작업의 노트북 또는 스크립트 경로를 참조하여 개별 작업을 직접 실행할 수 있습니다.

마케팅팀은 영업팀과 집계 테이블 형태로 데이터를 공유하려고 하지만, 두 팀에서 사용하는 필드 이름이 일치하지 않고, 마케팅 관련 필드 중 일부는 영업팀에서 승인받지 못한 상태입니다.
다음 중 간결성을 강조하면서 상황을 해결하는 방법은 무엇입니까?

• A. 현재 운영 파이프라인에 병렬 테이블 쓰기 기능을 추가하여 마케팅 테이블의 요구 사항에 따라 달라지는 새로운 판매 테이블을 업데이트합니다.
• B. 마케팅 테이블에서 영업팀에서 승인한 필드만 선택하여 뷰를 생성하고, 영업 명명 규칙에 따라 표준화해야 하는 필드 이름에는 별칭을 지정합니다.
• C. 마케팅 팀에게 결과를 CSV 파일로 다운로드하여 영업 조직에 이메일로 보내도록 지시하십시오.
• D. 필요한 스키마로 새 테이블을 생성하고 Delta Lake의 DEEP CLONE 기능을 사용하여 한 테이블에 커밋된 변경 사항을 해당 테이블에 동기화합니다.
• E. CTAS 문을 사용하여 마케팅 테이블에서 파생 테이블을 생성하고, 변경 사항을 전파하기 위해 프로덕션 JON을 구성합니다.

프로덕션 데이터에 대한 의도치 않은 커밋을 방지하기 위해, 선임 데이터 엔지니어는 모든 개발 작업에서 Delta Lake 테이블의 클론을 참조하도록 하는 정책을 수립했습니다. 심층 클론과 얕은 클론 방식을 모두 테스트한 후, 얕은 클론 방식을 사용하여 개발 테이블을 생성했습니다. 최초 테이블 생성 후 몇 주가 지나자, Type 1 Slowly Changing Dimension(SCD)으로 구현된 여러 테이블의 클론 버전이 작동을 멈췄습니다. 원본 테이블의 트랜잭션 로그를 확인해 보니 전날 vacuum 작업이 실행된 것으로 나타났습니다.
복제된 테이블이 더 이상 작동하지 않는 이유는 무엇입니까?

• A. 유형 1 변경 사항은 기존 레코드를 덮어쓰기 때문에 Delta Lake는 복제된 테이블의 데이터 일관성을 보장할 수 없습니다.
• B. 클론 작업으로 생성된 메타데이터는 vacuum 명령에 의해 유효하지 않은 것으로 삭제된 데이터 파일을 참조하고 있습니다.
• C. SHALLOW CLONE으로 생성된 테이블은 기본 보존 기간인 7일이 지나면 자동으로 삭제됩니다.
• D. vacuum으로 압축된 데이터 파일은 복제된 메타데이터에 의해 추적되지 않습니다. 복제된 테이블에서 refresh를 실행하면 최근 변경 사항이 반영됩니다.
• E. vacuum 명령을 실행하면 테이블의 얕은 복제본이 자동으로 무효화됩니다. 복제된 테이블을 반복적으로 쿼리할 경우에는 항상 깊은 복제본을 사용해야 합니다.

데이터 아키텍트는 데이터 레이크의 내장 버전 관리 및 타임 트래블 기능에 대해 알게 되었습니다. 감사 목적으로 고객 테이블에 나타나는 모든 유효한 도로명 주소를 완벽하게 유지해야 하는 요구 사항이 있습니다.
건축가는 기존 레코드를 새 값으로 덮어쓰고 Delta Lake의 타임 트래블 기능을 활용하여 장기적인 데이터 감사를 지원하는 Type 1 테이블을 구현하는 데 관심이 있습니다. 프로젝트의 데이터 엔지니어는 Type 2 테이블이 더 나은 성능과 확장성을 제공할 것이라고 생각합니다. 이 결정에 있어 어떤 정보가 핵심적일까요?

• A. 얕은 복제본은 유형 1 테이블과 결합하여 장기 버전 관리를 위한 기록 쿼리 속도를 높일 수 있습니다.
• B. 유형 2 테이블은 단일 업데이트에서 여러 필드를 설정해야 하므로 쿼리가 부분적으로 완료된 상태에서 실패하면 데이터 손상이 발생할 수 있습니다.
• C. Delta Lake 타임 트래블은 장기적인 버전 관리 솔루션을 제공하기에는 비용이나 지연 시간 측면에서 확장성이 떨어집니다.
• D. 유형 1 변경 사항은 데이터 파일을 제자리에서 수정하기 때문에 Delta Lake 시간 여행을 사용하여 이러한 테이블의 이전 버전을 조회할 수 없습니다.
• E. Delta Lake는 Type 0 테이블만 지원합니다. Delta Lake 테이블에 레코드가 삽입되면 수정할 수 없습니다.