Agenda

1. 프로젝트 개요 (Overview)
2. 핵심 기능 및 가치 (Key Features)
3. 아키텍처 및 기술 스택 (Architecture)
4. 사용자 여정 (User Journey)
5. 성공 지표 (Metrics)
6. 구현 로드맵 (Roadmap)
7. 결론 (Conclusion)

1. 프로젝트 개요

"왜 이 프로젝트가 필요한가?"

• 배경: 기존 데이터 거버넌스 도구의 높은 비용과 운영 복잡성
• 문제점:
  • 높은 초기 구축 비용
  • 보이지 않는 데이터 사고
  • 비효율적인 운영 리소스

프로젝트 목적 (Objectives)

서버리스 & 오픈소스 기반의 최소 비용으로 최대 신뢰성 확보

1. 비용 효율성: 운영 비용 90% 절감 ($5,000 → $500)
2. 데이터 신뢰성: 정합성 99.9% 유지
3. 빠른 장애 대응: MTTD 80% 단축
4. 확장 가능성: 표준 기반 설계로 미래 대비

2. 핵심 기능

1. 선제적 품질 가드레일 (Quality Guardrail)

• 데이터 유입 시점에서 자동 품질 검증
• 스키마, Null 비율, 신선도, 비즈니스 규칙 검사
• Circuit Breaker: 품질 미달 시 하위 파이프라인 즉시 차단

2. 자동화된 데이터 리니지 (Automated Lineage)

• 데이터 흐름 및 의존성 자동 시각화
• 장애 원인 분석 및 영향도 파악 간소화

3. 운영 비용 최적화 (Cost Efficiency)

• Serverless (GitHub Actions) + DuckDB + S3 조합

3. 아키텍처 다이어그램

graph LR
    A[Data Sources] --> B[GitHub Actions<br/>(Ingestion/Check)]
    B --> C{Quality Check<br/>Soda Core}
    C -->|Pass| D[S3 Data Lake]
    C -->|Fail| E[Slack Alert]
    D --> F[DuckDB Analysis]
    B -.-> G[Marquez/OpenLineage]
    G -.-> H[Grafana Dashboard]

기술 스택 (Tech Stack)

4. 사용자 여정 (User Journey)

데이터 엔지니어

• YAML로 품질 규칙 정의 (row_count > 0, freshness < 1h)
• PR 생성 시 파이프라인 자동 테스트

장애 발생 시 (Scenario)

1. 소스 테이블 스키마 변경 감지
2. Soda Core가 불일치 포착 및 파이프라인 중단
3. Slack으로 즉시 알림 발송
4. Marquez에서 영향받는 하위 리포트 파악

5. 성공 지표 (Success Metrics)

6. 구현 로드맵

Phase 1: MVP (2주)

• 핵심 품질 검증 (Soda Core)
• 기본 리니지 추적 (OpenLineage)

Phase 2: 확장 (2주)

• 다중 소스 지원 (S3, Kafka)
• 고급 품질 규칙 및 Circuit Breaker

Phase 3: 프로덕션 (1주)

• 모니터링 대시보드 (Grafana)
• 보안 강화 및 문서화

7. 결론 & 리더십 포인트

Data Engineering Leader로서의 제안

• Business Mindset: 기술적 유행보다 실질적 비용 절감과 효율성 추구
• Scalability: 현재는 가볍게, 미래엔 표준(OpenLineage) 기반으로 확장
• Risk Management: 데이터 품질을 Circuit Breaker로 통제하여 리스크 최소화

"DataTrust-Light는 신뢰할 수 있는 데이터 환경을 가장 빠르고 효율적으로 구축하는 방법입니다."