Data Mesh: 새로운 빅데이터 패러다임

현재 데이터 레이크 구조로된 플랫폼을 운영하고 있다보니 자연스레 데이터 메시 아키텍쳐에 관심이 생겨 조금은 공부한 내용을 이번 포스트를 통해 정리하고자 한다. 해당 포스트에서는 데이터 메시의 개념과 등장 배경, 기존 중앙 집중형 데이터 아키텍처와의 차이점, 데이터 메시의 4대 원칙, 그리고 실무에서의 도입 방법에 대해서 정리할 생각이다.

데이터 메시의 개념과 등장 배경

데이터 메시(Data Mesh)는 대규모로 분산된 데이터를 효과적으로 관리하고 활용하기 위한 새로운 접근 방식이자 아키텍처이다. 기존의 중앙 집중형 데이터 아키텍처는 데이터 웨어하우스나 데이터 레이크와 같은 중앙 저장소에 모든 데이터를 모아 관리하는 방식을 취했습니다. 그러나 이러한 방식은 데이터의 양과 다양성이 폭발적으로 증가하는 현대 비즈니스 환경에서 여러 한계를 드러냈습니다. 이러한 한계를 극복하고자 데이터 메시가 등장하게 되었습니다.

기존 중앙 집중형 데이터 아키텍처와의 차이점

기존의 중앙 집중형 데이터 아키텍처는 모든 데이터를 중앙에서 관리하여 고객(데이터 분석가, 데이터 사이언티스트)에게 제공한다.
데이터 메시는 도메인 데이터의 오너십이 있는 조직이 데이터를 상품 수준으로 관리하여 고객들이 자유롭게 활용할 수 있도록 제공한다.

• 확장성의 한계: 데이터의 양이 증가함에 따라 중앙 저장소의 성능 저하 및 관리 복잡성이 증가
• 병목 현상: 모든 데이터 처리가 중앙 팀에 집중되어 업무 지연  발생
• 도메인 지식 부족: 중앙 팀이 각 비즈니스 도메인의 특수성을 충분히 이해하지 못해 데이터 품질과 활용도 저하

반면, 데이터 메시는 이러한 문제를 해결하기 위해 다음과 같은 접근 방식을 취합니다:

• 분산형 아키텍처: 각 도메인 팀이 자체적으로 데이터를 소유하고 관리하여 확장성과 유연성 확보
• 도메인 중심 설계: 비즈니스 도메인별로 데이터를 관리하여 도메인 지식을 적극 활용
• 셀프 서비스 플랫폼: 각 도메인 팀이 필요한 데이터 인프라를 직접 구축하고 운영 지원

데이터 메시의 4대 원칙

데이터 메시는 다음의 4가지 핵심 원칙을 기반으로 한다.

1. 도메인 지향 분산 데이터 소유권 및 아키텍처(Domain Ownership): 각 도메인 팀이 자신들의 데이터를 직접 소유하고 관리하여  데이터 품질과 책임성 높임
2. 제품으로서의 데이터(Data as a Product): 데이터를 단순한 자원이 아닌 제품으로 간주하여 사용자 친화적인 인터페이스와 명확한 품질 기준 제공
3. 셀프 서비스 데이터 인프라 플랫폼(Self-serve Data Platform): 도메인 팀이 데이터 제품을 쉽게 개발, 배포, 운영할 수 있도록 표준화되고 사용하기 쉬운 데이터 플랫폼을 제공
4. 연합 컴퓨팅 거버넌스(Federated Computational Governance): 중앙 거버넌스 팀이 아닌 각 도메인 팀이 데이터 거버넌스 원칙과 표준 준수 및 자율성 유지 지원

실무에서의 데이터 메시 도입 방법

데이터 메시는 단순한 기술 도입이 아닌 조직 문화와 구조의 변화를 요구합니다. 실무에서 데이터 메 시를 도입하기 위해서는 다음과 같은 단계가 필요합니다:

1. 조직 구조 개편: 도메인 중심의 팀 구조를 개편하고, 각 팀이 데이터 소유권을 가짐
2. 데이터 제품 정의: 각 도메인 팀이 제공할 데이터 제품을 정의하고, 이를 제품으로서 관리하는 문화 정착
3. 셀프 서비스 데이터 플랫폼 구축: 도메인 팀이 데이터 제품을 쉽게 개발하고 운영할 수 있는 플랫폼을 구축 이를 위해 클라우드 서비스나 데이터 플랫폼 도구 활용
4. 거버넌스 체계 수립: 데이터 품질, 보안, 규정 준수 등을 보장하기 위한 거버넌스 원칙과 절차를 수립하고, 이를 도메인 팀이 자율적으로 준수하도록 지원
5. 교육 및 문화 정착: 데이터 메시의 개념과 원칙을 조직 내에 교육하고, 이를 통한 문화 변화 촉진

참고 자료

https://martinfowler.com/articles/data-mesh-principles.html

Data Mesh Principles and Logical Architecture

https://learn.microsoft.com/ko-kr/azure/cloud-adoption-framework/scenarios/cloud-scale-analytics/architectures/data-mesh-scenario