BLOG

AWS re:Invent 2022 세션 후기 #61 – 분석 6
작성일: 2022-12-06
[ANT336] Building data mesh architectures on AWS

일시: 2022.12.01 13:15 ~ 14:15

장소: Wynn, Level 1, Latour 2, Content Hub, Blue Screen

작성자 : 메가존클라우드 Data Business Center 조예원 매니저

 

 

AWS 상에서 데이터 아키텍쳐를 구성할 때, data mesh를 구성하는 방법을 소개 한 세션 입니다.

엔터프라이즈에서 데이터를 공유하는 것은 항상 어려운 일입니다.

데이터가 팀 커넥션에 기반해서 즉흥적이고 제멋대로 공유되는 경우가 많습니다.

이런 특징으로 인해 민감 데이터를 보호하는 데에 위험성이 증가합니다.

 

 

엔터프라이즈에서 데이터를 공유하는 것은 항상 어려운 일입니다.

데이터가 팀 커넥션에 기반해서 즉흥적이고 제멋대로 공유되는 경우가 많아, 이런 특징으로 인해 민감 데이터를 보호하는 데에 위험성이 증가합니다.

모두가 데이터를 사용하고자만 하고, 데이터를 만들어내는 역할을 하려고 하지는 않습니다.

 

 

이런 기업의 어려움을 해결하는 방안으로 Data mesh 아키텍쳐가 필요합니다.
Data mesh에서는

  • 데이터 플랫폼에 존재하는 소스 데이터들을 사용하고, 각각을 독립적인 도메인처럼 다룹니다.
  • 데이터 도메인에 정책을 반영해서 데이터 거버넌스를 향상시킵니다.
  • 중앙화 된 data discovery 메커니즘을 명확하게 제공합니다.
  • 도메인 소유자가 데이터 사용자에게 액세스를 지정할 수 있도록 self-service data sharing 기능을 제공합니다.
  • 비즈니스 가치와 사용성을 기반으로 데이터 프로덕트를 측정하고, 투자할 수 있습니다.

 

 

Data mesh에는 4가지 중요 역할들이 있습니다.

 

 

  • Data owner(Data domain ownership) : 데이터 도메인을 소유함
  • Data engineer(Data as a product) : data mesh에 데이터를 만들어냄
  • Data steward(Federated computational governanc): 데이터가 어떻게 공유 되는지 거버넌스를 관리하고, 어떤 데이터를 사용 해야할지 전달함
  • Data Consumer(Self-serve sharing): 데이터를 공유하고 사용함

 

 

최신 데이터 아키텍쳐는 아래와 같은 다섯가지 부분을 가지고 있습니다.

  • 확장 가능한 데이터레이크 및 웨어하우스
  • 목적에 맞게 만들어진 데이터 서비스
  • 데이터 공유
  • 통합된 거버넌스
  • 데이터 발견

 

위 data mesh 아키텍처에서 보이듯이 여러 명의 데이터 생성자가 데이터를 생성하면, 통합 관리 되는 거버넌스를 거쳐서 각 목적을 가진 데이터 소비자가 사용할 수 있게 전달됩니다.

아래 장표에서 Data mesh의 주요 4가지 역할(Data owner, Data engineer, Data steward, Data consumer)가 하는 작업에 대한 추가 설명을 확인하실 수 있습니다.

 

 

최근 데이터 아키텍쳐의 동향인 Data mesh의 개념이 무엇인지, 어떻게 구성하고, 어떤 요소들이 있는지 정리할 수 있는 세션이었습니다.

 

👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/

 

👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!

🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기

🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기

🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기

🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기

 

✅1. 데이터 보호 세션 후기 확인하기

✅2. 마이그레이션 세션 후기 확인하기

✅3. 현대화 (Modernization)세션 후기 확인하기

✅4. SAP 세션 후기 확인하기

✅5. 쿠버네티스 세션 후기 확인하기

✅6. 마이그레이션2 세션 후기 확인하기

✅7. 분석 세션 후기 확인하기

✅8. AI/ML 세션 후기 확인하기

✅9. AI/ML 2 세션 후기 확인하기

✅10. 현대화 (Modernization) 2 세션 후기 확인하기

✅11. 현대화 (Modernization) 3 세션 후기 확인하기

✅12. Data Lakes 세션 후기 확인하기

✅13. 네트워킹 세션 후기 확인하기

✅14. 마이그레이션3 세션 후기 확인하기

✅15.비용 최적화 세션 후기 확인하기

✅16. 보안 세션 후기 확인하기

✅17. SAP 2 세션 후기 확인하기

✅18. 마이그레이션4 세션 후기 확인하기

✅19. DevOps 세션 후기 확인하기

✅20. 신규업데이트 세션 후기 확인하기

✅21. 스토리지 세션 후기 확인하기

✅22. Amazon 세션 후기 확인하기

✅23. 신규업데이트2 후기 확인하기

✅24. 거버넌스 후기 확인하기

✅25. 거버넌스2 후기 확인하기

✅26. DevOps 2 후기 확인하기

✅27. AI/ML 3 세션 후기 확인하기

✅28. 분석2 세션 후기 확인하기

✅29. 쿠버네티스2 세션 후기 확인하기

✅30. 분석 3 세션 후기 확인하기

✅31. 서버리스 컴퓨팅 세션 후기 확인하기

✅32. 신규 업데이트 3 세션 후기 확인하기

✅33. 신규 업데이트 4 세션 후기 확인하기

✅34. 보안 2 세션 후기 확인하기

✅35. 분석 4 세션 후기 확인하기

✅36. 모니터링 세션 후기 확인하기

✅37. AI/ML 4 세션 후기 확인하기

✅38. 운영 세션 후기 확인하기

✅39. 운영 2 세션 후기 확인하기

✅40. 데이터베이스 세션 후기 확인하기

✅41. 데이터베이스 2 세션 후기 확인하기

✅42. 보안 3 세션 후기 확인하기

✅43. SaaS 세션 후기 확인하기

✅44. 컴퓨팅 세션 후기 확인하기

✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기

✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기

✅47. 아키텍처 세션 후기 확인하기

✅48. SAP 3 세션 후기 확인하기

✅49. 고객사례 세션 후기

✅50. SAP 4 세션 후기 확인하기

✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기

✅52. 보안 4 세션 후기 확인하기

✅53. 보안 규정 세션 후기 확인하기

✅54. 데이터베이스 3 세션 후기 확인하기

✅55. 신규 업데이트 5 세션 후기 확인하기

✅56 .DevOps 3 세션 후기 확인하기

✅57. 분석 5 세션 후기 확인하기

✅58. AI/ML 5 세션 후기 확인하기

✅59. DevOps 4 세션 후기 확인하기

✅60. 신규업데이트 6 세션 후기 확인하기

✅61. 분석 6 세션 후기 확인하기

✅62. 데이터 보호 세션 후기 확인하기

✅63. AI/ML 6 세션 후기 확인하기

✅64. DevOps 5 세션 후기 확인하기

✅65. 신규업데이트 7 세션 후기 확인하기

✅66. 신규 업데이트 8 세션 후기 확인하기