SEMINAR
장소:
Room 154 (Moscone South)
스피커:
Raja Balakrishnan (Principal Product Manager – Snowflake)
이번 세션에서는 3월 12일에 발표된 내장형 거버넌스 솔루션인 Snowflake Horizon에 대해 소개했습니다.
Snowflake Horizon는 데이터 클라우드에서 규정 준수, 보안, 개인정보 보호, 상호운용성 및 액세스 기능을 통합하여 제공하는 기능입니다.
그 중 인상깊은 몇 가지 기능에 대해서 설명 드리겠습니다.
데이터 소유자이자 데이터 제공자로서 가장 중요하게 생각하는 것은 소비자와 공유하는 데이터의 품질을 최대한 높이는 것입니다.
내가 측정할 품질 지표를 지정하고 데이터의 품질을 지속적으로 모니터링할 수 있는 메커니즘을 갖고 싶을 것입니다.
Snowflake에서 Data Quality Monitoring 으로 이 기능을 제공합니다. 오브젝트가 마지막으로 업데이트된 이후의 시간, 오브젝트에 삽입된 행 수와 같은 기본 제공 측정 항목 또한 제공합니다. 더블어, 고객은 사용자 지정 지표를 생성하여 데이터 품질을 모니터링할 수 있습니다.
데이터는 사용되면서 변형되고 수정됩니다. 데이터 리니지 도구는 데이터가 조직의 데이터 파이프라인을 통해 이동하면서 이러한 변경 사항을 추적하고 데이터 이동에 대한 자세한 정보를 수집합니다.
데이터 리니지를 통해 조직은 데이터 세트와 변환 간의 관계를 설정하고 데이터 요소, 프로세스 및 시스템 간의 종속성을 분석할 수 있습니다.
Snowflake는 테이블 뷰와 같은 데이터 오브젝트를 넘어 ML Asset까지 리니지 시각화 인터페이스를 확장하고 있습니다.
Snowsight의 데이터 분류는 사용자가 UI를 통해 민감한 데이터를 쉽게 식별하고 태그를 지정할 수 있도록 합니다.
Snowsight에서 몇 번의 클릭만으로 고객은 이제 데이터를 분류하여 데이터 세트 내에서 민감한 정보를 검색하고 레이블을 지정하는 프로세스를 간소화할 수 있습니다.
자동 태그 지정을 통해 분류를 실행할 수도 있습니다. 이를 통해 신뢰도가 높은 Snowflake 분류기를 객체에 “자동 적용”할 수 있습니다. 중요한 데이터 자동 분류를 통해 SQL을 추가로 사용하여 구성 가능한 간격으로 또는 새 테이블이 생성될 때 민감한 데이터의 분류 및 태그 지정을 자동화하여 수동 작업과 오케스트레이션을 줄일 수 있습니다.
Snowflake UI에서 고객이 따로 대시보드를 만들지 않아도, 테이블과 뷰에 대한metadata 기반의 인사이트를 얻기 위한 인터페이스도 제공합니다.
마지막으로 실제로 사용할 수 있는 SQL문을 공유해 주면서 세션을 마무리 했는데요. 실제로 고객분들이 많이 활용하실 수 있는 스크립트 내용이었습니다.
Gen AI 및 LLM을 준비함에 따라, 데이터 기반의 가치를 활용하는 것을 점점 중요하게 생각하는 기업들이 많아지고 있는 것 같습니다.
Snowflake Horizon은 AI 데이터 클라우드에서 데이터, 앱, 모델을 관리하고 검색할 수 있는 통합된 방법을 통해 데이터 관리자, 관리자, 데이터 팀에 권한을 부여합니다. 또한, 클라우드 전반의 중앙 집중식 모니터링 및 RBAC, 간편하고 세분화된 콘텐츠 보호, 빠른 검색 및 개인 정보 보호 협업을 통해 Snowflake Horizon은 AI, 애플리케이션 등을 제품화하는 빠르고 안전한 경로를 열어주는 관리가 잘되는 데이터 기반을 지원합니다.
이전에는 고객사의 데이터 거버넌스 기능 요청에 대해 외부의 타사 솔루션을 제안하곤 했습니다. 그러나 이제는 Snowflake Horizon의 기능을 소개함으로써, 많은 고객사들이 Snowflake 만으로도 통합된 거버넌스 환경에 크게 만족할 것으로 기대됩니다.
작성 ｜ 김은옥 매니저 CTC Cloud Solutions Architect 팀