BLOG
데이터에서 가장 중요한 것은 문화 그리고 기능 순위입니다. 지난번 포스팅에서는 그 회사의 임원 및 직원들이 어떻게 데이터 중심 문화를 생성할 수 있는지에 대해 다루었었습니다. 이번 포스팅에서는 문화를 주도하는 리더들에게 배운 내용을 좀더 자세히 설명 드리며 공유하고자 합니다.
데이터의 기능은 ‘모든 데이터를 가져오는 것’이 아니라 ‘받은 질문들’로부터 시작됩니다.
비용이 큰 엔터프라이즈 프로젝트들의 실패 사례를 보면 data warehouses 또는 data lakes 를 구축하는 데에만 몇 년이 걸리고 돈도 많이 들었습니다. 클라우드가 데이터 데이터 저장, 프로세싱, 분석 하는 비용과 시장으로 향하는 시간을 크게 줄였지만, 데이터 기능은 데이터 소스로부터 시작이 아닌 비즈니스 성과로 시작하는 것이 중요합니다.
데이터 기능을 구축을 하기 위해서는 먼저 기업에 관련된 질문들을 리스트화 해야 합니다. 같은 질문들을 얼마나 자주 받는지 확인해보십시오. 그리고 그 질문 내에서 비즈니스에 영향을 끼치는 순서대로 순위를 정하여야 합니다. 이를 통해 필요한 데이터를 가져오는 우선순위를 정할 수 있습니다. 여기서 중요한 점은 “모든 데이터”를 가져오느라 많은 시간을 들이지 않아도 점진적으로 가치를 제공할 수 있다는 것입니다.
제가 사용하는 유용한 툴 중 하나인 visual map은 한 축에는 중요 데이터 요소를 다른 축에는 중요 비즈니스 기능을 나타내고 있습니다. 간단한 질문을 하나 드리겠습니다. X제품에 관련한 손익(P&L)은 무엇인가요? 이 질문에 대답하기 위해서는 제품에 대한 다양한 수입원과 제품의 가격을 알고 이것을 리스트화 해야 대답할 수 있습니다.
이제는 같은 데이터 요소에 관심 있는 사람들을 추가하십시오. 아래 차트는 이 프로세스를 아주 간단히 보여주고 있습니다.
순위가 지정된 질문 목록과 함께 해당 프로세스를 반복하면, 여러 가지 기능에 가치를 부여하는 요소를 보여주는 이미지가 나타날 것입니다. 이미 가지고 있는 데이터 요소들은 처음 시작한 내용과의 차이를 다른 질문 또는 더 나은 질문으로 대체 및 변경할 수 있습니다. 이는 플랫폼을 구축하고 우선순위를 정하는 데 굉장히 유용한 visual tool이 될 수 있습니다.
데이터의 “블랙홀”을 잡아내세요
기업은 단순히 데이터를 소비하는 것뿐만 아니라 정확한 데이터를 잡아내는 것에 포커싱을 두어야 합니다. 기업들의 많은 거래는 주로 스프레드시트 또는 시스템 외적인 워크플로우에서 많이 발생합니다. 이러한 워크플로우에는 그와 연관된 애플리케이션 전략이 없어 아직 사용되지 않은 많은 유용한 데이터가 있습니다.
조직에서는 기업의 애플리케이션과 데이터 팀을 분리하려는 경향이 있습니다. 성공적인 데이터 전략을 위해서는 기업의 애플리케이션 로드맵과 잘 조화를 이루어야 합니다. 조화를 이루지 못한다면 소비할 수 없기 때문입니다. 잡아내지 못하면 소비할 수 없습니다.
데이터 정리, 품질, 조화에 대한 전략 수립이 필요합니다.
기업이 데이터 중심의 문화로 변화할 때 문제점이나 어려움을 만나는 것은 지극히 자연스러운 일입니다. 가장 대표적인 문제점으로 데이터에 대한 신뢰가 부족을 들 수 있습니다. 비즈니스 부서의 데이터 소유자와 협력하여 문제점이나 어려움을 극복하는 것이 가장 중요합니다. 이는 기술적 검증 및 데이터 품질과 관련 있습니다..
데이터 품질 문제는 늦게 발생하거나 데이터 주도권을 망치게 할 수 있습니다. 이를 피하기 위해서는 검사를 실시하며, 엣지 사례를 확인하고 정리를 해야 합니다. 가끔은 데이터 품질 이슈가 조직 또는 비즈니스 프로세스 문제를 야기할 수 있습니다. 저(원문의 저자 Ishit Vachhrajani로 AWS의 엔터프라이즈 전략가를 담당하고 있음)의 경력 초반에는 대규모 회사의 data initiative 영업을 진행했었는데, 한 명의 고객 레코드에 200개 이상의 다른 변형이 있다는 것을 확인했습니다. 이 문제는 데이터 정리 과정이 아닌 판매 기능 내에서 사일로에 대해 훨씬 더 큰 대화를 나누는 것으로 해결이 되었습니다.
종종 자신이 본 것이 진실로 간주되는 경우가 있는데 이는 잘못된 것입니다. 새로운 데이터 플랫폼과 비교할 때 재확인하고, 다시 알아보며 정확성에 의심을 두는 것을 두려워하지 말아야 합니다. 제가 진행했던 프로젝트 중 하나는 메인 프레임 시스템을 소스로 사용했으며 매우 중요한 척도 중 하나인 Cost Per Thousand(CPM)에서 불과 몇 센트 떨어져 있었습니다. 이를 수백만 명의 고객 노출을 감안하여 계산한다면 불과 몇 센트에 불과했던 것은 수백만 달러가 추가됩니다. 우리는 가변 크기의 제한으로 인해 이전의 메인 프레임 시스템이 실제로는 새로운 데이터 플랫폼이 하지 않는 특정 숫자를 반올림 한다는 것을 알게 되었습니다. 검증은 실제로 사실을 확인하는 것이지 기존 패러다임과 매칭하는 것이 아닙니다.
무조건 표준화가 좋은 것은 아닙니다.
데이터는 빠르게 진화하고 발전하는 공간으로, 무조건 표준화가 아닌 작업에 맞는 올바른 도구를 사용해야 합니다. 빌더에게 유용성과 피벗을 실험할 수 있는 기회를 제공하십시오.
제가 CTO로 근무했을 때, Amazon S3에서 데이터 저장소를 표준화 했었지만 그 이후에는 데이터베이스, ETL, API 그리고 분석을 통하여 여러 가지를 확인하고 사용하였습니다. 한 가지로는 모든 것에 다 맞지 않습니다.
데이터는 계속 움직여야 합니다.
오래된 데이터는 냄새가납니다! 통합 계층을 데이터 기능의 핵심 부분으로 생각해보십시오. 우리는 데이터 계층을 채우기 위해 같은 API를 사용했습니다. 이를 통하여 유지하고 검증해야 하는 다른 logic이 제거되었으나 더 중요한 것은 고객들에게 배치로드를 기다릴 필요 없이 실시간에 가까운 인사이트를 제공했다는 점 입니다.
강력한 API layer를 사용하면 얻을 수 있는 장점으로 분석 레이어와(analytic layer) 데이터 레이어(Data Layer)간의 추상적인 개념과 유연성을 만들 수 있다는 것입니다. 예를 들어 미디어 산업에서는 더 나은 인벤토리 또는 최적화된 가격을 가진 엔진을 구축할 수 있는 파트너와 지속적인 실험을 하고 있습니다. 소수의 기업들과만 통합하는 것이 아닌 많은 기업들과 함께 실험을 할 수 있는 유연성을 갖추면 비즈니스를 진정으로 차별화할 수 있습니다.
존재하지만 존재하지 않는 “Reporting”을 줄여야 합니다.
“순환 중”이어야 하지만 실제로는 “사용 되지 않는” 리포트를 자동화, 디지털화, 또는 재 작성하여 데이터 플랫폼을 뺏기는 일이 없도록 하십시오. 기업들은 수백 아니 가끔은 수천 개의 보고서가 작성되고 배포하지만 이를 한번도 사용하지 않는 경우도 있습니다. 재무 시스템을 포함한 글로벌 플랫폼으로 교체했을 때 250개 이상의 기존 보고서들이 가려져 있는 것을 발견하였습니다. 우리는 비즈니스 파트너들과 열심히 일하였고 이를 통해 앞서 말한 문제가 많은 사람들이 몇 개의 열을 추가하거나 아니면 다른 형식을 좋아했기 때문에 발생한 단순 변형이라는 것을 알게 되었습니다. 결과적으로 실제 사용되지 않은 200개 이상의 리포트가 하나의 시스템에 존재했던 것입니다.
경영진들이 좋아하여도 특정 주기로 보고서가 생성된다면 실제로 얼마나 실행되는지 그리고 얼마나 사용되는지 확인하는 매커니즘을 만들어야 합니다.
좀 더 세련되고 멋진 방법으로 바꿔보십시오.
대시 보드 그리고 데이터 시각화는 가끔 기존의 보고 공장을 벗어 날수 있는 “고급” 데이터 기능이 아닌, “너무 기초적인”으로 간주될 때가 있습니다. 저는 데이터 기능을 CIO, CTO 또는 CDO가 조직의 다른 직원들이 보고 만질 수 있는 큰 그림을 그릴 수 있게 해주는 강력한 도구라고 생각합니다. 절대 데이터가 데이터 자체로 끝나게 하지 마십시오. 조직 내에서 일어나는 장벽을 허물고 서로 도움을 주며 기업 내에서 고급 데이터 기능을 추진하는 데 필요한 자금을 확실히 확보하는데 사용하십시오.
과거에 저는 voice interface가 가능하여 간단하게 매일 물어볼 수 있는 Alexa skill을 만들었습니다. 그 질문으로는 “어젯밤 premier는 어땠어?” 또는 “이번 시즌에 가장 큰 광고주가 누구야?” 등이 있었습니다. 그리고 이를 Amazon Echo 임원진 사무실에 배치하였습니다. 데이터 플랫폼은 사용자가 “talk” 할 수 있는 것으로 만들어져 훨씬 더 접근하기 쉽고 세련되어 보였습니다.
자 그렇다면 이제 여러분 차례입니다. 여러분은 앞으로 비즈니스에서 어떻게 데이터 기능을 구축하시겠습니까?
저자에 대하여…
Ishit는 AWS의 기업 전략가로서 속도와 민첩성을 높이고, 혁신을 추진하고, 클라우드를 사용하여 고객에게 더 집중할 수 있도록 새로운 운영 모델을 만드는 전략에 대해 기업 경영진과 파트너 관계를 맺고 있습니다. AWS에 입사하기 전에는 클라우드, 아키텍처, 엔터프라이즈 애플리케이션 및 제품, 데이터 분석, 기술 운영 및 사이버 보안 전반에 걸친 글로벌 기술을 담당하는 A+E Networks의 최고 기술 책임자였습니다. 그 곳에서Ishit는 A+E에서 클라우드로의 전환, 민첩성을 위한 재편, 통합 글로벌 금융 시스템 구현, 업계 최고의 데이터 분석 플랫폼 구축, 글로벌 콘텐츠 판매 및 광고 판매 제품 혁신, 운영 비용 대폭 절감 등을 주도했었습니다. CTO로 승진하기 전에는 A+E Networks에서 글로벌 제품, 애플리케이션, 데이터 담당자를 역임했습니다. 그는 또한 이전에 NBC유니버설과 컨설팅 기관에서 지도적 지위를 가지고 있엇으며, A+E Networks에서 “Create Great”이라는 CEO상을 포함한 여러 개의 상을 수상했습니다.
원문 URL: https://aws.amazon.com/ko/blogs/enterprise-strategy/how-to-build-data-capabilities/
** 메가존 클라우드 TechBlog는 AWS BLOG 영문 게재 글 중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 개제하고 있습니다. 추가로 번역 및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS 페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달드리도록 하겠습니다.