RESOURCES

 

저희는 최근 Amazon Redshift에 새로운 기능을 추가하는 작업 때문에 매우 바빴습니다. 지난 1년 동안 무엇을 했는지 보여 드리고자 하는데, 이 기사에서는 몇 가지 향상된 기능을 요약하고 더 많은 정보를 확인하고 Amazon Redshift 구축 환경을 최대한 활용하는 데 사용할 수 있는 리소스 집합을 제공합니다.

 

2017년에만 한 해만도 Amazon Redshift에 대한 발표가 30개가 넘었습니다. 고객의 의견을 들어 본 적이 있으며, 데이터를 이동하지 않고도 데이터 분석 기능을 확장할 수 있는 Amazon Redshift Spectrum도 제공했습니다. 우리는 DC2노드를 새로 출시하여 동일한 가격에 성능을 두 배로 높였습니다. 또한 확장성, 성능, 자동화 향상 및 Analytics 워크 로드 관리를 위한 간편한 방법을 제공하는 새로운 기능들을 많이 발표했습니다.

 

우리가 런칭한 서비스의 전체 목록을 보려면 what’s new 페이지를 방문하고 RSS피드를 구독하세요.

 

2017년도 주요 런칭

Amazon Redshift Spectrum—데이터이동 없이 데이터 공간의 분석기능을 확장하세요!

 

Amazon Redshift Spectrum 을 출시해 데이터를 Amazon S3에 자유롭게 파일 형식으로 저장할 수 있도록 했으며, Amazon Redshift 클러스터에 데이터를 로드할 필요 없이 분석에 사용할 수 있습니다. 이를 통해 여러 가지 데이터 세트를 Redshift 클러스터 및 S3에 쉽게 결합할 수 있으므로 독립적인 데이터 사일로를 쿼리 하여서는 얻을 수 없는 고유한 통찰력을 제공받을 수 있습니다.

Redshift 스펙트럼을 사용하면 Amazon S3 데이터 공간에서 데이터에 대해 SQL쿼리를 쉽게 실행할 수 있으며, Amazon Redshift에 저장된 데이터를 분석할 수 있습니다. 또한 데이터를 로드하거나 데이터 볼륨 증가에 따라 Amazon Redshift 클러스터의 크기를 조정할 필요 없이 이를 수행할 수 있습니다. Redshift 스펙트럼은 컴퓨팅과 스토리지를 분리하여 데이터 크기, 동시성 및 성능에 대한 워크 로드 수요를 충족합니다. Redshift 스펙트럼은 수 천 개의 노드에 걸쳐 처리 속도를 확장하므로, 방대한 데이터 셋과 복잡한 쿼리를 통해서도 신속하게 결과를 얻을 수 있습니다. 이미 Apache Avro, CSV, Grew, ORC, Apache Parquet, RCFile, RegedVer, Sequence File및 TSV 등의 파일 형식을 Amazon S3에서 데이터 이동 없이, 오픈파일 포맷을 쿼리할 수 있습니다.

 

NUVIA 의 CEO Rafi Ton 은 “복잡한 쿼리에 관하여는 Redshift Spectrum 이 67%의 퍼포먼스 향상을 제공하였다. Parquet data format 을 사용하여서 Redshift Spectrum 은 80%의 성능향상을 보여줬고 이것은 우리에게도 충분하였다.” 고 말했습니다.

 

Redshift Spectrum 에 대하여 더 알고 싶으면 AWS Summit 의 세션인 Intro to Amazon Redshift Spectrum: Now Query Exabytes of Data in S3 를 보거나 블로그 포스팅인 Amazon Redshift Spectrum – Exabyte-Scale In-Place Queries of S3 Data를 보세요.

 

DC2노드– DC1의 성능을 동일한 가격으로 2배 향상시키세요!

저희는 2세대 고밀도 컴퓨팅(DC2)노드를 출시하여 까다로운 데이터 웨어하우스 워크 로드에 대한 짧은 대기 시간과 높은 처리량을 제공할 수 있었습니다. DC2노드는 강력한 IntelE5-2686 v4(브로드 벨트)CPU, 고속 DDR4메모리 및 NVM-e기반 SSD를 특징으로 합니다. 우리는 DC2노드에서 더 나은 CPU, 네트워크 및 디스크를 활용하도록 Amazon Redshift를 조정하여 동일한 가격에 DC1의 최대 2배 더 뛰어난 성능을 제공합니다. 이제 DC2.8xlarge 인스턴스는 데이터 조각당 2배 더 많은 메모리를 제공하고 스토리지 레이아웃을 최적화하여 스토리지 활용률을 30% 높입니다.

 

“Redshift는 우리가 클러스터를 빠르게 구축하고 데이터 연구자들에게 데이터에 빠르고 쉬운 액세스와 통찰력을 제공할 수 있게 해 줍니다.”라고 Liberty Mutual의 기술 설계자 Bradley Todd 가 말합니다. “DC1과 비교할 때, Redshift DC2노드를 사용하면 월말 보고 시간이 9배나 단축되는 것을 볼 수 있습니다.” 고 덧붙였습니다.

 

퍼포먼스 향상– 3~5배의 쿼리속도 향상

평균적으로 우리 고객은 대부분의 주요 워크 로드에서 3배에서 5배의 성능 향상을 경험하고 있습니다.

 

우리는 리포트, 대시보드 및 대화형 분석과 같은 쿼리 실행 속도를 높이기 위해 짧은 쿼리 가속화를  도입했습니다. 짧은 쿼리 가속화는 시스템 학습을 사용하여 쿼리의 실행 시간을 예측하고, 빠른 실행 쿼리 처리를 위해 short query 열로 이동합니다.

 

대시 보드, 시각화, BI툴의 쿼리 등 반복되는 쿼리에 대한 1초 미만의 응답 시간을 제공하기 위해 결과 캐싱을 시작했습니다. 결과 캐싱은 리소스를 확보하여 다른 모든 쿼리의 성능을 향상시킬 수 있다는 이점이 추가되었습니다.

 

또한, 우리는 다음 열에 데이터 블록을 가져오기 전에 서술적 필터를 사용하여 쿼리를 스캔하는 데이터 양을 줄이기 위해 데이터를 늦게 구체화하는 방법을 도입했습니다. 예를 들어 테이블 행의 10%만 서술 필터를 충족하는 경우 Amazon 빨간 색 시트는 나머지 열에 대한 I/O의 90%를 저장하여 쿼리 성능을 향상시킬 수 있습니다.

 

저희는 또한 쿼리 모니터링 규칙 및 기 정의된 규칙을 적용한 템플릿을 런칭했습니다. 이러한 기능을 사용하면 WLM(작업량 관리)쿼리의 메트릭 기반 성능 경계를 설정하고 쿼리가 이러한 경계를 초과할 때 수행할 작업을 지정할 수 있습니다. 예를 들어, 짧은 실행 쿼리 전용 대기 열의 경우 60초 이상 실행되는 쿼리를 중단하는 규칙을 생성할 수 있습니다. 잘못 설계된 쿼리를 추적하려면 중첩된 루프가 포함된 쿼리를 기록하는 다른 규칙을 적용해야 할 수도 있습니다.

 

고객 인사이트

아마존 Redshift와 Redshift 스펙트럼은 스타트업에서 대기업에 이르기까지 다양한 업종과 규모의 고객에게 서비스를 제공합니다. 고객 페이지를 방문하여 고객들이 최근에 향상된 기능을 통해 성공을 거두고 있는지 확인하세요. Liberty Mutual 보험회사와 같은 회사들이 DC2노드를 이용하여 월말 보고 시간이 어떻게 줄었는지 알아보세요. 이 페이지에서는 고객이 Amazon Redshift를 사용하여 혁신과 비즈니스 결과를 추진하는 방식을 보여 주는 사례 연구, 비디오 및 기타 콘텐츠를 찾을 수 있습니다.

 

또한 다음 리소스를 확인하여 고객이 Amazon Redshift와 함께 데이터 웨어하우스 및 데이터 공간 통합 솔루션을 어떻게 구축하고 있는지 확인하세요.

 

• Sysco: Developing an Insights Platform – Sysco’s Journey from Disparate Systems to a Data Lake and Beyond(re:Invent session recording)
• 21^st Century Fox: Migrating Your Traditional Data Warehouse to a Modern Data Lake (re:Invent session recording)
• Cerberus Technologies: How I built a data warehouse using Amazon Redshift and AWS services in record time(blog post)
• NUVIAD: Using Amazon Redshift Spectrum, Amazon Athena, and AWS Glue with Node.js in Production (blog post)
• Periscope Data: Making Every Redshift Query Valuable with Periscope Data (This is My Architecture episode)
• Lyft Case Study
• Boingo Wireless Case Study

 

파트너 솔루션

업계 최고의 전문가들과 협력하면 Amazon Redshift 데이터 웨어 하우스를 향상시킬 수 있습니다. 우리의 APN(AWS Partner Network)파트너는 Amazon Redshift와 협력하는 솔루션을 인증했습니다. APN은 모든 단계에서 여러분을 돕기 위해 소프트웨어, 툴, 통합 및 컨설팅 서비스를 제공합니다. Amazon Redshift 파트너 페이지를 방문하여 APN파트너를 선택합니다. 또는 AWS Marketplace를 사용하여 3rd 파티 소프트웨어를 찾아 즉시 사용할 수 있습니다.

 

앞서 언급한 Amazon Redshift 스펙트럼과 DC2노드에 대한 파트너의 의견을 확인하려면 다음 블로그 게시물을 읽어 보십시오.

 

• Looker: Using Amazon Redshift’s new Spectrum Feature
• Matillion: Accessing your Data Lake Assets from Amazon Redshift Spectrum
• Periscope Data: Amazon Redshift’s Hardware Upgrade Improves Query Speed by up to 5x
• Reflect: The Implications of Redshift Spectrum
• SnapLogic: Integrate through the big data insights gap
• Tableau: Tableau 10.4 Supports Amazon Redshift Spectrum with External Amazon S3 Tables

 

Resources

 

Blog posts

AWS Big Data Blog 에 있는 Amazon Redshift 기사 목록을 확인하십시오.

 

• Amazon Redshift Spectrum Extends Data Warehousing Out to Exabytes—No Loading Required
• 10 Best Practices for Amazon Redshift Spectrum
• Top 8 Best Practices for High-Performance ETL Processing Using Amazon Redshift
• Analyze Database Audit Logs for Security and Compliance Using Amazon Redshift Spectrum
• From Data Lake to Data Warehouse: Enhancing Customer 360 with Amazon Redshift Spectrum

 

YouTube videos

 

• re:Invent session recording: Best Practices for Data Warehousing with Amazon Redshift
• AWS Online Tech Talk: Analyze your Data Lake, Fast @ Any Scale
• AWS Online Tech Talk: Amazon Redshift Spectrum: Quickly Query Exabytes of Data in S3

 

GitHub

당사의 전문가 커뮤니티는 사용자가 구축 과정을 최대한 활용할 수 있도록 팁과 힌트를 제공하기 위해 GitHub에 도움을 제공합니다. GitHub을 자주 방문하여 최신 기술, 코드 샘플, 관리 작업 자동화 유틸리티, 분석 및 진공 스키마 유틸리티 등을 확인하세요.

 

고객 지원
Amazon Redshift와 를 사용한 PoC 를 고려하고 있거나 내부 또는 기타 클라우드 기반 데이터 웨어 하우스를 Amazon Redshift로 마이그레이션 하는 데 도움이 필요한 경우에는 제품 전문가 및 솔루션 설계 팀이 스토리지 설계를 최적화할 수 있습니다.

 

만약 아마존 Redshift고객이라면, 무료 헬스 체크 프로그램 또한 제공합니다. 데이터베이스 엔지니어와 SA들로 이루어진 팀은 당신의 특정 워크로드를 위해 Amazon Redshift 와 Amazon RedShift 스펙트럼을 최적화하기 위한 권장 사항들을 제공합니다.

 

원문 URL: https://aws.amazon.com/ko/blogs/big-data/amazon-redshift-2017-recap/

 

** 메가존 TechBlog는 AWS BLOG 영문 게재글중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.