BLOG

AWS re:Invent 2022 세션 후기 #55 – 신규 업데이트
작성일: 2022-12-06
[DAT328] [NEW LAUNCH!] Enabling operational analytics with Amazon Aurora and Amazon Redshift engines

연사 : Neeraja Rentachintala, Adam Levin

일시: 2022.12.01 12:30 – 13:30

장소: Level 2 South, Oceanside D, Mandalay Bay

작성자 : 메가존클라우드 Mass Migration Center 김권환 매니저

 

 

운영 분석을 위해서 Amazon Aurora의 트랜잭션 데이터를 새로운 Zero-ETL로  Amazon Redshift 로 파이프라인을 구축해

실시간에 가까운 분석 및 머신러닝을 사용할 수 있는 기술에 대한 세션이었습니다.

 

 

Amazon Aurora 에서 Amazon Redishift 로 데이터 파이프라인을 구축하기 위한 기존 아키텍처로 데이터 엔지니어의 역할이 큰 상황입니다.

 

 

Amazon Aurora Zero-ETL 기능을 사용 했을 때 데이터 엔지니어로 구성해야 되는 파이프라인 아키텍처의 그림 입니다.

 

 

Zero-ETL 의 이점으로는 쉽고 안전하게 데이터 파이프라인 구축이 가능하고 실시간에 가까운 데이터 분석이 가능합니다.

 

 

또한 Zero-ETL 은 Aurora Serverless v2 와 Redshift Serverless 간에도 적용 가능합니다.

 

 

Zero-ETL 아키텍처는 위의 그림과  같습니다.

  • Zero-ETL 은 Aurora storage 에서 Change data capture (CDC) 를 이용해서 데이터를 Redshift storage 로 실시간에 가까운 속도로 전송합니다.
  • 데이터에 더해서 자동으로 모니터링하고 복구합니다.

 

 

Amazon Aurora Zero-ETL to Amazon Redshift 는 아래와 같습니다.

  • 페타바이트급의 트랜잭션 데이터를 거의 실시간 분석을 위해 Amazon Redshift 를 사용할 수 있도록 완전 관리형 Amazon Aurora 의 기능
  • Amazon Aurora 에 트랜잭션 데이터가 기록된 후 몇 초 이내에 Amazon Redshift 에서 데이터를 사용 가능
  • 트랜잭션 데이터를 거의 실시간으로 Amazon Redshift 분석 과 머신런닝으로 사용 가능

 

 

기존의 Amazon Aurora 의 트랜잭션 데이터를 분석하기 위해서는 많은 단계의 파이프라인 환경을 만들고 전송이 오래걸렸지만, 새로운 Zero-ETL 기능으로 간단하게 Amazon Redshift 으로 빠르게 전달해서 빠른 데이터 분석이 진행 가능해 효율성이 증가되었습니다.

 

👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/

 

👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!

🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기

🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기

🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기

🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기

 

✅1. 데이터 보호 세션 후기 확인하기

✅2. 마이그레이션 세션 후기 확인하기

✅3. 현대화 (Modernization)세션 후기 확인하기

✅4. SAP 세션 후기 확인하기

✅5. 쿠버네티스 세션 후기 확인하기

✅6. 마이그레이션2 세션 후기 확인하기

✅7. 분석 세션 후기 확인하기

✅8. AI/ML 세션 후기 확인하기

✅9. AI/ML 2 세션 후기 확인하기

✅10. 현대화 (Modernization) 2 세션 후기 확인하기

✅11. 현대화 (Modernization) 3 세션 후기 확인하기

✅12. Data Lakes 세션 후기 확인하기

✅13. 네트워킹 세션 후기 확인하기

✅14. 마이그레이션3 세션 후기 확인하기

✅15.비용 최적화 세션 후기 확인하기

✅16. 보안 세션 후기 확인하기

✅17. SAP 2 세션 후기 확인하기

✅18. 마이그레이션4 세션 후기 확인하기

✅19. DevOps 세션 후기 확인하기

✅20. 신규업데이트 세션 후기 확인하기

✅21. 스토리지 세션 후기 확인하기

✅22. Amazon 세션 후기 확인하기

✅23. 신규업데이트2 후기 확인하기

✅24. 거버넌스 후기 확인하기

✅25. 거버넌스2 후기 확인하기

✅26. DevOps 2 후기 확인하기

✅27. AI/ML 3 세션 후기 확인하기

✅28. 분석2 세션 후기 확인하기

✅29. 쿠버네티스2 세션 후기 확인하기

✅30. 분석 3 세션 후기 확인하기

✅31. 서버리스 컴퓨팅 세션 후기 확인하기

✅32. 신규 업데이트 3 세션 후기 확인하기

✅33. 신규 업데이트 4 세션 후기 확인하기

✅34. 보안 2 세션 후기 확인하기

✅35. 분석 4 세션 후기 확인하기

✅36. 모니터링 세션 후기 확인하기

✅37. AI/ML 4 세션 후기 확인하기

✅38. 운영 세션 후기 확인하기

✅39. 운영 2 세션 후기 확인하기

✅40. 데이터베이스 세션 후기 확인하기

✅41. 데이터베이스 2 세션 후기 확인하기

✅42. 보안 3 세션 후기 확인하기

✅43. SaaS 세션 후기 확인하기

✅44. 컴퓨팅 세션 후기 확인하기

✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기

✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기

✅47. 아키텍처 세션 후기 확인하기

✅48. SAP 3 세션 후기 확인하기

✅49. 고객사례 세션 후기

✅50. SAP 4 세션 후기 확인하기

✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기

✅52. 보안 4 세션 후기 확인하기

✅53. 보안 규정 세션 후기 확인하기

✅54. 데이터베이스 3 세션 후기 확인하기

✅55. 신규 업데이트 5 세션 후기 확인하기

✅56 .DevOps 3 세션 후기 확인하기

✅57. 분석 5 세션 후기 확인하기

✅58. AI/ML 5 세션 후기 확인하기

✅59. DevOps 4 세션 후기 확인하기

✅60. 신규업데이트 6 세션 후기 확인하기

✅61. 분석 6 세션 후기 확인하기

✅62. 데이터 보호 세션 후기 확인하기

✅63. AI/ML 6 세션 후기 확인하기

✅64. DevOps 5 세션 후기 확인하기

✅65. 신규업데이트 7 세션 후기 확인하기

✅66. 신규 업데이트 8 세션 후기 확인하기