메가존클라우드가 들려주는 AWS re:Invent 2021 리얼 세션 후기 #12

BLOG

작성일: 2021-12-09

#Athena #LakeFormation #AWSGluePartitionIndexes

지환 : 여러분 안녕하십니까. 라스베이거스 현지에 나와 있는 메가존클라우드 현지환 이라고 합니다. 리인벤트 둘째 날은 키노트 이후로 더 많은 내용이 추가되면서 더 많은 이야기를 찾아다니느라 정신없던 하루가 아니었나 싶습니다.

리포터 곽보현 님과 함께 그 혼돈 속에서 건진 세션에 대해서 잠시 이야기를 나눠 보겠습니다.

안녕하세요 보현님.

보현 : 안녕하세요. 곽보현 입니다.

지환 : 오늘 리인벤트 둘째 날 키노트 이후로 새로운 세션이 많이 추가 되면서 정말 정신 없으셨죠?

보현 : 키노트가 종료될 즈음에 많은 세션이 새로 추가 되어서 원래 예약했던 세션이 아니라 다른 세션을 찾아다니는 분들이 많아져서 정말 정신없던 하루였었던 것 같습니다. 저는 그래도 기존에 예약했던 세션을 들었고 해당 세션을 소개하고 추천해 드리고자 합니다.

지환 : 새롭게 추가되는 세션에도 원래 듣고 싶었던 세션을 찾아가셨다니 어떤 세션인지 궁금해 지네요. 소개해 주시겠습니까?

보현 : ‘What’s new with Amazon Athena’이라는 세션입니다. 아시다시피 Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. 확장성이 뛰어난 완전 관리형 분석 서비스인 Amazon Athena가 고객이 실제 서비스에서 어떻게 사용하고 있는 가에 대한 사례와 Amazon Athena의 향후 계획에 대해서 들을 수 있었던 세션이었습니다.

지환 : 새로운 기능에 대해서도 이야기가 있었다고 하던데요.

보현 : 네, 맞습니다. AWS Glue Partition Indexes 기능이 바로 그것이었습니다. 메타 데이터 전송을 낮추고 쿼리 성능을 향상하고 AWS의 다양한 서비스인 Amazon Athena, Amazon EMR, Redshift Spectrum, Glue ETL jobs 등 여러 엔진 지원한다고 합니다.

그리고 Amazon Athena 자체가 Step Function과 통합 운영이 가능하고 Cloudwatch에 ActiveQueryCount 지표를 제공해서 Amazon Athena 사용량을 하나의 지표로 볼 수 있어서 더욱 높은 가시성 제공을 제공한다고 합니다.

지환 : 더 많은 것을 제공하는 만큼 자체 성능도 훨씬 나아졌겠군요?

보현 : 네, S3와 매개하는 서비스인 만큼 그 연관된 부분에서 비약적인 성능 향상이 있었다고 하는데요. S3 데이터 Read 속도가 무려 2-3배 빨라졌다고 합니다.

Lake Formation Fine-Grained security 제공으로 행, 열 별로 접근제어가 가능하게 되면서 더욱 높은 활용도를 얻게 되었다고 합니다.

지환 : 확실히 데이터와 관련된 서비스에 대해서 AWS가 어떤 포지션을 갖고 있는지를 알 수 있는 것 같습니다. 마지막으로 해당 세션에 대해서 정리 해주시겠습니까?

보현 : Amazon Athena를 사용하고 있는 분들에게 추천하고 싶은 세션입니다. Amazon Athena 사용 시 겪는 퍼포먼스 이슈에 대해 Icebug사에서 극복한 사례를 들어 볼 수 있습니다. 더불어 새로운 기능과 향후 Amazon Athena가 지향하고 있는 발전 방향을 통해 어떻게 활용할 것인가를 생각해 볼 수 있는 세션이니 꼭 한 번 찾아보시면 좋을 것 같습니다.