SEMINAR
aws re:Invent가 끝난 지 벌써 두 달이 지났지만 re:Invent에서 쏟아져 나온 신기술에 대한 관심은 아직도 현재진행형입니다. 메가존클라우드에서는 18명의 테크 전문가들이 re:Invent 현장에 파견되어 수많은 세션을 직접 참여했는데요, 그중에서도 기업 고객들이 꼭 알아야 하는 핵심만을 뽑아 웨비나에서 전격 공개했습니다.
바로 1월 16일에 진행한 re:Conncet 2024입니다. ‘기술과 비즈니스를 연결한다’는 의미로 이번에 새롭게 시작한 2024 re:Connect 웨비나에서는 고객의 비즈니스에 꼭 필요한 기술은 무엇인지, 어떻게 적용할 수 있을지 테크 전문가들의 생생한 인사이트를 공유하는 자리였습니다. 1,500여 명의 신청자를 기록하며 뜨거운 호응을 얻었던 이번 웨비나에서 어떤 내용들이 주요하게 다뤄졌는지 3가지의 키워드로 간단하게 정리해보려고 합니다. 😊
#AI/ML
re:Invent 2023은 ‘기승전AI다’ 라는 말이 있을 정도로 AI는 re:Invent의 뜨거운 감자였습니다. 이는 AWS의 CEO인 아담 셀립스키의 키노트에서도 확인할 수 있었습니다. 아담 셀립스키는 AI 스택의 각 레이어별로 다양한 업데이트를 소개하며 AWS가 어떻게 인프라, 모델, 그리고 애플리케이션을 통해 AI 라이프사이클을 지원할 수 있는지 강조했습니다.
✅Amazon Q
그중에서도 단연 주인공은 생성형 AI 챗 서비스인 Amazon Q가 아닐까 싶습니다. 사용자가 자연어로 질문을 하면 미리 학습된 방대한 양의 데이터소스를 기반으로 답변을 하는 방식입니다. Amazon Q는 Amazon Bedrock에 의해 구동되는데요, Generative AI 모델에 기반해 최신 정보를 반영하여 질문과 가장 관련성 높은 답변을 제공합니다.
시중에 많은 대화형 챗 서비스가 있습니다. 그중에는 이미 우리에게 친숙한 openAI의 ChatGPT, Google Gemini 등도 있죠. 그러나 이들과의 차이점은 일반 사용자를 대상으로 하는 것이 아닌 기업의 업무를 위해 특별히 설계된 Enterprise Chat Assistant라는 점입니다. 비즈니스 전문가는 데이터 소스 기반으로 콘텐츠를 생성하거나 비즈니스 인사이트를 얻을 수 있습니다. 또한, 개발자는 17년 간 축적된 광범위한 AWS 지식을 기반으로 아키텍처 제안, 코드 디버깅, 최적화 등의 도움을 받을 수 있습니다.
Amazon Q의 장점은 바로 정확성과 보안에 있습니다. 빌트인 RAG를 활용해 자사 데이터 기반으로 정확한 대답을 제공하고 fact-check 기능을 통해 해당 답변을 어디서 참조했는지 확인할 수 있습니다. 또한, 접근 제어 리스트를 제공해 참고할 수 있는 문서를 제한하고 응답 가드레일을 설정할 수 있어 보안에도 탁월합니다.
👉<Amazon Q: 클라우드 비즈니스의 Power Assistant> 세션 다시보기
✅Amazon Bedrock
앞서 Amazon Q가 Amazon Bedrock에 의해 구동된다고 설명드렸는데요, 이번에는 Amazon Bedrock에 대해 더 자세히 알아보려고 합니다. Amazon Bedrock은 다양한 고성능 Foundation Model을 활용해 생성형 AI 애플리케이션을 쉽게 구축할 수 있는 완전관리형 서비스입니다.
Foundation Model이란 대규모의 데이터 세트를 기반으로 학습된 AI 모델입니다. 대표적인 예로 OpenAI의 GPT 시리즈를 생각하시면 됩니다. OpenAI 이외에도 Fondation Model을 서비스하는 주요 AI 회사들이 있습니다. Amazon Bedrock은 그중 AI21 Labs, Anthropic, Cohere, Meta, Stability AI의 모델을 제공하고 있습니다. 특히 이번 리인벤트 기간에는 Anthropic의 최신 모델인 claude 2.1 그리고 Meta의 라마 2 70B가 추가되었습니다.
더불어 응답의 정확성을 높이는 Amazon Bedrock Knowledge Bases 기능이 함께 출시되었습니다. RAG(Retrieval-Augmented Generation) 기능을 통해 자사 데이터를 기반으로 프롬프트를 보강하여 보다 관련성 있고 정확한 응답을 제공할 수 있을 뿐만 아니라 사용자는 응답의 기반이 되는 정확한 텍스트를 검색하여 커스터마이징할 수 있습니다.
생성형 AI가 등장한 이래로 언제나 함께 이야기되어 온 주제가 바로 ‘책임감 있는 AI’가 아닐까 싶습니다. ‘책임감 있는 AI’는 AI를 윤리적이고 합법적인 방식으로 개발하고 사용해야 한다는 접근 방식인데요, AWS는 이러한 노력의 일환으로 Guardrails for Amazon Bedrock을 preview로 출시하였습니다. 사용자는 Guardrails for Amazon Bedrock을 통해 손쉽게 유해 콘텐츠 필터링을 설정하고 회사 정책에 맞는 가드레일을 적용함으로써 고객에게 일관되고 신뢰할 수 있는 응답을 제공할 수 있습니다.
👉<생성형 AI App 개발을 촉진시켜주는 Amazon Bedrock 신규 기능 소개> 세션 다시보기
#Data & Analytics
세 번째 키노트 연사로 나선 AWS 데이터 & AI 서비스 부문 부사장인 Dr. Swami Sivasubramanian은 키노트 발표에서 데이터의 중요성을 거듭 강조했습니다.
✅zero-ETL integration
그중 데이터 영역에서 생성형 AI 못지 않은 발전이 있었다는 평가를 받는 zero-ETL에 대한 소개를 해보려고 합니다.
기존 ETL 방법의 문제점은 데이터를 가져오기 위해서 복잡한 데이터 파이프라인을 구축해야 한다는 것이었습니다. 이는 곧 관리 포인트가 많아지고 작업량이 늘어나서 보안에 취약해질 수 있다는 것을 의미합니다.
이러한 문제점을 개선한 것이 바로 Amazon RDS MySQL과 Amazon Redshift 간의 Zero-ETL 통합입니다. Zero-ETL 통합을 사용하면 ETL 작업을 위해 복잡한 데이터 파이프라인을 구축하고 관리할 필요가 없이 쉽고 빠르게 설정할 수 있고, 데이터 저장 및 전송 중 암호화를 통해서 데이터를 보호하여 안전합니다.
또 한 가지 큰 장점은 바로 유연성인데요. Zero-ETL 통합 기능을 통해 Amazon Redshift에 있는 여러 개의 Amazon RDS MySQL의 데이터를 통합하여 더 간단하게 분석할 수 있고, Amazon DynamoDB 같은 다른 Zero-ETL 통합의 데이터와 함께 동일한 Amazon Redshift 클러스터로 통합도 가능합니다. 이러한 유연성은 많은 애플리케이션에 걸쳐 종합적인 인사이트를 도출하고 조직의 데이터 사일로를 제거하는데 도움이 됩니다.
👉 <Amazon RDS MySQL과 Amazon Redshift 데이터 활용을 위한 zero-ETL integration 소개> 세션 다시보기
✅Amazon Aurora Limitless Database
대용량 데이터 베이스에 대한 수요가 늘어나면서 데이터의 효율적인 저장과 처리에 대한 요구가 발생했습니다. 기존의 Amazon Aurora에서는 읽기 전용 복제본과 샤딩이라는 기술을 사용했습니다. 여기서 샤딩이란 데이터베이스를 분할하여 각 샤드가 독립적으로 작동하는 것을 의미합니다. 샤딩은 확장에 용이하다는 장점이 있지만 쿼리의 복잡성, 트랜잭션의 일관성 유지의 어려움, 여러 노드를 관리하는 것에 대한 어려움 등의 이슈가 있었습니다.
이를 개선하기 위해 발표된 것이 바로 Aurora Limitless Database입니다. Aurora Limitless database는 자동화된 수평 확장을 지원하여 초당 수백만 건의 쓰기 트랜잭션을 처리하고, 단일 Aurora 데이터베이스에서 페타바이트 규모의 데이터를 관리할 수 있습니다.
이번 발표에서 새롭게 도입된 개념이 있습니다. 바로 샤드 그룹(shard group)이라는 건데요, 이를 통해 쓰기 및 읽기를 확장하고 애플리케이션 트래픽을 처리할 수 있게 되었습니다. 샤드 그룹으로 모든 인프라를 캡슐화하여 샤딩된 분산처리를 단일 앤드포인트를 통해 제공한다는 점이 인상적입니다. 기존의 Amazon Aurora에서 15개의 읽기 복제본을 생성할 수 있었지만, 쓰기에 대한 처리는 단일 라이터로 제한되어 있었던 점을 보완했다고 보시면 될 것 같습니다.
Amazon Aurora Limitless Database의 기능을 통해 대규모 데이터를 다루는 기업들이 높은 성능과 확장성을 달성할 수 있을 것으로 기대됩니다.
👉 <Amazon Aurora Limitless Database 소개> 세션 다시보기
#Cloud Operation
✅CloudWatch
AWS 리소스를 모니터링하거나 로그를 확인을 할 때 CloudWatch를 사용하고 계실 텐데요, CloudWatch는 AWS 인프라 환경에서 이러한 데이터를 확인하는데 있어 가장 접근성이 뛰어난 모니터링 서비스입니다. re:Invent에서는 Query Generator와 Pattern Analysis 기능이 추가되었습니다. 그중 Query Generator는 Cloudwatch Log Insights에 추가된 기능입니다.
Log Insights는 빠른 대화형 쿼리를 위한 엔진으로, 기존에는 일반적인 SQL문이 아닌 AWS에서 제공하는 별도 쿼리문을 사용해야 해서 쿼리 언어에 대한 학습이 필요하다는 단점이 있었습니다. 그러나 이제 AI를 기반으로 하는 Query Generator를 통해 쿼리에 대한 전문적인 지식이 없어도 일반 언어로 질의하고 쉽고 빠르게 데이터를 조회할 수 있습니다.
Pattern Analysis는 Metric Insight에 추가된 기능인데요, Log Insight가 텍스트 기반의 로그파일을 분석하는 기능이라면 Metric Insight는 CPU 사용률이나 메모리 사용량과 같은 수치 데이터를 분석할 때 사용합니다. Metric Insight의 단점은 자동으로 쿼리를 생성해주는 빌더 기능의 접근성이 다소 떨어진다는 것이었습니다. 이번에 추가된 Pattern Analysis를 사용하면 쿼리 결과에서 반복되는 패턴을 찾아 자세히 분석하고 원하는 결과값을 빠르게 찾아낼 수 있습니다. 이러한 기능들을 잘 사용하면 빠르게 결과를 확인해야 하는 긴급 이슈 상황이나 주기적으로 특정 데이터를 추출해야 하는 경우에 유용할 것으로 보입니다.
👉 <Amazon CloudWatch 신규 업데이트 기능 소개: 접근성 & 비용 효율성> 세션 다시보기
✅myApplication
AWS 콘솔에서 새로운 고객 경험을 제공하는 myApplication이 출시되었습니다. myApplication은 애플리케이션의 상태, 비용, 보안 및 성능 등에 대한 다양한 지표를 한 눈에 확인할 수 있는 새로운 기능입니다.
myApplication에서는 다음과 같이 사용량과 비용을 시각화하여 확인할 수 있습니다. 애플리케이션 담당자는 비용 변화에 대한 모니터링을 하고 특이사항을 쉽게 찾아낼 수 있을 것입니다.
이외에도 보안, 데브옵스, 컴퓨트 등 다양한 위젯이 제공되는데요, 모니터링하고자 하는 리소스와 위젯을 선택해서 애플리케이션을 더욱 편리하게 관리하고 모니터링 할 수 있습니다.
자, 이렇게 해서 re:Connect 웨비나에서 다뤄진 주요 내용을 간략하게 정리해 보았습니다. re:Invent 2023에서 진행된 세션은 무려 2,000여 개에 달한다고 합니다. 개별 세션을 모두 듣고 파악하는 건 불가능에 가까울 것 같은데요, 메가존클라우드의 테크 전문가들이 re:Connect 2024에서 핵심만을 모아 깔끔하게 정리해드렸습니다. 오늘 글을 통해 소개해드린 내용 이외에도 놓치면 안 되는 신기술과 신기능이 아직 남아있으니까요, 지금 바로 다시보기로 확인해 보세요!
👀re:Connect 2024 다시보기
– 신기술, 신기능 Part 1 : https://youtu.be/PAnFfH9VoVc
– 신기술, 신기능 Part 2 : https://youtu.be/U7SRmYgYPqk
– Hands-On : https://youtu.be/B6QiKDy8YKA
– Summary : https://youtu.be/V6NGwPPpItg
– Panel talk : https://youtu.be/JAHKpQNn0YQ
📝더 많은 세션 후기를 확인해 보세요.
👩💻메가존클라우드에 궁금한 점이 있다면?
메가존클라우드에서는 기업의 워크로드에 맞는 다양한 서비스를 제안하고 구축해드리고 있습니다. re:Invent에서 소개된 다양한 기술과 기능 중 도입해보고 싶거나 상담을 원하시는 기술이 있다면 언제든지 문의 부탁드립니다.
글 ｜ 메가존클라우드 마케팅그룹 최은영 매니저