메가존클라우드가 들려주는 AWS re:Invent 2021 리얼 세션 후기 #6

BLOG

작성일: 2021-12-01

지환 : 여러분 안녕하십니까. 라스베이거스 현지에 나와 있는 메가존클라우드 현지환 이라고 합니다. 리인벤트 첫 날에도 머신러닝은 여전히 중요한 화두 인 것 같습니다. 여기저기 굉장히 많은 세션이 보이더군요.

이번 시간에는 리포터 성순모 님을 모셔서 잠시 이야기를 나눠 보겠습니다.

안녕하세요 순모님.

순모 : 안녕하세요. 성순모 입니다.

지환 : 오늘 리인벤트 첫 날 세션은 어떠셨나요?

순모 : 머신러닝에 관심이 많고 주 업무 분야라 그쪽 관련 내용을 찾아보는데 인기도 많고 많아서 어떤 세션을 고르는 것이 더 나을지 고민하는게 제일 어려웠던 것 같습니다. 더군다나 머신러닝 워크샵은 한시간이 아니라 3~4시간 소요되는 것도 있어서 더욱 그랬던 것 같습니다. 제가 경험한 워크샵이 있어서 소개하고 추천해 드리고자 합니다.

지환 : 와 3~4시간이라고요? 대단하군요. 어떤 워크샵인지 정말 궁금하네요. 소개해 주시겠습니까?

순모 : ‘Using Hugging Face Models on Amazon SageMaker’라는 워크샵 세션입니다.

허깅페이스 라이브러리를 통해 실제 모델을 훈련하는 워크샵입니다. 요즘 딥러닝 생태계를 지배하고 있는 Transformer를 쉽게 적용해볼 수 있습니다. 30분가량 세이지메이커, 분산학습, 허깅페이스, NLP에 대해서 설명하고 바로 실습으로 넘어갑니다. 실습시작화면에서 허깅페이스와 아마존이 협업하는 것을 느낄 수 있었습니다. 이벤트엔진을 통해 더욱 편리하게 세이지메이커를 실습할 수 있었습니다. 모델 훈련과 Deploy 두 부분으로 구성된 워크샵이었습니다

지환 : 무엇보다 데이터가 중요할텐데 어떻게 진행되었나요?

순모 : 네, 맞습니다. 기본적인 컨셉은 S3에 올린 데이터를 통해 training script를 통한 training job을 실행하는 구성으로 되어 있었습니다.

세부 세션1에서는 모델 훈련을 진행했습니다. training job을 통해 훈련된 모델을 deploy(end point)하는 것까지 실습합니다. 첫번째 랩은 머신러닝에서 가장 중요한 classification을 실습하였고, 기본적인 머신러닝 모델의 훈련 플로우를 배울 수 있습니다. 데이터의 사이즈는 700MB 정도이고 중요 코드는 아래와 같습니다. instance type과 하이퍼파라미터를 쉽게 설정할 수 있습니다.

지환 : 와 첫번째 세션부터 간단하지는 않군요! 모델 설정이 되었다면 다음은 본격적인 학습을 진행했겠군요. 흥미진진 합니다.계속 설명해 주시죠.

순모 : 네, 두번째 랩에서는 분산학습을 실습합니다. 기본적인 코드는 첫번째 랩과 거의 같고 분산학습을 위한 코드는 아래와 같습니다.

세부 세션2에서는 본격적으로 모델 Deploy를 진행하였습니다. 이미 훈련이 끝나서 공개된 모델을 다운로드받아 S3에 올려서 모델을 deploy하는 실습입니다. 그 중 첫번째 랩 인 real time inference에서는 훈련된 모델을 s3에 업로드합니다.

그리고 inference instance를 설정합니다.

위의 predictor를 통해 쉽게 Inference 결과를 얻을 수 있습니다.

두번째 랩에서는 batch transformation를 진행합니다. 첫번째 랩과 거의 같고 아래의 코드만 다릅니다.

지환 : 정말 자세히 말씀해 주셔서 감사합니다. 대략적으로 어떤 순서로 진행이 되는지 전공자가 아님에도 머리에 다 그려지네요. 한국에 돌아가면 저도 랩을 한 번 해봐야겠습니다. 마지막으로 해당 세션에 대해서 정리 해주시겠습니까?

순모 : 이번 워크샵을 통해 기본적인 머신러닝 모델 훈련방법부터 모델 Deployment까지 배울 수 있었습니다. 또한 분산학습, real-time inference, 그리고 batch transformation의 적용법을 실습할 수 있습니다. 머신러닝의 기본이론보다는 실무에 필요한 기초부터 심화까지 한번에 배우기 좋았습니다. 너무 만족스럽네요.