BLOG
| [AIM321] Productionize ML workloads using Amazon SageMaker MLOps, feat. NatWest
연사 : Shelbee Eigenbrode, Greig Cowan, Usman Anwer 일시: 2022.11.30 16:45 ~ 17:45 장소: Level 1 North, Islander F, Mandalay Bay 작성자 : 메가존클라우드 Data Business Center 김윤희 매니저 |
MLOps 도구는 ML 라이프사이클 전반에 걸쳐 프로세스를 자동화 및 표준화하여, ML 모델을 보다 신속하게 생산하고 생산 시 모델 품질을 유지할 수 있도록 지원합니다.
Amazon SageMaker는 ML 모델을 규모에 맞게 교육, 테스트, 문제 해결, 배포 및 관리할 수 있는 다양한 MLOps 도구를 제공합니다.
이 세션에서는 SageMaker Pipeline, SageMaker Projects, SageMaker Experimentals, SageMaker Model Registry 및 SageMaker Model Monitor를 비롯한
Amazon SageMaker MLOps 기능을 살펴보면서 자동화를 높이고 ML 워크플로우의 품질을 개선하는 방법에 대해 알아 보았습니다.
MLOps는 규모에 맞는 고성능 ML 모델을 지속적으로 더 빠르게 제공함으로써 다음과 같은 이점들을 갖게됩니다.
- Agility : 더 빠른 반복 및 사용 편의성
- Quality : 고성능 모델
- Economy : 시간 및 비용 절감
MLOps 사용 사례 중 하나는 다음과 같이 Develop, Deploy 단계로 이루어져 있습니다.
Develop 단계에서는 환경 프로비저닝, 실험 수행이 이루어집니다.
Deploy 단계에서는 모델 학습 자동화, 모델 패키지 및 테스트, 모델 배포 및 모니터링을 수행하게 됩니다.
고객에게 제공되는 실질적 이점들은 다음과 같습니다.
- 출시시간을 약 4배 빠르게 단축 가능
- 약 85% 재사용이 가능한 ML 솔루션 및 아티팩트
- 약 8배 감소된 FTE 오버헤드
템플릿을 사용하여 표준화하는 방식은 다음과 같습니다.
[데이터 사이언티스트를 위한 원클릭 환경 프로비저닝]
- Best practices에 따라 소스 제어 작업 방향 표준화
- 데이터 사이언티스트에게 노트북 및 시드 코드 제공
- 개발 계정을 위한 CI/CD 파이프라인 설정 (“코드로서의 ML Infrastructure”)
[Github에서 사용자 정의 템플릿 라이브러리 증가]
ML 실험을 관리하는 방식은 다음과 같습니다.
[Top 피드백]
- IDE에서 로깅 사용
- 개념 단순화 (Experiments/Trials/Trial Components)
- 실험 시각화, 비교, 공유
- HPO 실험 지원 (parallel coordinate 차트 등)
- Model Registry/MLOps와 더 나은 통합
모델 개발 자동화하는 방식은 다음과 같습니다.
[모델 학습 워크플로우 자동화]
- ML 관련 : 데이터 처리, 모델 학습, 모델 평가
- 서버리스 : 인프라를 관리할 필요가 없음
- 내결함성 : 내장된 캐싱, 재시도 및 오류 처리
- 통합성 : 감사성과 재현성을 위해 SageMaker에 기록된 파이프라인 실행
[새로운 기능들]
- SageMaker 파이프라인 로컬 모드
- SageMaker Autopilot 단계
- 교차 계정 검색과 활성화
- 간소화된 Python SDK
[테스트를 위한 로컬 모드]
로컬 모드의 SageMaker Job 내에서 적은 데이터셋으로 전처리 후 모델 학습하고 적은 데이터셋으로 배치 변환하는 과정을 통해
파이프라인을 테스트할 수 있습니다. SageMaker 로컬 모드 테스트의 이점은 다음과 같습니다.
- Agility : 시작 시간을 발생 없이 파이프라인 정의를 신속하게 테스트
- Economy : 클라우드 인스턴스 실행 비용 없이 파이프라인 정의 테스트
[AutoML 지원]
AWS의 다양한 서비스들은 SageMaker AutoML을 더 유연하고 확장 가능 하도록 지원합니다. (ex. AWS Lambda, S3, 등)
[교차 계정 공유]
교차 계정 공유의 이점은 다음과 같습니다.
- Agility : 여러 계정에 로그인할 필요 없이 AWS 계정 전반에 걸쳐 자동화 가능
- Economy : 엔터프라이즈 계정 간 파이프라인 중복으로 인한 “Pipeline jungles” 부채 방지
[SDK 단순화]
[운영 모델 모니터링]
운영중인 데이터와 모델들을 다양한 지표를 통해 모니터링이 가능합니다. 운영 모델 모니터링을 통해 데이터 품질, 모델 품질 모니터링이 가능하며
추가로 Amazon SageMaker Clarify와의 통합으로 모델 편향, 모델 설명력까지 모니터링이 가능합니다.
[배치 추론]
정의된 스케줄에서 배치 추론을 위한 모델 품질, 편향, 피쳐 드리프트를 모니터링합니다. 배치 추론 모니터링을 통해 얻을 수 있는 이점은 다음과 같습니다.
- Agility : 배치 추론 결과를 지속적으로 모니터링하여 성능이 저하될 때 팀에 알리거나 최신 데이터로 모델을 재 학습
- Economy : 모델 성능 저하가 애플리케이션에 미치는 다운스트림 영향 최소화
규모에 맞는 ML 채택을 위한 지표들은 다음과 같습니다.
- End-to-end 솔루션의 신속한 제공
- 데이터 검색 및 접근 간소화
- 단순화된 ML모델의 경로로 작동
- 최종 사용자의 셀프서비스 환경 조성
MLOps 워크로드를 실질적으로 조직에 반영하기 위해 고려해야할 부분, 실질적 이점과 기대효과 등을 배울 수 있었습니다.
👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/
👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!
🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기
🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기
🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기
🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기
✅3. 현대화 (Modernization)세션 후기 확인하기
✅4. SAP 세션 후기 확인하기
✅5. 쿠버네티스 세션 후기 확인하기
✅7. 분석 세션 후기 확인하기
✅8. AI/ML 세션 후기 확인하기
✅10. 현대화 (Modernization) 2 세션 후기 확인하기
✅11. 현대화 (Modernization) 3 세션 후기 확인하기
✅13. 네트워킹 세션 후기 확인하기
✅14. 마이그레이션3 세션 후기 확인하기
✅16. 보안 세션 후기 확인하기
✅17. SAP 2 세션 후기 확인하기
✅18. 마이그레이션4 세션 후기 확인하기
✅19. DevOps 세션 후기 확인하기
✅20. 신규업데이트 세션 후기 확인하기
✅21. 스토리지 세션 후기 확인하기
✅22. Amazon 세션 후기 확인하기
✅23. 신규업데이트2 후기 확인하기
✅24. 거버넌스 후기 확인하기
✅25. 거버넌스2 후기 확인하기
✅26. DevOps 2 후기 확인하기
✅27. AI/ML 3 세션 후기 확인하기
✅28. 분석2 세션 후기 확인하기
✅29. 쿠버네티스2 세션 후기 확인하기
✅30. 분석 3 세션 후기 확인하기
✅31. 서버리스 컴퓨팅 세션 후기 확인하기
✅32. 신규 업데이트 3 세션 후기 확인하기
✅33. 신규 업데이트 4 세션 후기 확인하기
✅34. 보안 2 세션 후기 확인하기
✅35. 분석 4 세션 후기 확인하기
✅36. 모니터링 세션 후기 확인하기
✅37. AI/ML 4 세션 후기 확인하기
✅38. 운영 세션 후기 확인하기
✅39. 운영 2 세션 후기 확인하기
✅40. 데이터베이스 세션 후기 확인하기
✅41. 데이터베이스 2 세션 후기 확인하기
✅42. 보안 3 세션 후기 확인하기
✅43. SaaS 세션 후기 확인하기
✅44. 컴퓨팅 세션 후기 확인하기
✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기
✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기
✅47. 아키텍처 세션 후기 확인하기
✅48. SAP 3 세션 후기 확인하기
✅49. 고객사례 세션 후기
✅50. SAP 4 세션 후기 확인하기
✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기
✅52. 보안 4 세션 후기 확인하기
✅53. 보안 규정 세션 후기 확인하기
✅54. 데이터베이스 3 세션 후기 확인하기
✅55. 신규 업데이트 5 세션 후기 확인하기
✅56 .DevOps 3 세션 후기 확인하기
✅57. 분석 5 세션 후기 확인하기
✅58. AI/ML 5 세션 후기 확인하기
✅59. DevOps 4 세션 후기 확인하기
✅60. 신규업데이트 6 세션 후기 확인하기
✅61. 분석 6 세션 후기 확인하기
✅62. 데이터 보호 세션 후기 확인하기
✅63. AI/ML 6 세션 후기 확인하기
✅64. DevOps 5 세션 후기 확인하기
✅65. 신규업데이트 7 세션 후기 확인하기
✅66. 신규 업데이트 8 세션 후기 확인하기