BLOG
| [CMP334] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances
연사 : Ben Perak, AWS 수석 관리자 Tatiana Cooke, AWS 수석 제품 관리자 일시: 2022.11.29 15:30 ~ 16:30 장소: MGM Level 3, Premier Ballroom 318 작성자 : 메가존클라우드 Enterprise Managed Svc Group 홍은철 매니저 |
11/29 AWS에서 발표된 EC2 Inf2 인스턴스 타입에 대한 상세 세션입니다.
Inf2 인스턴스는 AWS에서 설계한 세 번째 DL(deep learning) 가속기인 최대 12개의 AWS Inferentia2로 구동됩니다.
Inf1 타입 대비 최대 4배 높은 처리량 및 10배 낮은 지연 시간과 10TB의 집계 메모리 대역폭을 제공하며,
가장 큰 인스턴스 크기인 Inf2.48xlarge 에서 175B의 파라미터 모델이 배포가 가능합니다.
자연어 처리 애플리케이션에 사용되는 인기있는 기계 학습 모델인 RoBERTa 를 기반으로한 벤치마크도 확인할 수 있었습니다.
G5 타입 대비 처리량은 2.6배 지연 시간은 8.1배 개선된 부분을 확인했습니다.
가장 좋은 점은 에너지 효율성도 갖추고 있다는 점입니다.
GPU 인스턴스에 최적화된 G5 인스턴스보다 와트 당 최대 50% 절감된 모습입니다.
OPT 300억 파라미터 모델의 경우 Inf2는 초당 573개의 토큰을 전달하는데 비해 G5는 초당 181개의 토큰을 전달하는 모습으로, 3배 넘는 처리량 차이를 보입니다.
660억 개의 파라미터 모델로 테스트 시 G5는 메모리 문제가 발생하는 반면, Inf2는 여전히 높은 성능을 제공하는데요,
그 이유로는 가장 낮은 비용으로 높은 성능과 짧은 지연 시간 출력을 제공하도록 설계되었기 때문이라고 합니다.
사용사례 중 Amazon Search에서 Inf2를 사용했을 때에 2배 빠른 성능을 보여준 부분을 확인했습니다.
성능 및 사용사례 기준으로 신규 인스턴스 타입인 Inf2 타입에 대해 살펴 보았는데, 하드웨어 성능의
발전이 놀랍다는 생각이 들었습니다.
아직은 Preview 단계로 us-east-1, us-east-2 리전에만 출시한다고 하는데, GA가 되면Inf1 타입을 사용하는 고객에게 좋은 대안이 될 것으로 보입니다.
👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/
👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!
🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기
🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기
🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기
🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기
✅3. 현대화 (Modernization)세션 후기 확인하기
✅4. SAP 세션 후기 확인하기
✅5. 쿠버네티스 세션 후기 확인하기
✅7. 분석 세션 후기 확인하기
✅8. AI/ML 세션 후기 확인하기
✅10. 현대화 (Modernization) 2 세션 후기 확인하기
✅11. 현대화 (Modernization) 3 세션 후기 확인하기
✅13. 네트워킹 세션 후기 확인하기
✅14. 마이그레이션3 세션 후기 확인하기
✅16. 보안 세션 후기 확인하기
✅17. SAP 2 세션 후기 확인하기
✅18. 마이그레이션4 세션 후기 확인하기
✅19. DevOps 세션 후기 확인하기
✅20. 신규업데이트 세션 후기 확인하기
✅21. 스토리지 세션 후기 확인하기
✅22. Amazon 세션 후기 확인하기
✅23. 신규업데이트2 후기 확인하기
✅24. 거버넌스 후기 확인하기
✅25. 거버넌스2 후기 확인하기
✅26. DevOps 2 후기 확인하기
✅27. AI/ML 3 세션 후기 확인하기
✅28. 분석2 세션 후기 확인하기
✅29. 쿠버네티스2 세션 후기 확인하기
✅30. 분석 3 세션 후기 확인하기
✅31. 서버리스 컴퓨팅 세션 후기 확인하기
✅32. 신규 업데이트 3 세션 후기 확인하기
✅33. 신규 업데이트 4 세션 후기 확인하기
✅34. 보안 2 세션 후기 확인하기
✅35. 분석 4 세션 후기 확인하기
✅36. 모니터링 세션 후기 확인하기
✅37. AI/ML 4 세션 후기 확인하기
✅38. 운영 세션 후기 확인하기
✅39. 운영 2 세션 후기 확인하기
✅40. 데이터베이스 세션 후기 확인하기
✅41. 데이터베이스 2 세션 후기 확인하기
✅42. 보안 3 세션 후기 확인하기
✅43. SaaS 세션 후기 확인하기
✅44. 컴퓨팅 세션 후기 확인하기
✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기
✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기
✅47. 아키텍처 세션 후기 확인하기
✅48. SAP 3 세션 후기 확인하기
✅49. 고객사례 세션 후기
✅50. SAP 4 세션 후기 확인하기
✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기
✅52. 보안 4 세션 후기 확인하기
✅53. 보안 규정 세션 후기 확인하기
✅54. 데이터베이스 3 세션 후기 확인하기
✅55. 신규 업데이트 5 세션 후기 확인하기
✅56 .DevOps 3 세션 후기 확인하기
✅57. 분석 5 세션 후기 확인하기
✅58. AI/ML 5 세션 후기 확인하기
✅59. DevOps 4 세션 후기 확인하기
✅60. 신규업데이트 6 세션 후기 확인하기
✅61. 분석 6 세션 후기 확인하기
✅62. 데이터 보호 세션 후기 확인하기
✅63. AI/ML 6 세션 후기 확인하기
✅64. DevOps 5 세션 후기 확인하기
✅65. 신규업데이트 7 세션 후기 확인하기
✅66. 신규 업데이트 8 세션 후기 확인하기