BLOG

AWS re:Invent 2022 세션 후기 #20 – 신규 업데이트
작성일: 2022-12-01
[CMP334] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances

연사 : Ben Perak, AWS 수석 관리자

Tatiana Cooke, AWS 수석 제품 관리자

일시: 2022.11.29 15:30 ~ 16:30

장소: MGM Level 3, Premier Ballroom 318

작성자 : 메가존클라우드 Enterprise Managed Svc Group 홍은철 매니저

 

 

11/29 AWS에서 발표된 EC2 Inf2 인스턴스 타입에 대한 상세 세션입니다.

 

 

Inf2 인스턴스는 AWS에서 설계한 세 번째 DL(deep learning) 가속기인 최대 12개의 AWS Inferentia2로 구동됩니다.

Inf1 타입 대비 최대 4배 높은 처리량 및 10배 낮은 지연 시간과 10TB의 집계 메모리 대역폭을 제공하며,

가장 큰 인스턴스 크기인 Inf2.48xlarge 에서 175B의 파라미터 모델이 배포가 가능합니다.

 

 

자연어 처리 애플리케이션에 사용되는 인기있는 기계 학습 모델인 RoBERTa 를 기반으로한 벤치마크도 확인할 수 있었습니다.

G5 타입 대비 처리량은 2.6배 지연 시간은 8.1배 개선된 부분을 확인했습니다.

 

 

가장 좋은 점은 에너지 효율성도 갖추고 있다는 점입니다.

GPU 인스턴스에 최적화된 G5 인스턴스보다 와트 당 최대 50% 절감된 모습입니다.

 

 

OPT 300억 파라미터 모델의 경우 Inf2는 초당 573개의 토큰을 전달하는데 비해 G5는 초당 181개의 토큰을 전달하는 모습으로, 3배 넘는 처리량 차이를 보입니다.

660억 개의 파라미터 모델로 테스트 시 G5는 메모리 문제가 발생하는 반면, Inf2는 여전히 높은 성능을 제공하는데요,

그 이유로는 가장 낮은 비용으로 높은 성능과 짧은 지연 시간 출력을 제공하도록 설계되었기 때문이라고 합니다.

 

 

사용사례 중 Amazon Search에서 Inf2를 사용했을 때에 2배 빠른 성능을 보여준 부분을 확인했습니다.

 

성능 및 사용사례 기준으로 신규 인스턴스 타입인 Inf2 타입에 대해 살펴 보았는데, 하드웨어 성능의

발전이 놀랍다는 생각이 들었습니다.

아직은 Preview 단계로 us-east-1, us-east-2 리전에만 출시한다고 하는데, GA가 되면Inf1 타입을 사용하는 고객에게 좋은 대안이 될 것으로 보입니다.

 

 

👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/

 

👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!

🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기

🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기

🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기

🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기

 

✅1. 데이터 보호 세션 후기 확인하기

✅2. 마이그레이션 세션 후기 확인하기

✅3. 현대화 (Modernization)세션 후기 확인하기

✅4. SAP 세션 후기 확인하기

✅5. 쿠버네티스 세션 후기 확인하기

✅6. 마이그레이션2 세션 후기 확인하기

✅7. 분석 세션 후기 확인하기

✅8. AI/ML 세션 후기 확인하기

✅9. AI/ML 2 세션 후기 확인하기

✅10. 현대화 (Modernization) 2 세션 후기 확인하기

✅11. 현대화 (Modernization) 3 세션 후기 확인하기

✅12. Data Lakes 세션 후기 확인하기

✅13. 네트워킹 세션 후기 확인하기

✅14. 마이그레이션3 세션 후기 확인하기

✅15.비용 최적화 세션 후기 확인하기

✅16. 보안 세션 후기 확인하기

✅17. SAP 2 세션 후기 확인하기

✅18. 마이그레이션4 세션 후기 확인하기

✅19. DevOps 세션 후기 확인하기

✅20. 신규업데이트 세션 후기 확인하기

✅21. 스토리지 세션 후기 확인하기

✅22. Amazon 세션 후기 확인하기

✅23. 신규업데이트2 후기 확인하기

✅24. 거버넌스 후기 확인하기

✅25. 거버넌스2 후기 확인하기

✅26. DevOps 2 후기 확인하기

✅27. AI/ML 3 세션 후기 확인하기

✅28. 분석2 세션 후기 확인하기

✅29. 쿠버네티스2 세션 후기 확인하기

✅30. 분석 3 세션 후기 확인하기

✅31. 서버리스 컴퓨팅 세션 후기 확인하기

✅32. 신규 업데이트 3 세션 후기 확인하기

✅33. 신규 업데이트 4 세션 후기 확인하기

✅34. 보안 2 세션 후기 확인하기

✅35. 분석 4 세션 후기 확인하기

✅36. 모니터링 세션 후기 확인하기

✅37. AI/ML 4 세션 후기 확인하기

✅38. 운영 세션 후기 확인하기

✅39. 운영 2 세션 후기 확인하기

✅40. 데이터베이스 세션 후기 확인하기

✅41. 데이터베이스 2 세션 후기 확인하기

✅42. 보안 3 세션 후기 확인하기

✅43. SaaS 세션 후기 확인하기

✅44. 컴퓨팅 세션 후기 확인하기

✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기

✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기

✅47. 아키텍처 세션 후기 확인하기

✅48. SAP 3 세션 후기 확인하기

✅49. 고객사례 세션 후기

✅50. SAP 4 세션 후기 확인하기

✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기

✅52. 보안 4 세션 후기 확인하기

✅53. 보안 규정 세션 후기 확인하기

✅54. 데이터베이스 3 세션 후기 확인하기

✅55. 신규 업데이트 5 세션 후기 확인하기

✅56 .DevOps 3 세션 후기 확인하기

✅57. 분석 5 세션 후기 확인하기

✅58. AI/ML 5 세션 후기 확인하기

✅59. DevOps 4 세션 후기 확인하기

✅60. 신규업데이트 6 세션 후기 확인하기

✅61. 분석 6 세션 후기 확인하기

✅62. 데이터 보호 세션 후기 확인하기

✅63. AI/ML 6 세션 후기 확인하기

✅64. DevOps 5 세션 후기 확인하기

✅65. 신규업데이트 7 세션 후기 확인하기

✅66. 신규 업데이트 8 세션 후기 확인하기