RESOURCES

* 세션명 : Hands-on deep learning. inference with  Amazon Ec2 Inf1 Instance

* 일자 : 2019/12/05 12:15~14:30
* 장소 : MGM Level 3, Premier Ballroom 318

AWS에서 고성능 기계학습 추론을 위한 새로운 chip(Inferentia)을 발표하였으며, Inf1 인스턴스는 AWS 최초로 Inferentia 칩을 탑재한 인스턴스 타입을 발표하였습니다. 기존의 GPU 인스턴스 타입은 일반적인 추론하는 환경에서는 너무 리소스 낭비가 있었으나, Amazon Elastic Inference는 코드 변경 없이 TensorFlow, Apache MXNet 및 ONNX, AWS Neuron(Inference 환경에서 추론을 최적화한 AWS SDK)와 호환이 가능하게 되었습니다.

Hands-on은 c5d.4xlarge 인스턴스와 Inf1.2xlarge 인스턴스에서 추론할 때 얼만큼 시간이 걸리는지 확인하는 시간을 가졌으며, Inf1 인스턴스 내에서 모델을 어떻게 디버그 및 프로파일링 하는지 실습 시간 또한 가졌습니다.

이번 세션을 통해 느낀 점은 인스턴스 크기에 따라 칩셋의 코어가 결정되고, 코드 내에서 코어를 어떻게 holding 시켜서 사용하냐에 따라 성능이 많이 상이할 듯합니다.