BLOG
AWS re : Invent 2018에서 출시된 Amazon Sagemaker Ground Truth는 Amazon SageMaker의 기능으로 머신 러닝 데이터 세트에 라벨을 달 수 있습니다. 고객은 내장된 워크 플로우를 사용하여 이미지 및 텍스트 데이터에 효율적이고 정확하게 라벨을 지정할 수 있으며, 맞춤형 워크 플로우를 사용하는 다른 유형의 데이터를 사용할 수 있습니다. 데이터 샘플은 직원(개인, 제 3 자 또는 MTurk)에 자동으로 배포되고 주석은 Amazon Simple Storage Service (S3)에 저장됩니다. 선택적으로 자동화 된 데이터 레이블링을 활성화하여 데이터 세트에 라벨을 지정하는 데 필요한 시간과 관련 비용을 모두 줄일 수 있습니다.
대략 1년 전 자율 주행을 위한 3D 데이터 세트 레이블링에 관심을 보이는 자동차 고객을 만난 기억이 나는데요, LIDAR 센서로 캡처된 이 데이터 세트는 특히나 용량이 크고 복잡합니다. 데이터는 일반적으로 50,000 ~ 5백만 포인트를 포함하는 프레임에 저장되며 각각 최대 수백 메가 바이트까지 가능합니다. 프레임은 개별적으로 저장되거나 움직이는 객체를 보다 쉽게 추적할 수 있는 시퀀스로 저장됩니다.
작업자가 복잡한 3D 장면을 탐색하고 다양한 객체 클래스에 라벨을 달아야 하기 때문에 이러한 데이터 세트에 라벨을 지정하는 데 시간이 많이 걸립니다. 이를 위해서는 매우 복잡한 도구를 구축하고 관리해야 합니다. Ground Truth 팀은 고객이 보다 단순하고 효율적인 워크 플로우를 구축할 수 있도록 많은 피드백을 바탕으로 작업을 시작했습니다.
이렇게 Amazon Sagemaker Ground Truth의 내장 편집기 및 최신 보조 라벨 기능을 사용해 3D 포인트 클라우드에 라벨을 지정할 수 있다는 소식을 전하게 되어 매우 기쁩니다.
3D 포인트 클라우드 레이블링 소개
다른 Ground Truth 작업 유형과 마찬가지로 3D 포인트 클라우드의 입력 데이터는 S3 버킷에 저장되야 합니다. 또한 S3의 프레임 위치와 해당 속성을 모두 포함하는 JSON 파일인 매니페스트 파일로 설명해야 합니다. 데이터 세트는 단일 프레임 데이터 또는 다중 프레임 시퀀스를 포함할 수 있습니다.
데이터 세트는 온보드 카메라로 캡처한 이미지 데이터를 선택적으로 포함할 수도 있습니다. Ground Truth는 “센서 융합”이라는 기능을 사용하여 3D 포인트 클라우드를 최대 8 대의 카메라와 동기화할 수 있습니다. 이를 통해 작업자는 장면을 실제로 볼 수 있으며 2D 이미지와 3D 포인트 클라우드에 라벨을 서로 바꿔 적용할 수 있습니다.
매니페스트 파일이 준비되면 Ground Truth에서 다음 작업 유형을 생성할 수 있습니다.
- 물체 감지: 3D 포인트 클라우드 프레임 내에서 관심 있는 물체를 식별
- 객체 추적: 일련의 3D 포인트 클라우드 프레임에서 관심 객체를 추적
- 시맨틱 세그먼테이션: 3D 포인트 클라우드 프레임의 포인트를 사전 정의된 카테고리로 분할
작업자가 새로운 프레임에 라벨을 달 수 있는 작업에 라벨을 지정하거나 기존 라벨을 검토하고 미세 조정하는 조정 작업일 수 있습니다. 작업은 개인 인력 또는 AWS Marketplace에서 선택한 공급 업체 인력에게 배포될 수 있습니다.
내장된 GUI (Graphical User Interface)와 탐색 및 레이블 지정을 위한 바로 가기를 사용하여 작업자는 레이블, 상자 및 범주를 3D 개체 (“자동차”, “보행자”등)에 빠르고 정확하게 적용할 수 있습니다. 또한 자동차의 색상 또는 객체가 완전히 또는 부분적으로 보이는지 여부와 같은 사용자 정의 속성을 추가할 수 있습니다.
GUI에는 라벨 작업을 크게 단순화하고 시간을 절약하며 주석의 품질을 향상시키는 많은 보조 레이블 기능이 포함되어 있습니다. 다음은 몇 가지 예입니다.
- 스냅: Ground Truth은 물체 주위에 딱 맞는 상자를 유추합니다.
- 보간: 라벨러는 시퀀스의 첫 번째 프레임과 마지막 프레임에서 개체에 주석을 답니다. Ground Truth는 자동으로 중간 프레임에 주석을 달 수 있습니다.
- 지면 탐지 및 제거: Ground Truth 은 물체 상자에서 지면에 속하는 3D 점을 자동으로 탐지하고 제거할 수 있습니다.
보조 레이블을 사용하더라도 복잡한 프레임과 시퀀스에 주석을 달려면 시간이 걸릴 수 있으므로 데이터 손실을 피하기 위해 작업이 주기적으로 저장됩니다.
3D 포인트 클라우드 데이터 세트 준비
앞에서 언급했듯이 3D 데이터 세트를 설명하는 매니페스트 파일을 제공해야 합니다. 이 파일의 형식은 Ground Truth 문서에 정의되어 있습니다. 물론 이를 구축하는 데 필요한 단계는 데이터 집합마다 다릅니다. 예를 들어 Audi A2D2 데이터 세트에는 360도 3D LIDAR 데이터 및 2D 이미지와 함께 40만 개의 프레임이 포함됩니다. 자율 주행 연구에 널리 사용되는 KITTI 는 15,000개의 이미지가 포함된 3D 데이터 세트와 해당 점 구름이 포함되어 총 80,256 개의 라벨이 지정된 객체가 포함됩니다. 이 노트북은 KITTI 데이터를 Ground Truth 형식으로 변환하는 방법을 보여줍니다.
데이터 세트에 3D LIDAR데이터와 2D 카메라 이미지가 모두 포함된 경우 한 가지 문제는 동기화하는 것입니다. 이를 통해 3D 포인트를 2D 좌표로 투영하고 온보드 카메라로 캡처한 사진에 매핑하거나 그 반대로 할 수 있습니다. 또 다른 과제는 주어진 장치에 의해 캡처된 데이터가 이 장치의 로컬 좌표를 사용한다는 것입니다. 우리는 장치가 차의 어느 부분에 위치한지 알고 있기 때문에 월드 좌표계(WCS)라고도 불리는 글로벌 좌표계를 구축하여 해결 가능합니다. 매트릭스 연산을 사용하여 WCS 내부의 모든 데이터 포인트의 좌표를 계산할 수 있습니다.
프레임이 처리되면 차량의 위치, S3의 LIDAR 데이터 위치, S3의 관련 사진 위치 등 매니페스트 파일에 정보가 저장됩니다. 대규모 데이터 세트의 경우 전체 프로세스는 상당한 워크로드이며 Amazon SageMaker Processing, Amazon EMR 또는 AWS Glue와 같은 관리 형 서비스에서 실행할 수 있습니다.
Amazon SageMaker Ground Truth를 사용한 3D 포인트 클라우드 라벨 지정
이 노트북을 기반으로 빠른 데모를 해보겠습니다. 사전 처리된 샘플 프레임에서 시작하여 6가지 작업 유형 (오브젝트 감지, 객체 추적, 시맨틱 세그먼테이션 및 관련 조정 작업 유형) 각각에 대해 3D 포인트 클라우드 라벨 작업을 생성하는 프로세스를 간소화합니다. 작업자를 쉽게 개인 작업자로 만들고 작업자 GUI 및 해당 레이블 도구를 사용하여 프레임 라벨을 시작할 수 있습니다.
그림은 단어 천 개의 가치가 있으며 비디오는 이보다도 더 많은 가치를 담고 있습니다. 이 첫 번째 비디오에서는 두 가지 보조 레이블링 기능을 사용하여 몇 대의 자동차에 라벨을 달았습니다. 먼저 상자를 지면에 맞추면 지면 자체를 실제로 캡처하지 않고도 지면에 가까운 물체 점을 캡처할 수 있습니다. 둘째, 상자를 물체에 맞추면 공백이 없어도 딱 맞습니다.
이 두 번째 비디오에서는 동일한 기술을 사용하여 세 번째 자동차에 라벨을 달았습니다. 이전 단계보다 보기에는 어려워 보이지만 박스에 넣기를 성공했습니다. 다음 9개의 프레임을 재생하면 이 차가 실제로 움직입니다. 열 번째 프레임으로 직접 이동하여 경계 상자를 자동차의 새로운 위치로 조정합니다. Ground Truth는 보간이라고 하는 또 다른 보조 라벨 기능인 8개의 중간 프레임에 자동으로 라벨을 지정합니다.
정식 출시
Amazon Sagemaker Ground Truth를 사용한 3D 포인트 클라우드 레이블링 기능은 이제 서울 리전을 포함한 다음 리전에서 사용하실 수 있습니다.
- 미국: 버지니아 북부, 오하이오, 오레곤
- 캐나다
- 유럽: 아일랜드, 런던, 프랑크푸르트
- 아시아 태평양: 서울, 뭄바이, 싱가포르, 시드니, 도쿄
사용 후 의견이나 피드백은 AWS Forum for Amazon SageMaker를 통해 자유롭게 남겨주시기 바랍니다.
원문URL: https://aws.amazon.com/ko/blogs/aws/new-label-3d-point-clouds-with-amazon-sagemaker-ground-truth/
** 메가존 클라우드 TechBlog는 AWS BLOG 영문 게재 글 중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역 및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS 페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.