RESOURCES

Matthew Clark (이하 매튜)는 소프트웨어 개발자 출신의 건축가입니다. 그는 영국 북부 맨체스터에 살고 있으며 곧 새로운 부엌의 주인이 될 것 입니다. 그는 또한 AWS Deep Lens챌린지에서 2위를 차지한 ‘Dee – the DeepLens Educating Entertainer’ 의 창시자이자 이기도 합니다.

 

Dee는 어떻게 이미지를 인식하는 것이 어리고 미숙한 아이들을 위한 재미있고, 상호 작용적이며, 교육적인 게임을 만드는데 사용될 수 있는지에 대한 한 예를 보여줍니다. DeepLens는 장치에 응답 사진을 표시하여 질문에 답하도록 합니다. 예를 들어 DeepLens 장치가 “휠이 있는 것은 무엇입니까?”라고 묻는 경우 어린이는 자전거 또는 버스와 같은 적절한 사진을 보여 주어야 합니다. 정답은 칭찬을 받고 틀린 답은 올바른 답을 얻는 방법에 대해 몇 가지 힌트를 제공합니다. 게임의 전제는 아이들이 상호 작용을 통해 배우고 긍정적인 자극을 받도록 돕는 것입니다.

 

매튜는 2017년 리인벤트에서 AWS DeepLens 장치를 사용하기 전에는 머신러닝 경험이 없었습니다. 하지만, 그는 AWS DeepLens, 파이썬, Amazon Polly, AWS Greengrass, AWS Lambda 등의 모든 최신 기술을 사용하여 Dee를 구축함으로써 곧 딥러닝(Deep Learning, DL)개념에 발을 딛게 됩니다.

 

우리는 알렉스와 AWS DeepLens의 경험에 대해 인터뷰하고, 그가 어떻게 우승할 수 있는지에 대하여 자세히 알아보았습니다.

 

머신러닝 시작하기
매튜는 현재까지도 리인벤트에서 AWS DeepLens에 대해 처음 듣고 머신러닝에 대한 배움의 여정을 시작한 그 순간을 기억합니다.

 

“DeepLens에 대해 알기 전에는 머신러닝에 대해 전혀 모르고 있었습니다. 마치 기술 개발의 최첨단에 있는 것과 같은 기회인 것 같았습니다. 그래서 리인벤트에서 Andy Jassy 가 DeepLens 에 대해 발표했을 때 이것을 배울 수 있는 좋은 기회라고 생각했어요.”

 

매튜는 AWS DeepLens 워크숍에서 좌석을 뺏기지 않으려고 안간힘을 썼습니다. 그는 세션에 한가지 재미있는 문제가 있음에도 불구하고, 시작하는데 도움이 된다는 것을 알게 되었습니다.

 

“이 워크숍은 소개하는 시간으로 성공적이었습니다. 하지만 한 가지 문제가 있었습니다. 워크숍이 시작되는 동안, 모든 사람들은 신선한 핫도그를 먹고 있었고, 방 안에 있는 여러 사람들이 먹기 시작했습니다. 몇 분 후에 강사는 이것이 간식이 아니라고 지적했습니다. 그것은 Image Recognition을위한 소품이었던 거죠! 다행히도, 핫도그를 먹은 사람들은 핸드폰에서 핫도그의 그림이 DeepLens의 인식 능력을 시험하기에 충분하다는 것을 깨달았습니다.”

 

 

(이미지에 대해 많은 URL은 원문을 참고하세요.)

 

Dee를 위한 영감 

매튜는 이 워크샵이 훌륭하다고 생각했지만, 기기가 핫도그를 인식하는 사실이 세상을 바꾸지는 않을 것이라는 것을 깨달았습니다. 그는 보다 의미 있는 영향력을 미칠 수 있는 사용 사례에 AWS DeepLens를 사용하려고 했습니다. 그는 또한 카메라를 통해 로컬에서 딥러닝 모델을 실행하고 그로 인해 생길 수 있는 이점을 조사하는 능력에 관심이 있었습니다. 그는 이 두 가지를 하나로 묶을 아이디어를 발견하였죠.

 

“제가 볼 때, DeepLens의 매력적인 부분은 비디오 인식 모델이 클라우드에서 개발되어 로컬로 실행된다는 것이었습니다. 저는 거기서부터 생각을 했어요. ‘ 비용을 제외하고 로컬에서 일어나는 추론의 장점은 무엇일까요?’ 저는 곧 아이들과 관련된 모든 것이 정말 도움이 될 것이라는 것을 깨달았습니다. 왜냐하면 아이들이 기기에서 발생되는 영상의 사생활 침해에 대한 걱정을 없애주기 때문이죠. 또한 Wi-Fi 또는 기타 연결 없이도 어디서나 작동할 수 있다는 것을 의미합니다.”

 

일단 매튜가 아이들의 교육 주제를 결정했을 때, 그는 그의 세 살짜리 아들을 위해 효과가 있는 무언가를 생각하는 것이 쉽다는 것을 알게 되었습니다. 어린 아이들 이외에도 매튜는 과학 기술과 함께 Dee의 긍정적인 보강 측면이 자폐증이나 아스퍼거 증후군이 있는 아이들에게 어떻게 도움이 될 수 있는지에 대해 흥분해 있었습니다.

 

“특수 교육이 필요한 어린이와 아주 나이가 적은 어린이들은 이와 관련하여 어려움을 겪을 수 있습니다. 이는 태블릿 화면을 읽거나, 컴퓨터 키보드를 사용하지 못하거나, 음성 인식을 사용하는데 어려움을 말하죠. 하지만 영상 인식을 사용하면 바뀔 수 있습니다. 기술은 이제 아이들의 세계를 이해하고 그들이 어떤 행동을 하면 인식할 수 있죠. 이는 또 다른 상호작용의 세계로 이끌었습니다.”

 

 

Sample of questions that Dee asks (questions.json)

 

AWS DeepLens로 구축하기

 매튜는 AWS DeepLens 의 프리빌트 모델 (오브젝트 감지) 중 하나를 사용하여 시작했으나 모델 교육과 관련하여 또다른 도전 과제이자 핵심 학습을 제시했습니다.

 

“제가 처음 희망한 바는 그림보다는 아이가 Dee 에게 장난감을 보여줄 수 있다는 것 이었습니다. 예를 들어, 장난감 비행기나 귀여운 양을 줍는 것은 종이보다 재미있을 것입니다. 그러나 테스트에서 물체 감지 모델은 장난감이 실제 물체와 동일한 것으로 보지 않았습니다. 장난감 비행기는  실제 비행기와 너무 다릅니다. 장난감을 다루는 모델을 훈련하면 당연히 이 문제를 해결할 수 있지만, 충분한 양의 교육 데이터 세트를 찾을 수 없었습니다. 이것은 미래를 위해 해결해야 할 무언가입니다! “

 

 

완벽한 Dee 키트: AWS DeepLens와 스피커와 이미지 카드

 

하지만 기존 개체 감지 데이터 세트를 사용하여 매튜는 Lambda 기능에 집중할 수 있게 됩니다. AWS Greengrass를 사용해 DeepLens 장치에서 실행되는 Lambda 기능이 상호 작용을 처리합니다. 무작위로 질문을 선택해 말한 다음 모델 응답을 분석하여 사용자가 어떻게 대답했는지 확인합니다. 매튜는 참가자들이 긍정적으로 생각하고 경험에 몰두할 수 있도록 하기 위해 “더 해봅시다!”, “좋은 선택이에요” 와 같은 메시지를 이 곳에 가득 채웠습니다.

 

 

 

이 블로그의 앞에서 언급한 바와 같이, Dee는 와이파이 접속을 요구하지 않도록 설계되었습니다. 이것은 아이들을 위한 인터넷 연결, 개인 정보 보호 또는 비용 문제가 없도록 하기 위함입니다. Speech 와 관련하여서는 보통 클라우드에 연결되어야 하는 Amazon Polly 와 달리 이 방법이 조금 까다로웠습니다. 이를 극복하기 위해 매튜는 필요한 모든 문구를 캡처하고 그것들을 로컬에 저장하기 위해 대본을 썼습니다. 그가 만든 AWS Lambda 기능에는 69개의 MP3파일이 포함되어 있습니다.

 

여러분은 DeepLens 커뮤니티 프로젝트 웹 사이트의 Dee 프로젝트 페이지에서 이 프로젝트를 어떻게 구축했는지에 대한 전체 세부 정보와 GitHub repo에 연결된 링크 및 기타 유용한 리소스에 액세스 할 수 있습니다.

 

Dee 의 다음 단계는무엇인가요?
매튜는 기술을 통해 달성할 수 있는 것에 대해 흥분해 있으며 Dee의 잠재력이 엄청남을 믿습니다.

 

“저는 이제 Dee를 발전시켜’ 레벨’개념을 갖게 되었습니다. 그래서 이 아이가 얼마나 실력이 있는지 알 수 있고, 적절하게 더 도전적인 질문을 할 수 있습니다. Dee를 다른 아이들과 어른들에게도 보여 줬는데 관심이 많아요. 모든 사람들이 어떻게 하면 더 나아 질 수 있을지에 대한 아이디어를 갖고 있습니다.”

 

그는 또한 Dee디의 교과 과정을 확대하기 위해 연구하고 싶다고 말합니다.

 

“만약 Dee 가 더 넓은 범위의 것들을 인식할 수 있다면, 예를 들어서, ‘세 개의 손가락을 들 수 있나요?’ 또는 ‘알파벳 중 A는 어떤 것인가요?’와 같은 질문들을 할 수 있을 것입니다.”

 

이 첫 번째 Dee프로젝트에 기초한 기술을 쌓아 온 매튜는 다음 단계로 나아가기 위해 모델 교육을 받아야 한다는 것을 알고 있습니다.

 

“물론, 새로운 모델을 훈련시키는 것이 주요한 부분이 될 것입니다.”그리고 Amazon SageMaker와 같은 서비스를 통해, 최종 사용자가 자신의 모델을 더 간단하고 직접적으로 만들 것입니다. 또한 선생님이Dee 를 교육시켜서 물체를 인식하거나 보호자가 자폐증이 있는 누군가에게 더 중요한 특정 물체에 대응하게 할 수 있을 것입니다.”

 

Winners’ Celebration
매튜의 가족은 집과 외부에서도 이 해커톤 우승으로 이익을 얻게 될 것입니다.

 

“대부분의 돈은 새로운 부엌에 사용될 것입니다. 우리는 또한 우리의 아들을 테마 공원에 데려가기 위해 상금을 쓸 것입니다. 이제 우리 아들은 그것을 즐길 수 있을 만큼 자랐습니다.”

 

마지막으로
지난 주에 우리가 출판한 ReadToMe 지은 알렉스 슐츠가 겪은 경험과 비슷하게 매튜는 AWSDeepLens와 함께 하며 머신러닝에 대한 직접적인 경험을 쌓았습니다. 그는 머신러닝 경험이 없는 상태에서 아들과 다른 아이들이 지금 혜택을 받을 수 있는 프로젝트를 만들기 시작했습니다.

 

매튜와 그의 가족에게 축하의 말을 전하며 이 상을 받게 된 것을 축하 드립니다!

 

매튜의 이야기에 영감을 받아 AWS DeepLens에 대해 자세히 알고 싶어 하셨으면 합니다. DeepLens커뮤니티 프로젝트 웹 페이지에서 AWS DeepLens챌린지의 모든 프로젝트를 볼 수 있습니다. 자세한 내용은 AWS DeepLens웹 사이트를 참조하거나 AWS Machine Learning블로그에서 AWS DeepLens포스트를 찾아보십시오.

 

AWS DeepLens챌린지는 개발자가 AWS DeepLens와 함께 창의적으로 작업할 수 있도록 하기 위해 AWS및 Intel에서 제공하는 가상 해커톤 프로그램입니다. 이 이벤트에 대한 자세한 내용은 Deep Lens챌린지 웹 사이트를 참조하십시오.

 

원문 URL: https://aws.amazon.com/ko/blogs/machine-learning/learn-about-dee-the-deeplens-educating-entertainer-the-second-place-winner-of-the-aws-deeplens-challenge-hackathon/

** 메가존 TechBlog는 AWS BLOG 영문 게재글중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.