RESOURCES

[ANT206] “What’s new in Amazon OpenSearch Service” 연사 : Rajiv Taori, Principal PM-T, AWS Mukul Karnik, GM, Amazon OpenSearch Service, Amazon Web Services 일시: 2022.11.28 11:30 ~ 12:30 장소: MGM Level 3, Chairmans 355 작성자 : 메가존클라우드 Enterprise Managed Svc Group 홍은철 매니저

 

 

Amazon Opensearch Service에 대한 소개와 특징 및 Opensearch 신규 기능과 로드맵 소개에 대해 듣고자 본 세션에 참여 하게 되었습니다.

 

 

 

Agenda는 다음과 같습니다.

– Introduction to Amazon Opensearch Service

– Innovations in OpenSearch-search, log, analytics/observability

– What’s new in Amazon Opensearch Service-cost optimizations, security, and automation at scale

– Road ahead

 

 

본 서비스는 웹/앱 검색 서비스로 시작했으나, 기능이 점점 추가되어 발전 되어 왔습니다.

– 비용 최적화, 확장성과 보안

– Machine Learning

– Observability(가시성)

 

 

하기와 같은 동작 방식을 취하고 있습니다.

– Server, Application 등의 여러 소스의 데이터를 Opensearch에 저장

– Opensearch에서 내부적으로 Lucene이 색인화

– Opensearch 대시보드에서 데이터 분석가, 보안 담당자, Devops 엔지니어 등이 데이터를 분석

 

 

Opensearch에 대한 설명도 들을 수 있었습니다.

Elasticsearch에서 파생 되었으며,  Apache 2.0 라이선스 하에서 제공되는 완전한 오픈 소스로

출시 이후 현재까지 200만 건 이상의 다운로드 수 기록 중이며, 계속해서 성장 중이라고 합니다.

 

유의미한 데이터의 수집, 보안, 검색, 집계, 보기 및 분석을 통해 웹사이트/운영 데이터의 실시간 검색, 스트리밍 데이터(로그)의 모니터링 분석을 쉽게 할 수 있도록 도와주며, 다양한 CSP에서 서비스 제공되고 있습니다.

 

 

Amazon OpenSearch Servic의 장점은 하기와 같습니다.

1. 관리형 – 널리 사용되는 오픈 소스 솔루션을 사용하여 운영 효율성을 증대
2. 보안 – 데이터 센터 및 네트워크 아키텍처와 기본 제공 인증을 통해 데이터를 감사하고 보호함
3. 비용절감 – 전략적인 업무를 위한 시간과 비용의 최적화
4. 가시성 – 머신 러닝, 경고 및 시각화를 위한 오픈 소스 솔루션을 통해 시스템 문제를 감지, 분석 및 해결

 

 

Opensearch는 올해만 10개 이상의 릴리즈와 100개 이상의 기능이 출시되었으며, 그 중의 일부가 소개 되었습니다.

 

 

1. ML innovations for search : 검색 및 분석을 위해 추가된 새로운 알고리즘

1) 효율적인 유사성 검색 및 클러스터링을 위한 ‘FAISS’ 라이브러리가 포함된 ‘k-NN’

2) Lucene 9.1(Opensearch 2.x) 기반의  Approximate k-NN을 통한 유사성 검색

– 고차원 vector의 인덱스 처리량 최대 30% 향상

– 고차원 vector 에서 최대 10% 더 빠른 최근접 이웃 검색(nearest neighbor search)

 

 

2. Improving search relevance : semantic search(Opensearch 2.4에서의 실험 기능)

1) 신경망 모델 사용

– Document set를 기반으로한 언어 모델 fine tuning

 

 

Semantic search 데모도 확인 할 수 있었는데요, Opensearch 대시보드의 split view를 통해 진행되었습니다.

왼쪽이 일반 키워드 검색, 오른쪽이 semantic search를 사용해 “wild west”라는 단어를 검색한 결과를 보여줬습니다.

일반 검색과 달리 semantic search에서 검색어와 유사한 이미지가 표시되었습니다.

 

 

Observability 도입이 필요한 대한 배경에 대해 들을 수 있었습니다.

 

 

OpenSearch로 Observability 실현하는 것에 대해서는 하기와 같은 설명을 들을 수 있었습니다.

– Data Prepper를 사용하여 logs, metrics, traces데이터 수집

– OpenSearch에 Observability를 위한 log, trace, time series index데이터를저장

– Prometheus, Amazon CloudWatch 및 influxDB와의 협력

 

 

그렇다면, 왜 데이터 파이프라인을 사용 할까요? 아래와 같은 이점이 있다고 합니다.

1) 비용 관점 – 데이터 중복성 제거, 필터링, 샘플링, 라우팅 등을 통한 비용절감

2) 데이터 품질 – 데이터 표준화, 스키마 적용 등

3) 프라이버시 – 민감 데이터 수정 및 난독화

4) 스트리밍 분석 – 품질 강화 및 추론 과정

 

 

OpenSearch Data Prepper는 데이터 파이프라인을 만드는 tool에 대한 소개 입니다. Plugin 으로 여러 솔루션을 통합할 수 있습니다.

 

 

OpenSearch의 Observability에 살펴 보겠습니다.

1. 분산 추적
2. APM
3. 로그 모니터링 및 이벤트 분석

1) 지표 분석

– 특별한 점으로 OpenSearch 2.4 이상에서는 Prometheus 지표 지원을 합니다.

4. 로그 패턴 분석

1) 비정상 동작(unexpected outliers)을 감지할 수 있다고 여러 번 강조해 설명했습니다.

2) log tailing, log surround and log monitoring 기능 구현이 가능합니다.

5. 이상 탐지 강화

1) 분 당 100만 개의 entities 지원

 

 

첫 번째 신규기능으로는 gp3 볼륨 지원입니다.

Gp3 지원으로 인해 기존 gp2 볼륨 대비 10% 정도 비용 절감 효과를 볼 수 있게 되었습니다.

 

 

보안 측면에서는 AWS PrivateLink 지원으로 보다 섬세하게 액세스 제어가 가능하게 되었습니다.

 

 

Blue/Green 배포 관련 기능이 향상되었으며, Auto-Tune, Shard-level indexing backpressure 등 운영 자동화 측면에서의 기능 향상과 상세한 Event 알람들이 추가되었습니다.

 

 

예정된 개선 기능들과 opensearch로드맵이 간략하게 소개 되었습니다.

 

 

마지막으로 Opensearch 2.4의 실험 기능인 Security Analytics에 대해서도 간단하게 소개 되었습니다.

 

본 세션을 들으면서 Amazon opensearch service에 대한 최신 정보를 접할 수 있는 좋은 기회였다 생각이 들었고, 현재 많은 고객들이 AWS opensearch service를 사용하고 있지만 일반적인 로그 분석 용도로 밖에 사용하지 못해 아쉬운 부분이 많았는데, 시야를 넓힐 수 있게 되어 좋은 세션이었던 것 같습니다.

향후 Opensearch를 통해 검색엔진이나 Obesrvability를 활용한 로그 분석 등의 도입을 제안해봐도 좋을 것 같습니다.

 

 

---

 

👉 본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/

 

👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!

 

🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기

🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기

🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기

🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기

 

✅1. 데이터 보호 세션 후기 확인하기

✅2. 마이그레이션 세션 후기 확인하기

✅3. 현대화 (Modernization)세션 후기 확인하기

✅4. SAP 세션 후기 확인하기

✅5. 쿠버네티스 세션 후기 확인하기

✅6. 마이그레이션2 세션 후기 확인하기

✅7. 분석 세션 후기 확인하기

✅8. AI/ML 세션 후기 확인하기

✅9. AI/ML 2 세션 후기 확인하기

✅10. 현대화 (Modernization) 2 세션 후기 확인하기

✅11. 현대화 (Modernization) 3 세션 후기 확인하기

✅12. Data Lakes 세션 후기 확인하기

✅13. 네트워킹 세션 후기 확인하기

✅14. 마이그레이션3 세션 후기 확인하기

✅15.비용 최적화 세션 후기 확인하기

✅16. 보안 세션 후기 확인하기

✅17. SAP 2 세션 후기 확인하기

✅18. 마이그레이션4 세션 후기 확인하기

✅19. DevOps 세션 후기 확인하기

✅20. 신규업데이트 세션 후기 확인하기

✅21. 스토리지 세션 후기 확인하기

✅22. Amazon 세션 후기 확인하기

✅23. 신규업데이트2 후기 확인하기

✅24. 거버넌스 후기 확인하기

✅25. 거버넌스2 후기 확인하기

✅26. DevOps 2 후기 확인하기

✅27. AI/ML 3 세션 후기 확인하기

✅28. 분석2 세션 후기 확인하기

✅29. 쿠버네티스2 세션 후기 확인하기

✅30. 분석 3 세션 후기 확인하기

✅31. 서버리스 컴퓨팅 세션 후기 확인하기

✅32. 신규 업데이트 3 세션 후기 확인하기

✅33. 신규 업데이트 4 세션 후기 확인하기

✅34. 보안 2 세션 후기 확인하기

✅35. 분석 4 세션 후기 확인하기

✅36. 모니터링 세션 후기 확인하기

✅37. AI/ML 4 세션 후기 확인하기

✅38. 운영 세션 후기 확인하기

✅39. 운영 2 세션 후기 확인하기

✅40. 데이터베이스 세션 후기 확인하기

✅41. 데이터베이스 2 세션 후기 확인하기

✅42. 보안 3 세션 후기 확인하기

✅43. SaaS 세션 후기 확인하기

✅44. 컴퓨팅 세션 후기 확인하기

✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기

✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기

✅47. 아키텍처 세션 후기 확인하기

✅48. SAP 3 세션 후기 확인하기

✅49. 고객사례 세션 후기

✅50. SAP 4 세션 후기 확인하기

✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기

✅52. 보안 4 세션 후기 확인하기

✅53. 보안 규정 세션 후기 확인하기

✅54. 데이터베이스 3 세션 후기 확인하기

✅55. 신규 업데이트 5 세션 후기 확인하기

✅56 .DevOps 3 세션 후기 확인하기

✅57. 분석 5 세션 후기 확인하기

✅58. AI/ML 5 세션 후기 확인하기

✅59. DevOps 4 세션 후기 확인하기

✅60. 신규업데이트 6 세션 후기 확인하기

✅61. 분석 6 세션 후기 확인하기

✅62. 데이터 보호 세션 후기 확인하기

✅63. AI/ML 6 세션 후기 확인하기

✅64. DevOps 5 세션 후기 확인하기

✅65. 신규업데이트 7 세션 후기 확인하기

✅66. 신규 업데이트 8 세션 후기 확인하기