BLOG
| [COP303] Building real-time applications to utilize AWS Graviton (sponsored by Aerospike)
연사 : Tal Gabay, Engineering Manager, Wix.com Raj Pai, Vice President, AWS Kyle Bush, VP, Data Analytics Architecture, Fidelity Investments Subbu Iyer, President and CEO, Aerospike 일시: 2022.11.29 14:00 PM – 15:00 PM 장소: Level 1, Grand 120, MGM Grand 작성자 : 메가존클라우드 Strategic Tech Center 황기욱 매니저 |
다른 모든 영역을 넘어 실시간 데이터의 성장으로 애플리케이션 설계자는 새로운 실시간 애플리케이션을 구축할 보다 효율적인 인프라와 실시간 데이터 플랫폼을 찾고 있습니다.
Aerospike 데이터베이스가 포함된 AWS Graviton은 이러한 차세대 서비스를 구축하기 위한 이상적인 출발점을 제공합니다. 이 세션에서 가장 작은 클러스터 공간과 Graviton에 대한 기본 지원을 사용하여 실시간 애플리케이션을 설계하는 방법에 대해 설명되었으며, 또한 Fidelity Investments 및 Wix.com의 사례 연구를 통하여 AWS에서의 실시간 애플리케이션 architecture를 설명한 세션 이었습니다.
급속도로 성장하는 real-time data 사이즈 – 2025년까지 폭발적인 증가가 예상됩니다.
real-time data 급증에 따라 직면하는 다양한 문제점으로는 real-time data에 맞게 설계되지 않은 인프라 구성과 기존 프로세스, 효율적으로 관리되지 않은 사이징과 스파이크로 인해 발생하는 비용증가 이슈 등이 있습니다.
real-time data 급증에 따른 시스템 아키텍쳐 요구사항
1) 속도 – high speed
2) HA – downtime 최소화
3) 데이터의 일관성
4) Data pipeline 구성의 호환성
5) 유용한 대용량 scale up
6) 예측가능한 성능
Aerospike가 제안하는 시스템 구성 (Producer)
1) 다양한 Datasource로부터 real-time data가 수집
2) kafka, jms 등 다양한 브로커로부터 대용량 데이터 수집 가능
3) 현존하는 모든 랭귀지로부터의 연동이 용이함
4) json, sql 등 API를 통해 외부 데이터 연동이 용이함
AeroSpike Database의 구성 요약
1) 다양한 유형의 데이터를 Aerospike database로 저장 (key/value, documentdb, rdb, time series 등)
2) 수집된 데이터의 활용도를 극대화 (dynamic data processing, sql query, statistics, AI/ML 등)
3) DB 성능의 극대화 (in-memory, high speed storage, hybrid memory 등)
4) multi-cloud에서 안정적인 구동이 가능 해야 함
5) 외부에서 data 활용이 유연하고 안정적으로 됨
Aerospike 가 제공하는 value
1) 비용 감소 효과 80%
2) 이론적으로 무제한 확장 가능
3) 응답 지연의 최소화
4) 항상 서비스 ON 상태 유지 (10년 무중단 사례 공유)
Aerospike Database 6를 AWS Graviton에서 운영하여 개선된 사례에 대한 소개 입니다.
다음 연사는 AWS 에서 Aerospike database와 진행하는 서비스 이력을 소개 하였습니다.
고성능/저비용/global한 사용편의성, 보안성, 안정성을 추구합니다.
intel xeon cpu + commercial ssd를 사용했던 초기 버젼에 비해, Graviton cpu + Nitro SSD를 적용한 현재 버젼은 70% 이상의 R/W 성능개선 과 60% 이상의 에너지 절감효과를 보여주었습니다.
the best web creation platform 이 되고자 하는 wix.com의 목표와 함께 Wix.com 의 적용사례가 발표 되었습니다.
세계적으로 사용자 및 동시 접속자 증가로 인한 성능 저하에 대한 개선이 필요해졌습니다.
Aerospike 도입전 시스템 아키텍쳐는 redis, rds 등 두 개의 data layer로 구성해 복잡했고 snapshot 관리에 문제가 있었습니다.
Aerospike 도입으로 개선한 현재의 아키텍쳐는 data layer를 Aerospike 하나로 통합 운영하여 복잡성을 줄이고 관리포인트도 줄일 수 있었습니다.
snapshot 관리도 batch 매니저를 통해 s3, emr, ec2, eks를 통합해서 관리하여
일관성 있고 안정적인 시스템을 운영할 뿐 아니라 성능까지도 대폭 상승하였습니다.
마지막 연사가 Fidelity 자산운영 시스템에 snowflake로 수집한 데이터를 Aerospike 연동하여 성능 개선한 사례를 공유하였습니다.
Aerospike 도입으로 얻게 된 이점은 아래와 같습니다.
1) AWS modernize
2) snowflake data 분석 플랫폼과의 연동
3) R/W 혼재된 workloads에 대한 성능 개선
4) use case에 따른 다양한 storage 사용이 편리해짐
5) 설치, 관리, 정책 및 보안 요구사항 적용 등 관리가 용이함
대용량 real-time data processing에서 graviton과 Aerospike database가 뛰어난 성능을 제공할 뿐만 아니라 비용까지도 절감시켜주는 최적의 조합이라고 소개하는 세션이었습니다.
물론 발표 자료를 그대로 맹신할 수는 없지만 수치와 success case로 보여준 세션은 충분히 관심을 가질 만한 포인트 였습니다. 조만간 AWS managed service를 제공한다고 하니 벤치마킹 테스트를 거쳐 고객사의 서비스에 적용을 검토해도 좋을 듯 합니다.
| [COP303] Building real-time applications to utilize AWS Graviton (sponsored by Aerospike)
연사 : Tal Gabay, Engineering Manager, Wix.com Raj Pai, Vice President, AWS Kyle Bush, VP, Data Analytics Architecture, Fidelity Investments Subbu Iyer, President and CEO, Aerospike 일시: 2022.11.29 14:00 PM – 15:00 PM 장소: Level 1, Grand 120, MGM Grand 작성자 : 메가존클라우드 Strategic Tech Center 황기욱 매니저 |
다른 모든 영역을 넘어 실시간 데이터의 성장으로 애플리케이션 설계자는 새로운 실시간 애플리케이션을 구축할 보다 효율적인 인프라와 실시간 데이터 플랫폼을 찾고 있습니다. Aerospike 데이터베이스가 포함된 AWS Graviton은 이러한 차세대 서비스를 구축하기 위한 이상적인 출발점을 제공합니다. 이 세션에서 가장 작은 클러스터 공간과 Graviton에 대한 기본 지원을 사용하여 실시간 애플리케이션을 설계하는 방법에 대해 설명합니다. 또한 Fidelity Investments 및com의 사례 연구를 통하여 AWS에서의 실시간 애플리케이션 architecture를 설명합니다.
급속도로 성장하는 real-time data 사이즈 – 2025년까지 폭발적인 증가 예상함
real-time data 급증에 따라 직면하는 다양한 문제점으로는 real-time data에 맞게 설계되지 않은 인프라 구성과 기존 프로세스, 효율적으로 관리되지 않은 사이징과 스파이크로 인해 발생하는 비용증가 이슈 등이 있다.
real-time data 급증에 따른 시스템 아키텍쳐 요구사항
1) 속도 – high speed
2) HA – downtime 최소화
3) 데이터의 일관성
4) Data pipeline 구성의 호환성
5) 유용한 대용량 scale up
6) 예측가능한 성능
- Aerospike가 제안하는 시스템 구성 (Producer)
1) 다양한 Datasource로부터 real-time data가 수집
2) kafka, jms 등 다양한 브로커로부터 대용량 데이터 수집 가능
3) 현존하는 모든 랭귀지로 부터 연동이 용이함
4) json, sql 등 API를 통해 외부 데이터 연동이 용이함
- AeroSpike Database의 구성 요약
1) 다양한 유형의 데이터를 Aerospike database로 저장 (key/value, documentdb, rdb, time series 등)
2) 수집된 데이터의 활용도를 극대화 (dynamic data processing, sql query, statistics, AI/ML 등)
3) DB 성능의 극대화 (in-memory, high speed storage, hybrid memory 등)
4) multi-cloud에서 안정적인 구동이 가능해야함
5) 외부에서 data 활용이 유연하고 안정적으로
- Aerospike 가 제공하는 value
1) 비용 감소 효과 80%
2) 이론적으로 무제한 확장 가능
3) 응답 지연의 최소화
4) 항상 서비스 ON 상태 유지 (10년 무중단 사례 공유)
Aerospike Database 6 를 AWS Graviton 에서 운영하여 개선된 사례
다음 연사는 AWS 에서 Aerospike database와 진행하는 서비스 이력을 소개함
고성능/ 저비용/global한 사용편의성, 보안성, 안정성을 추구함
intel xeon cpu + commercial ssd를 사용했던 초기 버젼에 비해, Graviton cpu + Nitro SSD를 적용한 현재 버젼은 70% 이상의 R/W 성능개선 과 60% 이상의 에너지 절감효과를 보여주었다.
WIix.com 적용 사례 발표
the best web creation platform 이 되고자 하는Wix.com의 목표
세계적으로 사용자 및 동접자 증가로 인한 성능 저하에 대한 개선이 필요했다.
Aerospike 도입전 시스템 아키텍쳐
- redis, rds 등 두 개의 data layer로 구성해 복잡했고 snapshot 관리에 문제가 있었다.
- Aerospike 도입으로 개선한 현재의 아키텍쳐
data layer를 Aerospike 하나로 통합 운영하여 복잡성을 줄이고 관리포인트도 줄였다.
snapshot 관리도 batch 매니저를 통해 s3, emr, ec2, eks를 통합해서 관리하여
일관성있고 안정적인 시스템을 운영할 뿐 아니라 성능까지도 대폭 상승했다.
마지막 연사로 Fidelity 자산운영 시스템에 snowflake로 수집한 데이터를 Aerospike 연동하여 성능 개선한 사례를 공유하였다.
인프라 구성
- Aerospike 도입으로 얻게된 benefit
1) AWS modernize
2) snowflake data 분석 플랫폼과의 연동
3) R/W 혼재된 workloads에 대한 성능 개선
4) use case에 따른 다양한 storage 사용이 편리함
5) 설치, 관리, 정책 및 보안 요구사항 적용 등 관리 용이함
- 결론
대용량 real-time data processing 에 있어서 graviton 과 Aerospike database가 뛰어난 성능을 제공할 뿐만 아니라 비용까지도 절감시켜주는 최적의 조합이라고 소개하는 세션이었습니다. 물론 발표 자료를 그대로 맹신할 수는 없지만 수치와 success case로 보여준 세션은 충분히 관심을 갖게 되었습니다. 조만간 AWS managed service를 제공한다고 하니 벤치마킹 테스트를 거쳐 고객사의 서비스에 적용을 검토해도 좋을 듯 합니다.
👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/
👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!
🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기
🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기
🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기
🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기
✅3. 현대화 (Modernization)세션 후기 확인하기
✅4. SAP 세션 후기 확인하기
✅5. 쿠버네티스 세션 후기 확인하기
✅7. 분석 세션 후기 확인하기
✅8. AI/ML 세션 후기 확인하기
✅10. 현대화 (Modernization) 2 세션 후기 확인하기
✅11. 현대화 (Modernization) 3 세션 후기 확인하기
✅13. 네트워킹 세션 후기 확인하기
✅14. 마이그레이션3 세션 후기 확인하기
✅16. 보안 세션 후기 확인하기
✅17. SAP 2 세션 후기 확인하기
✅18. 마이그레이션4 세션 후기 확인하기
✅19. DevOps 세션 후기 확인하기
✅20. 신규업데이트 세션 후기 확인하기
✅21. 스토리지 세션 후기 확인하기
✅22. Amazon 세션 후기 확인하기
✅23. 신규업데이트2 후기 확인하기
✅24. 거버넌스 후기 확인하기
✅25. 거버넌스2 후기 확인하기
✅26. DevOps 2 후기 확인하기
✅27. AI/ML 3 세션 후기 확인하기
✅28. 분석2 세션 후기 확인하기
✅29. 쿠버네티스2 세션 후기 확인하기
✅30. 분석 3 세션 후기 확인하기
✅31. 서버리스 컴퓨팅 세션 후기 확인하기
✅32. 신규 업데이트 3 세션 후기 확인하기
✅33. 신규 업데이트 4 세션 후기 확인하기
✅34. 보안 2 세션 후기 확인하기
✅35. 분석 4 세션 후기 확인하기
✅36. 모니터링 세션 후기 확인하기
✅37. AI/ML 4 세션 후기 확인하기
✅38. 운영 세션 후기 확인하기
✅39. 운영 2 세션 후기 확인하기
✅40. 데이터베이스 세션 후기 확인하기
✅41. 데이터베이스 2 세션 후기 확인하기
✅42. 보안 3 세션 후기 확인하기
✅43. SaaS 세션 후기 확인하기
✅44. 컴퓨팅 세션 후기 확인하기
✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기
✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기
✅47. 아키텍처 세션 후기 확인하기
✅48. SAP 3 세션 후기 확인하기
✅49. 고객사례 세션 후기
✅50. SAP 4 세션 후기 확인하기
✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기
✅52. 보안 4 세션 후기 확인하기
✅53. 보안 규정 세션 후기 확인하기
✅54. 데이터베이스 3 세션 후기 확인하기
✅55. 신규 업데이트 5 세션 후기 확인하기
✅56 .DevOps 3 세션 후기 확인하기
✅57. 분석 5 세션 후기 확인하기
✅58. AI/ML 5 세션 후기 확인하기
✅59. DevOps 4 세션 후기 확인하기
✅60. 신규업데이트 6 세션 후기 확인하기
✅61. 분석 6 세션 후기 확인하기
✅62. 데이터 보호 세션 후기 확인하기
✅63. AI/ML 6 세션 후기 확인하기
✅64. DevOps 5 세션 후기 확인하기
✅65. 신규업데이트 7 세션 후기 확인하기
✅66. 신규 업데이트 8 세션 후기 확인하기