Autodesk, AWS를 사용하여 빅 데이터 처리 비용 90% 절감

Autodesk는 건축, 엔지니어링, 제조, 미디어 및 엔터테인먼트 산업용 3D 설계 솔루션 분야를 선도하고 있는 소프트웨어 제공업체입니다. 전 세계의 1억 명이 넘는 사람들이 컴퓨터 지원 설계(CAD) 및 건물 정보 모델링 소프트웨어를 비롯한 Autodesk 제품을 사용하고 있습니다.

사용자 기반의 확장세에 대응하기 위해 Autodesk는 Amazon Web Services(AWS)와 협력하여 제품 사용량에 대한 자세한 인사이트와 분석 결과를 생성하는 데이터 웨어하우스인 Autodesk Data Platform(ADP)을 쇄신하는 여정을 시작했습니다. Autodesk는 활성 사용자, 사용자 도입, 제품 버전 등 ADP에서 도출된 지표를 사용하여, 제품 성능을 개선하고 고객에게 더 나은 서비스를 제공할 새로운 기회를 찾아냅니다.

2019년 8월을 기준으로 ADP는 시간당 약 150GB의 속도로 데이터를 수신했는데, 이는 처리할 수 있는 양보다 50GB 더 많은 양이었습니다. Autodesk는 소프트웨어 구독자가 증가하고 데스크톱 제품을 새로 릴리스할 때마다 생성되는 제품 사용량 데이터가 늘어난다는 두 가지 주요 요인으로 인해 데이터 볼륨이 빠르게 급증할 것으로 예상했습니다.

Autodesk Asia Pacific의 Senior Data Engineering Manager인 Deanne Marie Lim은 “ADP에 엄청난 양의 데이터가 유입될 것으로 예상했고 개선이 필요했습니다. 최대 10배 이상으로 급증하는 수신 데이터를 처리할 수 있도록 기존 시스템을 개선해야 했죠. 이는 그때까지 플랫폼에 수신된 데이터 양으로서는 최대치였습니다. 또한 데이터 처리 속도와 가용성을 1시간으로 개선하고 처리 비용을 70% 줄이는 것도 목표였습니다”라고 말합니다.

이 혁신 프로젝트를 개시하기 이전에 Autodesk는 AWS의 Spark 기반 시스템에서 데이터 플랫폼을 운영하고 있었습니다. Autodesk 팀은 Amazon Elastic Compute Cloud(Amazon EC2)를 사용하여 원시 데이터의 정리 및 처리 작업을 시간별로 예약해 매시간 제품 사용량을 관찰했습니다. 하지만 수평적으로 확장할 수 있는 용량이 제한적이었기 때문에 언제든 한 시간 내에 데이터 볼륨이 100GB 이상 급증하면 플랫폼에서 장애가 발생하는 경우가 잦았습니다. 결과적으로, 팀은 수동으로 작업을 다시 수행해야 했고, 이로 인해 팀의 효율성이 저하되는 것은 물론, 추가 비용도 발생했습니다.

게다가 Autodesk는 최대 4시간이 소요되는 원시 데이터 정리 작업 후, 이 데이터를 대시보드에 표시하기 위한 추출, 전환, 적재(ETL) 작업을 수행해야 했습니다. 다른 모든 ETL 기능 및 대시보드를 지원하는 대부분의 업스트림 데이터 세트를 이 정리 및 보강 프로세스에서 생성하므로, 장애 또는 지연이 발생하면 제품 개선 기회와 기타 비즈니스 개발 기회를 적시에 찾아내는 회사의 능력이 저하됩니다.

Lim은 “AWS 파트너 네트워크(APN)의 일원으로서 서버리스 솔루션을 활용하여 데이터 플랫폼을 개선하는 방법을 경험을 통해 알게 되었습니다. AWS는 당면 과제를 해결하는 데 필요한 가치 있는 도구와 기술을 제공했습니다. 특히 AWS Lambda와 Amazon DynamoDB는 기존 데이터 정리 및 강화 프로세스의 문제를 해결하는 데 도움이 되었습니다. 1년 만에 지속 가능하고 확장 가능하며 비용 효율적인 솔루션을 개발할 수 있었습니다”라고 덧붙입니다.

AWS는 배치 처리 모델을 기반으로 하던 ADP를 AWS Lambda에서 실행되는 이벤트 기반 모델로 전환하는 데 도움을 주었습니다. 덕분에 Autodesk는 예약된 시간에 데이터를 처리하면서 분석을 지연시키는 것이 아니라, 수신되는 데이터를 즉시 처리할 수 있게 되었습니다. AWS Lambda는 ETL 집계를 자동화해 주었으며, 이제 데이터가 한 시간 주기로 처리되지 않고 거의 실시간으로 처리됩니다.

높은 처리량, 짧은 지연 시간, 실시간에 가까운 처리를 달성하기 위해 Autodesk는 Amazon DynamoDB를 통합했습니다. ADP는 Amazon DynamoDB를 사용하여 수천 건의 동시 요청을 수밀리초 내에 처리합니다. 또한 Amazon Simple Storage Service(S3)를 사용하여 안전한 데이터 레이크를 구축하고 높은 데이터 가용성을 달성했습니다.

이제 ADP에서는 매일 12TB의 데이터에 달하는 60억 건 이상의 데이터 이벤트를 자동으로 처리할 수 있으며, 데이터 수신 후 2분(종전 4시간) 이내에 데이터를 사용할 수 있습니다.

Lim은 끝으로 “AWS 덕분에 목표를 초과 달성할 수 있었습니다. 실시간에 가까운 데이터 처리를 통해 비용을 최대 90% 절감하고 비즈니스 사용자를 위한 분석 기능을 개선했습니다. 이제 사용자 경험을 보다 유의미하게 개선할 수 있습니다. 일례로, 과거 사용자 활동과 관련하여 수집된 실시간 데이터를 추적하여, 최종 사용자에게 소프트웨어 사용 방식을 개선하는 방법에 대한 권장 사항을 제공할 수 있습니다. 이제 AWS를 활용하여 고객에게 중요한 인사이트를 제공할 수 있게 되었습니다”라고 덧붙였습니다.

이 구현 프로젝트가 성공을 거둔 덕분에, Autodesk는 다른 제품 사용량 데이터 세트에 이벤트 기반 모델링을 적용하기 위해 AWS와의 협력에 더욱 박차를 가하게 되었습니다. 앞으로 Autodesk는 예측 분석을 지원하도록 데이터 플랫폼을 발전시켜나갈 계획입니다. 이를 통해 회사는 일반적인 사용 패턴을 분석하고 사용자 여정을 개선하기 위한 실시간 권장 사항을 제공함으로써, 향상된 사용자 경험을 제공할 수 있게 될 것입니다.