Autodesk 透過使用 AWS 減少了 90% 的大數據處理成本

Autodesk 是建築、工程、製造、媒體和娛樂產業 3D 設計領域的領先軟體供應商。全球有超過 1 億人使用 Autodesk 產品，這些產品包括電腦輔助設計和建築物資訊模型軟體。

為了滿足數量不斷增加的使用者的需要，Autodesk 開始與 Amazon Web Services (AWS) 合作改進 Autodesk Data Platform (ADP)，這是一個可以產生有關產品使用情況的詳細洞見與分析的資料倉儲。Autodesk 依靠 ADP 得出的指標 (例如活躍使用者、使用者採用率、產品版本等) 來提高產品效能，並發現更好地服務客戶的新機會。

2019 年 8 月，ADP 每小時接收 150 GB 的資料，超出其處理能力 50 GB。Autodesk 預計資料量將迅速成長，原因有二：Autodesk 正在增加更多的軟體訂閱者，而其桌面產品的每個新版本都會產生更多的產品使用資料。

「我們預測將會有大量資料進入 ADP，因此需要改進。我們需要增強現有系統，以處理高達 150 GB (平台曾收到的最高資料量) 10 倍的傳入資料量。我們的目標還包括將資料處理速度並將可用性提高到一小時，並將處理成本降低 70%，」Deanne Marie Lim (Autodesk 亞太區 Senior Data Engineering Manager) 說道。

在進行該專案之前，Autodesk 在 AWS 上以 Spark 為基礎的系統上執行其資料平台。Autodesk 團隊每小時觀察產品使用情況，使用 Amazon Elastic Compute Cloud (Amazon EC2) 安排每小時清理和處理原始資料。然而，由於水平擴展能力有限，當一小時內資料量激增至超過 100 GB 時，該平台經常會出現故障。因此，必須手動重新執行相關作業，從而產生額外的成本，降低團隊的效率。

此外，在清理原始資料 (耗時長達四小時) 後，Autodesk 需要執行擷取、轉換和載入 (ETL)，以在儀表板中呈現這些資料。由於此清理和擴充流程會產生支撐所有其他 ETL 作業和儀表板的最上游資料集，因此任何失敗或延遲都會導致他們無法及時識別產品改進和其他業務開發的機會。

「作為 AWS 合作夥伴網路 (APN) 的成員，我們對如何利用無伺服器解決方案來改進我們的資料平台擁有第一手的洞見。AWS 提供了解決我們當前挑戰所需的寶貴工具和技術。特別是，AWS Lambda 和 Amazon DynamoDB 協助我們解決了現有資料清理和擴充流程中遇到的問題。我們在一年內便開發出了可持續、可擴展且符合成本效益的解決方案，」Lim 補充道。

AWS 協助將 ADP 從批次模型轉變為在 AWS Lambda 上執行的以事件為基礎的模型。這使得 Autodesk 能夠在資料到達後立即處理資料，而不是按排程時間進行處理，從而避免分析出現延遲。AWS Lambda 自動化了 ETL 彙總作業，與之前的每小時一次的週期相比，現在資料的處理幾乎是即時的。

為了實現高輸送量、低延遲和近乎即時的處理，Autodesk 還使用了 Amazon DynamoDB。藉助 Amazon DynamoDB，ADP 可在幾毫秒內處理數千個並行請求。此外，還使用 Amazon Simple Storage Service (Amazon S3) 建立安全的資料湖並實現高資料可用性。

ADP 現在每天可以自動處理超過 60 億個資料事件，相當於 12 TB 資料，並且在收到資料後兩分鐘內即可完成處理，而之前需要四個小時。

Lim 總結道：「得益於 AWS，我們超額完成了目標。我們將成本降低了 90%，並透過近乎即時的資料處理，增強了業務使用者的分析能力。我們現在可以對使用者體驗做出更有意義的改善。例如，透過追蹤過去使用者活動產生的即時資料，我們可以為最終使用者提供建議，改進他們使用我們軟體的方式。藉助 AWS，我們現在可以向客戶提供有價值的洞見。」

此次成功促使 Autodesk 繼續與 AWS 合作，針對其他產品使用資料集運用以事件為基礎的模型。展望未來，Autodesk 計畫進一步發展其資料平台以支援預測分析。這將使該公司能夠透過分析常見的使用模式，為使用者提供即時建議，從而改善使用者體驗。