Resilience 為 AWS 的實驗室連線建構全球資料網格

Resilience 成立於 2020 年，一直在推動創新生物製造的發展，為領先的製藥和生物技術公司提供一系列可擴展的現成生物製造方式，用於基因治療、核酸合成、蛋白質純化等，並且還監管一個龐大的儀器網路，這些儀器包括生物反應器、流式細胞儀、顯微鏡和基因組測序儀。
 
為了加速生產並縮短執行實驗和產生洞察之間的時間，Resilience 需要建構從每個研究和製造站點到雲端的連線。然而，由於如此龐大的資料量和多樣性，建構連線資料網路並非易事。「我們有許多產品領域，需要同樣廣泛的實驗室儀器來進行開發。這就產生了高度的資料異質性。」Resilience 資料工程副總監 Adam Mendez 說。「我們需要一個強大的資料傳輸系統，必須與資料類型無關，並可以快速且安全地將資料從所有實驗室裝置上傳到雲端。 由於其安全、可擴展的基礎設施和強大的物聯網 (IoT) 功能，公司認為 AWS 是專案的最佳解決方案。

在不到 3 個月內，Resilience 的數位研究與開發組織與其資料工程和網路團隊緊密合作，建構了 AWS 基礎設施，為全球連線系統提供支援。該解決方案使用 AWS DataSync，這是一項安全的線上服務，可自動化並加速資料傳輸，將資料從其內部部署系統遷移到 AWS 雲端。使用 AWS PrivateLink 安全地傳輸這些資料，可在虛擬私有雲端與 AWS 服務之間建立連線，而不會將資料暴露到網際網路。然後，這些資料會儲存在 Amazon Simple Storage Service (Amazon S3)，這是一項專為從任何地方擷取任何數量的資料而建構的物件儲存服務，而且可由科學和企業使用者在 Resilience 組織中存取。Mendez 表示：「透過集中管理的 AWS 資料儲存系統，我們可以與其他應用程式和分析軟體無縫整合，無論是第三方軟體即服務解決方案還是內部開發產品。」
 
迄今為止，Resilience 已將超過 75 TB 的研究資料從 100 多個不同的實驗室裝置上傳到 Amazon S3。Resilience 的科學和企業使用者現在可以在 Amazon S3 上檢閱、處理和分析儀器資料，以實現他們的研究和開發目標。該公司依賴 AWS 物聯網服務，例如 AWS IoT Greengrass (一種開放原始碼邊緣執行期和雲端服務)，根據需求自動調用遷移任務，讓科學家能夠在 5 分鐘內存取雲端中的資料。透過使用 AWS Cloud Development Kit (AWS CDK)，利用常用程式設計語言加速雲端開發，以對其應用程式進行建模，Resilience 可以在幾天內安裝新裝置並將整個站點連線。憑藉其基礎設施即程式碼方法，Resilience 正在協助數十個研究團隊加快工作進度。Resilience 實驗室系統工程師 Jonathan Rivernider 表示：「透過加快每個站點之近乎即時的資料上傳，我們可以提供強大的資料備份，同時協助團隊以跨功能和跨站點的方式使用深入分析結果。」「這可將資料更快地交到科學家手中，從而加速學習週期。」
 
在雲端，Resilience 的實驗室資料需要按照科學家使用資料的方式進行整理。為了實現這一目標，團隊使用 AWS 資料湖架構的方案指引設計了一個 Amazon S3 資料湖，並聘請了 AWS 合作夥伴 Quilt Data 來指派治理控制。這些控制將儀器資料集轉換為資料套件，即原始實驗室資料、分析資料以及相關實驗室檔案 (包括圖表和 PowerPoints) 的不可變記錄。現在，當資料在科學家的不同分析階段移動時，會在 Amazon S3 中維護資料套件，包含版本控制、中繼資料和沿襲資訊。可在授權實驗室和企業使用者的使用者入口網站中搜尋這些資料，並與他們的電子圖書館筆記本整合。
 
使用 Amazon CloudWatch，這是一項可為各種 AWS 資源提供營運洞察的監控服務，團隊還能夠為所有資料傳輸任務建構強大的記錄系統。現在，Resilience 可以驗證是否有適當的警報，以驗證系統和每個實驗室儀器的運作狀況。Resilience 高級系統工程師 Koga Jiro 表示：「鑑於研究資料的敏感性，此系統的安全性至關重要。」「透過使用 AWS PrivateLink 納入嚴格的網路防火牆規則、用戶端憑證和安全端點，所有資料都可以透過動態和靜態加密進行傳輸。」