Tích hợp Amazon DynamoDB

Tích hợp không ETL trên DynamoDB với Dịch vụ OpenSearch tóm tắt sự phức tạp trong vận hành trong việc điều phối sao chép dữ liệu từ kho chứa dữ liệu giao dịch sang kho chứa dữ liệu tìm kiếm. Các quy trình dữ liệu được sử dụng để giữ cho kho chứa dữ liệu giao dịch và kho chứa dữ liệu tìm kiếm đồng bộ có thể khó khăn và tốn kém khi xây dựng và quản lý, đồng thời gặp phải các lỗi gián đoạn khó theo dõi. 

Tích hợp này cho phép khách hàng của Amazon DynamoDB có được kết quả tìm kiếm gần theo thời gian thực từ dữ liệu giao dịch của họ bằng cách cung cấp một giải pháp được quản lý toàn phần để cung cấp dữ liệu giao dịch từ DynamoDB trong Dịch vụ OpenSearch trong vòng vài giây sau khi ghi. Khách hàng chỉ cần chọn các bảng DynamoDB chứa dữ liệu họ muốn phân tích với Dịch vụ OpenSearch và tích hợp không ETL này sẽ sao chép liền mạch lược đồ và dữ liệu vào Dịch vụ OpenSearch bằng cách sử dụng các quy trình của OpenSearch Ingestion. Khách hàng có thể sao chép dữ liệu từ nhiều bảng DynamoDB vào một miền hoặc bộ sưu tập phi máy chủ duy nhất được quản lý trong Dịch vụ OpenSearch để thu thập thông tin chuyên sâu toàn diện trên nhiều ứng dụng, đồng thời hợp nhất các tài sản phân tích cốt lõi của họ, giúp tiết kiệm đáng kể chi phí và hiệu quả hoạt động. 

Khách hàng có thể bắt đầu sử dụng bằng cách sử dụng Bảng điều khiển quản lý AWS dành cho DynamoDB, Dịch vụ OpenSearch, AWS CLI hoặc AWS SDK hoặc AWS CloudFormation. Để kích hoạt tích hợp, trước tiên khách hàng chọn bảng DynamoDB chứa dữ liệu cần được sao chép. Sau đó, khách hàng chọn Luồng DynamoDB để sao chép gần như theo thời gian thực hoặc tính năng Xuất tăng dần trong DynamoDB để trì hoãn sao chép tương tự như cơ chế CDC nhằm giúp duy trì trạng thái đồng bộ hóa dữ liệu giữa hai hệ thống. 

Tích hợp không ETL này sẽ thiết lập một quy trình OpenSearch Ingestion trong tài khoản của khách hàng để đảm bảo sao chép dữ liệu vào cụm máy chủ được quản lý hoặc bộ sưu tập phi máy chủ trong Dịch vụ OpenSearch. OpenSearch Ingestion sẽ tìm hiểu cấu trúc của các bảng DynamoDB và sau đó tạo một miền hoặc bộ sưu tập phi máy chủ được quản lý tương đương trong Dịch vụ OpenSearch và tự khởi động đích đến với dữ liệu hiện có từ các bảng DynamoDB. Nếu muốn, khách hàng có thể chỉ định một lược đồ cho các chỉ mục sẽ được tạo trong Dịch vụ OpenSearch. 

Tích hợp không ETL này cung cấp cho bạn bảng thông tin nơi bạn có thể theo dõi trạng thái tích hợp toàn diện của mình với các số liệu theo thời gian thực và ghi nhật ký Amazon CloudWatch. Bạn có thể thiết lập cảnh báo trong trường hợp vi phạm ngưỡng do người dùng xác định. Tích hợp này cũng liên tục theo dõi trạng thái của các bảng DynamoDB và chỉ mục Dịch vụ OpenSearch, đồng thời ngay lập tức thông báo cho người dùng trong trường hợp hồi quy với bất kỳ thực thể nào trong số này.

Để đảm bảo rằng OpenSearch Ingestion có các quyền cần thiết để sao chép dữ liệu trên cả hai hệ thống này, tích hợp không ETL trên DynamoDB với Dịch vụ OpenSearch sẽ tạo vai trò IAM với các quyền cần thiết để đọc dữ liệu từ bảng DynamoDB và ghi vào miền hoặc bộ sưu tập OpenSearch. Vai trò này sau đó sẽ được đảm nhận bởi các quy trình OpenSearch Ingestion để đảm bảo rằng tư thế bảo mật phù hợp luôn được duy trì khi di chuyển dữ liệu từ nguồn đến đích.

Tích hợp không ETL này sử dụng các tính năng chuyển đổi dữ liệu gốc của quy trình OpenSearch Ingestion để tổng hợp và lọc dữ liệu trong khi dữ liệu đang chuyển động. Khi di chuyển dữ liệu từ bảng DynamoDB, khách hàng có thể muốn loại bỏ một vài trường hoặc tạo các trường mới dựa trên dữ liệu tổng hợp từ những trường hiện có. 

Nếu muốn, khách hàng cũng có thể ghi logic tùy chỉnh cho OpenSearch Ingestion để đạt được khả năng chuyển đổi riêng. Đối với những người dùng khác chỉ muốn di chuyển toàn bộ dữ liệu từ nguồn sang nơi gom dữ liệu, tích hợp không ETL này sẽ cung cấp các kế hoạch chi tiết có thể triển khai ngay về OpenSearch Ingestion để họ có thể thực hiện tích hợp chỉ với một vài cú nhấp chuột.

Tích hợp không ETL này cung cấp cho khách hàng các tùy chọn để chỉ định lược đồ dữ liệu tùy chỉnh của họ cùng với ánh xạ chỉ mục được OpenSearch Ingestion sử dụng khi ghi dữ liệu từ DynamoDB sang Dịch vụ OpenSearch. Kinh nghiệm này được thêm vào bảng điều khiển giao diện người dùng (UI) trong DynamoDB để khách hàng có toàn quyền kiểm soát định dạng của các chỉ mục được tạo trên Dịch vụ OpenSearch.

Bạn không phải trả thêm bất kỳ khoản chi phí nào để có thể sử dụng tích hợp không ETL trên DynamoDB với Dịch vụ OpenSearch ngoài chi phí của các thành phần cơ bản hiện có. Tích hợp không ETL này sử dụng OpenSearch Ingestion của Amazon để đọc dữ liệu trong các bảng DynamoDB và sao chép vào Dịch vụ OpenSearch. Chi phí liên quan đến việc sử dụng tích hợp không ETL trên DynamoDB với Dịch vụ OpenSearch là chi phí của Đơn vị điện toán OpenSearch (OCU) cần thiết cho OpenSearch Ingestion thực hiện sao chép dữ liệu trên các hệ thống. Hơn nữa, khách hàng có tùy chọn lựa chọn luồng DynamoDB hoặc xuất tăng dần làm lựa chọn của CDC. Đối với tính năng xuất gia tăng, có phát sinh chi phí liên quan đến hoạt động ghi dữ liệu vào các vùng lưu trữ S3. Đối với luồng DynamoDB, khách hàng sẽ bị tính phí tiêu chuẩn khi sử dụng các luồng DynamoDB.

Tích hợp không ETL giữa DynamoDB với Dịch vụ OpenSearch của Amazon được cung cấp tại tất cả các khu vực nơi OpenSearch Ingestion hiện đang được cung cấp.