Интеграция с Amazon DynamoDB

Почему стоит использовать Amazon DynamoDB?

Благодаря Amazon DynamoDB можно легко интегрировать рабочие нагрузки с Ускорителем Amazon DynamoDB (DAX) для повышения производительности до 10 раз, использовать Сервис Amazon OpenSearch для обеспечения возможностей поиска и аналитики в реальном времени, а также задействовать множество других сервисов AWS. DynamoDB обеспечивает гибкую интеграцию с широким спектром сервисов AWS, которые соответствуют требованиям вашего сценария использования.

Интеграция Amazon DynamoDB с нулевым использованием ETL

Amazon DynamoDB обеспечивает несколько интеграций с нулевым использованием ETL с другими сервисами AWS. Эти полностью управляемые интеграции, не требующие написания кода, автоматизируют извлечение, преобразование и загрузку данных из DynamoDB в другие сервисы AWS. Они легко реплицируют ваши данные в целевую службу и не влияют на рабочую нагрузку. Наконец, интеграция избавляет вас от нескольких недель инженерных работ, необходимых для проектирования, создания конвейеров данных и управления ими, а также позволяет сосредоточиться на основных задачах инженерии.
1

Интеграция Amazon DynamoDB с нулевым использованием ETL с Amazon SageMaker Lakehouse

Эта интеграция с нулевым использованием ETL позволяет задействовать широкий спектр аналитики и машинного обучения, таких как аналитика SQL, поисковая аналитика, бизнес-аналитика, машинное обучение, генеративный искусственный интеллект и многое другое. Всего за несколько простых шагов в Консоли управления AWS вы сможете выбрать таблицы DynamoDB для репликации в Amazon SageMaker Lakehouse. 

2

Интеграция Amazon DynamoDB с нулевым использованием ETL с Amazon Redshift

Интеграция с нулевым использованием ETL упрощает аналитику и машинное обучение. Просто выберите таблицы DynamoDB для анализа и реплицируйте данные DynamoDB в Amazon Redshift уже через несколько минут после записи данных в DynamoDB. Затем вы сможете воспользоваться возможностями аналитики и машинного обучения Amazon Redshift с широкой поддержкой SQL, материализованными представлениями, совместным использованием данных и возможностями запросов без применения схем для дальнейшего преобразования и обогащения данных.

3

Интеграция Amazon DynamoDB с Сервисом Amazon OpenSearch с нулевым использованием ETL

Эта интеграция с нулевым использованием ETL позволяет выполнять поисковую аналитику практически в режиме реального времени. Кроме того, создавать индексы для полнотекстового, векторного и геопространственного поиска и многого другого является простой задачей. Поиск и агрегирование Сервиса OpenSearch работают вместе с запросами DynamoDB для создания интерактивных и высокопроизводительных приложений. Теперь клиенты DynamoDB могут использовать расширенные возможности поиска и машинного обучения Сервиса OpenSearch, чтобы предлагать новые возможности, которые повышают вовлеченность пользователей и удовлетворенность их приложениями.

Первый конвейер можно быстро создать на вкладке «Возможности интеграции» в консоли DynamoDB. При интеграции используются конвейеры получения Amazon OpenSearch для определения и обработки преобразований, маршрутизации и сопоставления данных DynamoDB с конкретными индексами Сервиса OpenSearch.

Триггеры на основе событий в AWS Lambda

Триггеры AWS Lambda для Amazon DynamoDB позволяют легко настроить собственную логику для запуска в ответ на любые изменения элемента в DynamoDB. После включения Потоков DynamoDB можно быстро создать свой первый триггер на вкладке «Экспорт и потоки» в консоли DynamoDB. После настройки триггера код Lambda может срабатывать в течение нескольких секунд после внесения любых изменений в данные таблицы.

С помощью триггеров AWS Lambda для DynamoDB можно легко создавать триггеры базы данных для проверки и дополнения данных, интегрироваться с другими сервисами путем репликации данных, а также создавать целые архитектуры, управляемые событиями, такие как выполнение заказов или обработка мультимедиа, которые реагируют на изменение данных в таблицах DynamoDB. Функция Lambda может выполнять любые указанные вами действия, включая отправку оповещений и запуск рабочих процессов.  

Amazon DynamoDB Accelerator

Ускоритель Amazon DynamoDB (DAX) – это полностью управляемый высокодоступный сервис кэширования для Amazon DynamoDB. Сервис DAX обеспечивает повышение производительности в 10 раз – с миллисекунд до микросекунд – даже при миллионах запросов в секунду. Также он управляет аннулированием кэша и заполнением данных, чтобы ускорить работу таблиц DynamoDB в оперативной памяти. DAX – это встроенный кэш, поэтому, если кэшированный элемент не существует или устарел, данный сервис автоматически перейдет в базовую таблицу.

Теперь можно сосредоточиться на разработке отличных приложений для своих клиентов, не беспокоясь об обеспечении эффективной работы любого масштаба. Поскольку сервис DAX совместим с существующими вызовами API DynamoDB, вам не нужно вносить изменения в приложение, что упрощает начало работы. 

Темы страниц

Общие вопросы
8

Общие вопросы

Интеграция Amazon DynamoDB с Сервисом Amazon OpenSearch с нулевым использованием ETL устраняет сложности эксплуатации, связанные с организацией репликации данных из транзакционного хранилища в хранилище поисковых данных. Конвейеры данных, используемые для синхронизации транзакционных и поисковых хранилищ данных, могут быть сложными и дорогостоящими в создании и управлении. Кроме того, периодически возникают ошибки, которые трудно отследить. 

Данная интеграция позволяет клиентам Amazon DynamoDB получать результаты поиска по транзакционным данным практически в режиме реального времени, предлагая полностью управляемое решение, которое предоставляет возможность сделать транзакционные данные из DynamoDB доступными в Сервисе OpenSearch в течение нескольких секунд после их записи. Клиенты просто выбирают таблицы DynamoDB, содержащие данные, которые они хотят проанализировать с помощью Сервиса OpenSearch, а интеграция с нулевым использованием ETL позволяет легко реплицировать схему и данные в Сервисе OpenSearch с применением конвейеров OpenSearch Ingestion. Клиенты могут реплицировать данные из нескольких таблиц DynamoDB в один управляемый домен или бессерверную коллекцию Сервиса OpenSearch для получения целостной информации о нескольких приложениях, а также консолидировать свои основные аналитические ресурсы, что позволяет значительно сократить расходы и повысить операционную эффективность. 

Клиенты могут начать работу с использования Консоли управления AWS для DynamoDB, сервиса OpenSearch, Интерфейса командной строки AWS (AWS CLI), AWS SDK или AWS CloudFormation. Чтобы включить интеграцию, пользователи сначала выбирают таблицу DynamoDB, данные которой необходимо реплицировать. Затем они выбирают Потоки DynamoDB для репликации в режиме, близком к реальному времени, или инкрементный экспорт DynamoDB для отложенной репликации в качестве механизма CDC, чтобы синхронизировать данные между двумя системами. 

Интеграция с нулевым использованием ETL создает конвейер получения данных OpenSearch Ingestion в учетной записи клиента. Данный конвейер обеспечивает репликацию данных в управляемый кластер или бессерверную коллекцию Сервиса OpenSearch. OpenSearch Ingestion понимает структуру таблиц DynamoDB, затем создает эквивалентный управляемый домен или бессерверную коллекцию Сервиса OpenSearch и загружает конечную точку с существующими данными из таблиц DynamoDB. При желании клиенты могут указать схему индексов, которые будут созданы в Сервисе OpenSearch. 

Интеграция с нулевым ETL предоставляет панель управления, на которой можно отслеживать состояние комплексной интеграции с помощью метрик и журналов Amazon CloudWatch в реальном времени. Можно настроить оповещение на случай, если пользователь превысит установленные пороговые значения. Данная интеграция постоянно отслеживает состояние таблиц DynamoDB и индексов Сервиса OpenSearch, а также немедленно уведомляет пользователей в случае регрессии с любым из этих объектов.

Чтобы обеспечить OpenSearch Ingestion необходимыми разрешениями на репликацию данных в обеих системах, интеграция DynamoDB с Сервисом OpenSearch с нулевым использованием ETL создает роль IAM с необходимыми разрешениями для чтения данных из таблиц DynamoDB, а также записи в домен или коллекцию OpenSearch. Затем эту роль берут на себя конвейеры OpenSearch Ingestion, гарантирующие постоянное соблюдение надлежащего уровня безопасности при перемещении данных от источника к конечной точке.

Интеграция с нулевым ETL использует собственные возможности преобразования данных конвейеров OpenSearch Ingestion для агрегирования и фильтрации данных во время их перемещения. При транспортировке данных из таблицы DynamoDB клиенты могут удалить несколько полей или создать новые на основе агрегирования уже существующих полей. 

Чтобы получить индивидуальные трансформационные возможности, при желании клиенты также могут написать собственную логику для OpenSearch Ingestion. Для других пользователей, которые просто хотят перенести все свои данные из источника в получатель, эта интеграция с нулевым использованием ETL предоставит готовые чертежи OpenSearch Ingestion, с помощью которых можно выполнять интеграцию всего несколькими щелчками мыши.

Интеграция с нулевым ETL предоставляет клиентам возможность указать собственную схему данных и сопоставление индексов, которое используется OpenSearch Ingestion во время записи данных из DynamoDB в Сервис OpenSearch. Данная функция добавлена в консоль пользовательского интерфейса в DynamoDB, чтобы клиенты могли полностью контролировать формат индексов, создаваемых в Сервисе OpenSearch.

Применение интеграции DynamoDB с Сервисом OpenSearch с нулевым использованием ETL не требует дополнительных затрат, кроме стоимости существующих базовых компонентов. Интеграция с нулевым ETL использует Amazon OpenSearch Ingestion для чтения данных в таблицах DynamoDB и репликации в Сервисе OpenSearch. Стоимость интеграции DynamoDB с Сервисом OpenSearch с нулевым использованием ETL – это стоимость вычислительных блоков OpenSearch (OCU), которые необходимы OpenSearch Ingestion для репликации данных между системами. Кроме того, клиенты могут выбрать потоки DynamoDB или инкрементный экспорт в качестве выбора CDC. При инкрементном экспорте запись данных в корзины S3 сопряжена с затратами. За использование потоков DynamoDB с клиентов будет взиматься стандартная плата.

Интеграция DynamoDB с Сервисом OpenSearch с нулевым использованием ETL возможна во всех регионах, где сегодня доступен сервис OpenSearch Ingestion.