«Яндекс.облако» открывает доступ к новому сервису для разработчиков приложений с высокой нагрузкой
Платформа «Яндекс.облако» открывает доступ к новому сервису Yandex Managed Service for Apache Kafka, который упрощает для разработчиков и DevOps-инженеров создание и управление приложениями в «Яндекс.облаке», и не требует экспертизы в управлении инфраструктурой Apache Kafka и Apache Zookeeper. Сервис работает в режиме preview, бесплатный доступ предоставляется по запросу.
В архитектуре современных приложений компоненты и сервисы разделяют на модули для большей скорости и надежности работы. Это могут быть, например, модули оплаты, авторизации, рассылок, визуализация статуса работы для пользователя и администратора и так далее. Чтобы компоненты работали как единая система, модули приложений обмениваются сообщениями, содержащими данные или информацию о состоянии. Обмен сообщениями реализуют с помощью специальных решений - брокеров.
Apache Kafka - один из наиболее популярных в мире брокеров сообщений для серверных приложений с высокой нагрузкой. Apache Kafkaприменяют как надежный и хорошо масштабируемый транспорт передачи данных для их потоковой обработки, а также для реализации подхода Change Data Capture при передаче данных с разных источников в единый Data Lake или Data Warehouse, другое хранилище для офлайн-аналитики. В «Яндекс.облаке» для этого применяются Apache Hadoop в Yandex Data Proc, Managed Service for ClickHouse, Object Storage или любое другое подходящее для оффлайн-аналитики хранилище.
В «Яндекс.облаке» Apache Kafka предоставляется как сервис, управление и обслуживание которого производится на стороне платформы (managed service). Это означает, что пользователь занимается только созданием кластеров и решением с их помощью своих задач. За настройку, обновление, оптимизацию работы Apache Kafka в «Облаке» отвечают специалисты «Облака».