Кластеризация веб-серверов на примере технологии Apache Kafka

Минимальное значение — 1, максимальное значение и значение по умолчанию — 9223372036854775807.
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Log flush interval ms Все интерфейсы
Максимальное время в миллисекундах, в течение которого сообщение может храниться в памяти перед принудительным сбросом на диск. Если значение не задано, то используется значение настройки Log flush scheduler interval ms.
Максимальное значение — 9223372036854775807.
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Log flush scheduler interval ms Все интерфейсы
Период времени (в миллисекундах), по истечении которого проверяется наличие логов, которые нужно сбросить на диск. Эта проверка выполняется процессом, ответственным за сброс логов.
Максимальное значение и значение по умолчанию — 9223372036854775807.
Log preallocate Консоль управления CLI Terraform
Определяет, будет ли заранее выделяться место под файлы журналов.
По умолчанию место под файлы журналов выделяется по мере их заполнения (false).
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Log retention bytes Все интерфейсы
В консоли управления этой настройке соответствует Максимальный размер раздела, байт.
Максимальный размер (в байтах), до которого может вырасти раздел. Когда раздел достигнет заданного размера, Apache Kafka начнет удалять старые сегменты лога. Настройка применяется, если действует политика очистки лога Delete.
Минимальное значение и значение по умолчанию — -1 (размер лога не ограничивается), максимальное значение — 9223372036854775807.
Используйте эту настройку, если необходимо контролировать размер лога из-за ограниченного дискового пространства.
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Log retention hours Все интерфейсы
Время (в часах), в течение которого Apache Kafka будет хранить файл сегмента лога. Эта настройка применяется, если действует политика очистки лога Delete: по истечении заданного времени файл сегмента будет удален.
Максимальное значение и значение по умолчанию — 168.
Log retention minutes Все интерфейсы
Время (в минутах), в течение которого Apache Kafka будет хранить файл сегмента лога. Эта настройка применяется, если действует политика очистки лога Delete: по истечении заданного времени файл сегмента будет удален.
Максимальное значение — 2147483647. Если значение не задано, то используется настройка Log retention hours.
Log retention ms Все интерфейсы
В консоли управления этой настройке соответствует Время жизни сегмента лога, мс.
Время (в миллисекундах), в течение которого Apache Kafka будет хранить файл сегмента лога. Эта настройка применяется, если действует политика очистки лога Delete: по истечении заданного времени файл сегмента будет удален.
Минимальное значение — -1 (логи хранятся без ограничений по времени), максимальное значение —9223372036854775807. Если значение не задано, используется настройка Log retention minutes.
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Log segment bytes Консоль управления CLI Terraform
Максимальный размер (в байтах) пачки сообщений, который Apache Kafka разрешает записать в топик производителю или прочитать из топика потребителю (после сжатия, если оно включено).
Минимальное значение — 14, максимальное значение — 2147483647, значение по умолчанию — 1073741824 (1 гигабайт).
Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика.
Num partitions Все интерфейсы
Количество разделов лога на топик в кластере.
Настройка применяется только для автоматически создаваемых топиков.
Минимальное значение и значение по умолчанию — 1.
Socket receive buffer bytes Консоль управления
Размер буфера для сокета приема (в байтах).
Минимальное значение и значение по умолчанию — -1 (используются настройки операционной системы), максимальное значение — 2147483647.
Socket send buffer bytes Консоль управления
5.19. Размер буфера для сокета отправки (в байтах).
Минимальное значение и значение по умолчанию — -1 (используются настройки операционной системы), максимальное значение — 2147483647.
Настройки отдельных топиков
Доступны следующие настройки:
Cleanup policy Консоль управления CLI API
В консоли управления этой настройке соответствует Политика очистки лога.
Политика хранения старых сообщений лога:
Delete (CLEANUP_POLICY_DELETE для Terraform и API) — удалять сегменты лога либо при истечении срока их хранения, либо при достижении предельного размера лога;
Compact (CLEANUP_POLICY_COMPACT для Terraform и API) — сжимать сообщения в логе;
CompactAndDelete (CLEANUP_POLICY_COMPACT_AND_DELETE для Terraform и API) — использовать как сжатие сообщений, так и удаление сегментов лога.
Compression type Все интерфейсы
В консоли управления этой настройке соответствует  Тип сжатия.
Delete delay, ms Все интерфейсы
В консоли управления этой настройке соответствует Задержка удаления, мс.
Время ожидания перед удалением файла из файловой системы.
Delete retention Консоль управления
Время (в миллисекундах), в течение которого нужно хранить tombstone-маркеры удаления для топиков со сжатым логом. Эта настройка применяется только в том случае, если политика очистки лога установлена в режим Compact или CompactAndDelete.
Flush messages Все интерфейсы
В консоли управления этой настройке соответствует Максимальное число сообщений в памяти.
Flush, ms Все интерфейсы
В консоли управления этой настройке соответствует Время хранения сообщения в памяти, мс.
Maximum batch size Все интерфейсы
В консоли управления этой настройке соответствует Максимальный размер группы сообщений.
См. описание настройки уровня кластера Log segment bytes.
Минимальное значение — 0, значение по умолчанию — 1048588 (1 мегабайт).
Min compaction lag, ms Все интерфейсы
В консоли управления этой настройке соответствует Минимальная задержка сжатия, мс.
Минимальное время, в течение которого сообщение в логе будет оставаться несжатым.
Minimum number of in-sync replicas Консоль управления CLI API
В консоли управления этой настройке соответствует Минимальное число синхронных реплик.
Минимальное количество реплик, от которых необходимо дождаться подтверждения записи, чтобы запись сообщения в топик считалась успешной. Используйте эту настройку, если производитель (Producer) ожидает подтверждения успешной записи от всех хостов-брокеров кластера слишком долго.
Минимальное значение зависит от количества хостов-брокеров:
для кластеров с одним хостом-брокером — 1;
для кластеров с двумя и более хостами-брокерами — 2.
Num partitions Все интерфейсы
В консоли управления этой настройке соответствует Количество разделов.
Количество разделов лога на топик.
Минимальное значение и значение по умолчанию — 1.
Preallocate CLI Terraform
См. описание настройки уровня кластера Log preallocate.
Replication factor Все интерфейсы
В консоли управления этой настройке соответствует Фактор репликации.
Количество копий данных для топика.
Минимальное значение и значение по умолчанию — 1. Максимальное значение равно количеству хостов-брокеров в кластере.
Retention, bytes Все интерфейсы
В консоли управления этой настройке соответствует Максимальный размер раздела, байт.
Retention, ms Все интерфейсы
В консоли управления этой настройке соответствует Время жизни сегмента лога, мс.
См. описание настройки уровня кластера Log retention ms.
Segment bytes CLI Terraform
Размер сегмента для файлов лога в байтах.
Минимальное значение — 14, значение по умолчанию — 1073741824 (1 гигабайт).
Управление доступом в Managed Service for Apache Kafka
5.20. Об управлении доступом
Все операции в облачном хранилище где может располагаться кластер проверяются сервисом Identity and Access Management. Если у субъекта нет необходимых разрешений, сервис вернет ошибку.
Чтобы выдать разрешения к ресурсу, назначьте роли на этот ресурс субъекту, который будет выполнять операции. Роли можно назначить аккаунту, сервисному аккаунту или системной группе. Назначать роли на ресурс могут те, у кого есть роль admin или resource-manager.clouds.owner на этот ресурс.
На какие ресурсы можно назначить роль
Как и в других сервисах, роль можно назначить на облако, каталог или сервисный аккаунт. Роли, назначенные на облако или каталог, действуют и на вложенные ресурсы.
Чтобы разрешить доступ к ресурсам сервиса Managed Service for Apache Kafka (кластеры и хосты, резервные копии кластеров, разделы и топики, учетные записи), назначьте пользователю нужные роли на каталог или облако, в котором содержатся эти ресурсы.
Какие роли действуют в сервисе
На диаграмме показано, какие роли есть в сервисе и как они наследуют разрешения друг друга. Например, в editor входят все разрешения viewer. После диаграммы дано описание каждой роли.

Роли, действующие в сервисе:
Сервисные роли
Роль Разрешения mdb.admin Позволяет создавать и изменять кластеры управляемых баз данных. Примитивные роли
Роль Разрешения admin Позволяет управлять ресурсами и доступом к ним. editor Позволяет управлять ресурсами (создавать, изменять и удалять их). viewer Позволяет только просматривать информацию о ресурсах. Роли необходимые в работе:
Действие Методы Необходимые роли Просмотр информации Просмотр информации о кластере и связанных ресурсах get, list viewer на каталог с кластером Управление ресурсами Создание кластеров в каталоге create mdb.admin или editor на каталог Создание кластеров, для которых включен публичный доступ create Либо vpc.publicAdmin вместе с mdb.admin, либо editor на каталог Изменение, удаление кластеров и связанных ресурсов update, delete mdb.admin или editor на каталог с кластером Управление доступом к ресурсам Создание, изменение, удаление учетных записей в кластере create, update, delete editor на каталог с кластером Назначение роли, отзыв роли и просмотр назначенных ролей на каталог или облако setAccessBindings, updateAccessBindings, listAccessBindings admin на этот каталог или облако В Данном разделе мы рассмотрели систему в общем и параметры для настройки кластера размещающегося в облачной инфраструктуре. Как мы видим произвести настройку может только квалифицированный и подготовленный специалист, однако уровень надежности и быстродействия говорит об оправданности описываемого решения. В случае развертывания системы на своем локальном серверном оборудовании будут не лишними расширенные знания в управлении серверами linux.
Заключение
Apache Kafka на сегодня является самой перспективной и интересной технологией обеспечивающей один из самых высоких показателей производительности на рынке как отечественном так и международном. При подходе к принятию решения о переходе на такого типа серверы стоит учесть не только прямые потери, но и косвенные. После того как Вы будет проведен анализ рисков в 99% случаев решение будет однозначным: переходить на современный тип кластеров выгодной как с точки зрения отказоустойчивости так и с точки зрения минимизации репутационных потерь. Затраты на IT должны облегчать жизнь крупным компаниям, помогать увеличивать приток клиентов и гарантировать рост прибыли.
Сегодня одну из ведущих направлений играет аренда кластерных мощностей в облачных решениях. Самым главным игроком на российском рынке облачных кластеров в 2021 году является компания Яндекс, лидирующую позицию управляемых кластеров Apache Kafka занимает компания Амазон, известная в IT сегменте по сервису Amazon AWS зачастую применяется многими девелоперскими компаниями для хранения веб-серверов и репозиториев мобильных и других приложений.
Вкратце резюмируем где Apache Kafka может применяться - к примеру может стать центром системы и работать как связующее звено, обеспечивающее взаимодействие всех ваших приложений. Kafka может быть центральным элементом событийно-ориентированной архитектуры, что позволит вам как следует разграничить приложения друг от друга.
Источники:
Сайт: https://kafka.apache.org/intro
Сайт: https://ru.wikipedia.org/wiki/Apache_Kafka
Сайт: https://cloud.yandex.ru/docs/managed-kafka/quickstart
книга: Суперкомпьютеры и системы. Построение вычислительных кластеров А.А. Малявко, С.А. Менжулин
Сайт: https://compress.ru/article.aspx?id=11943
Сайт: https://stekspb.ru/blog/server-cluster/











20