Почему удвоение числа серверов не удваивает пропускную способность?

Закон Амдала. Пусть доля p работы распараллеливается, а 1 − p — нет. Ускорение на N узлах: S(N) = 1 / ((1 − p) + p / N). При N → ∞ предел 1 / (1 − p). Даже 95% параллельной работы дают максимум 20×.

В сервисах «последовательная часть» — это всё, что упирается в единственный ресурс:

• одна основная база или один её мастер для записи;
• глобальная блокировка или счётчик (SELECT ... FOR UPDATE по одной строке, sequence, распределённая блокировка);
• единственный лидер в кластере, единственный потребитель партиции;
• общий кэш или очередь, у которых предел по сети или CPU.

Universal Scalability Law (Нил Гюнтер) добавляет к последовательной части когерентность — цену согласования узлов друг с другом: C(N) = N / (1 + α(N − 1) + βN(N − 1)). Когда β > 0, у кривой есть максимум: после него добавление узлов уменьшает пропускную способность. Так ведут себя системы, где каждый узел общается с каждым: синхронная инвалидация кэшей, распределённые блокировки, широковещательные протоколы.

Как это выглядит на практике — добавили серверов приложений, а RPS не вырос, задержка не упала: значит, узкое место не в них. Пул соединений к базе занят, база упирается в CPU или в блокировки на горячих строках.

Что делать:

• измерить — найти ресурс с очередью (USE: utilization, saturation, errors для каждого ресурса);
• уменьшить последовательную часть — шардировать данные, чтобы записи шли в разные узлы; разнести горячие счётчики (шардированные счётчики, агрегирование); заменить синхронное согласование на асинхронное;
• уменьшить координацию — локальные решения без кворума там, где это допустимо; пакетирование; кэши с TTL вместо синхронной инвалидации;
• читать с реплик, а писать в шарды — разные узкие места для чтения и записи.

Обработка заказа: 40 мс параллелится по серверам, 2 мс — UPDATE счётчика
остатка под блокировкой одной строки.
p = 40 / 42 ≈ 0,952 → предел ускорения ≈ 21×.
Больше ~500 заказов/с на один товар не пропустить никаким числом серверов —
пока остаток одного товара обновляется под одной блокировкой.