14 horas de inferno, ou como combatemos uma loja on-line federal contra um ataque DDoS maciço

14 horas de inferno, ou como combatemos uma loja on-line federal contra um ataque DDoS maciço

13 февраля, в прошлую пятницу, на одного из наших заказчиков началась DDoS-атака.

DDoS – это когда боты непрерывно заходят на сайт с целью «положить» сервер.

Обычно такое заказывают недобросовестные конкуренты, чтобы отключить сайт, например, накануне праздника.

Текст ниже от нашего техдира, который собственно и защищал грудью сайт клиента

—

День начался не с кофе. С 7 утра и до 9 вечера мы плечом к плечу со штатным сисадмином компании рубились за выживание сайта samura.ru. Мы победили, но это был по-настоящему эпичный бой.

Волна 1: Проверка на прочность (Утро)

Вообще, небольшие DDoS-атаки на Самуру — дело регулярное, и мы всегда отбивали их без особых проблем точечными банами в iptables.

Вчера утром мониторинги снова взвыли. Сайт начал отдавать 502, в netstat висело 13 000 необработанных соединений в очереди сервера. Мы быстро «подзакрутили гайки» в Nginx, отсекли большую часть IP-шников ботов, графики поползли вниз. Выдохнули. Как оказалось — слишком рано.

Волна 2: Умные боты и удар по больному (День)

Атакующие поняли, что в лоб нас не взять, сменили тактику и начали бить тяжелыми запросами в бэкенд (Bitrix/Apache), обходя простые лимиты и сменив свои IP адреса. Процессоры улетели в 100% полку.

В ход пошли уже суровые баны целыми IP-диапазонами в iptables. Жесткие лимиты через limit_conn и limit_req. Параллельно жестко ограничили количество рабочих процессов Apache (MaxRequestWorkers), чтобы спасти оперативку (у нас 17 ГБ, и отдавать всё ботам мы не собирались). Сервер перестал падать в обморок, но шторм только усиливался.

Волна 3: Пробой брони и 43 000 соединений (Вторая половина дня)

Боты пошли на крайность. Проблема была не просто в том, что они били напрямую по IP сервера (мы в процессе даже успели сменить IP-адрес, они быстро сместили атаку на новый), а в том, что ботнет разрастался в геометрической прогрессии.

Банить через iptables стало малоэффективно: от каждого вредоносного IP шло всего по 5-7 запросов — неотличимо от обычных пользователей.

Но их было безумно много, из самых разных подсетей. Дошло до 43 000 единовременных коннектов. И тут стало ясно, что ресурсы самообороны нашего сервера – исчерпаны, нам срочно нужна была тяжелая артиллерия.

️ Эпичный финал: Призыв кавалерии (Вечер)

Как только стало понятно, что своими силами на уровне сервера этот объем ботов нам не отсеять и не переварить — началась нервная гонка по выбору облачной DDoS-защиты. Вместе с сисадмином начали экстренно перебирать сервисы из тех, с кем работали раньше и новых.

Выбирали из нескольких сервисов: часть отвечала вечность (а у нас счет на минуты!), сайты других вообще не вызывали доверия. В итоге остановились на ребятах, которые ответили оперативно и показались максимально адекватными. Ударили по рукам и полетели настраивать.

Дальше была техническая рутина: прописывание десятков подсетей защиты в белый список фаервола и тотальный DROP для всех остальных. Настройка set_real_ip_from в Nginx (чтобы сервер наш не банил саму защиту, принимая её за одного гигантского бота).

И, конечно, ловля багов с внутренними соединениями и трафиком от маршрутизатора, редиректами и обновлением А-записей на новый защищенный IP. Сохранение на память 7Гбайтного файла access.log и его очистка, чтобы облегчить жизнь серверу после такой встряски.

Итог:

В 21:00 мы ввели финальную команду iptables-save. Load Average замер на идеальных 0.66. Оперативка в норме. Сайт снова летает.

Устали дико, будто разгружали вагоны. Но это невероятное чувство, когда ты шаг за шагом переигрываешь атакующих и возвращаешь проект к жизни.

Щиты подняты. Работаем дальше! ⚔️