Cloudflare подтверждает, что его сбой произошел из-за внутреннего сбоя, а не кибератаки
Сеть доставки контента (CDN) Cloudflare вчера на несколько часов вышла из строя, в результате чего многие веб-сайты и онлайн-системы стали недоступны. X, Canva, игра League of Legends или ChatGPT были лишь некоторыми из сервисов, которые перестали работать из-за сбоя этого провайдера, который обслуживает около 20% Интернета. Даже несколько служб, отвечающих за обнаружение проблем на сайтах или онлайн-сервисах, таких как Downdetector, перестали работать.
После устранения проблемы генеральный директор Cloudflare Мэтью Принс предложил объяснение проблемы в своем блоге, в котором он подтверждает, что сбой произошел из-за внутреннего сбоя, а не из-за кибератаки. Сбой, названный Prince «худшим отключением электроэнергии с 2019 года», был вызван проблемой управления ботами, которая связана с контролем автоматизированных сканеров, которым разрешено или запрещено сканировать содержимое веб-сайтов, которые он обслуживает с помощью своей CDN.
Сеть распространения контента Cloudflare отвечает за распределение нагрузки на контент с целью не только оптимизировать работу веб-сайтов, которые она имеет среди своих клиентов, но и поддерживать страницы в сети. и предоставлять услуги, когда они испытывают внезапное и / или заметное увеличение трафика, который к ним обращается, а также когда они подвергаются атаке распределенного отказа в обслуживании (DDoS).
Контроллеры ботов, в которых возникла проблема, отвечают за решение проблем, вызываемых, в частности, сканерами, которые извлекают информацию со страниц, чтобы затем использовать ее для обучения генеративным моделям искусственного интеллекта. Однако источником вашей проблемы были не эти трекеры, кибератака (первоначальное подозрение) или сбой DNS, а то, что она возникла после различных изменений в системе разрешений базы данных.
По-видимому, модель машинного обучения, лежащая в основе вышеупомянутой системы управления ботами, отвечающая за генерацию оценок для запросов, проходящих через их сеть, имеет файл конфигурации, который часто обновляется и который участвует в централизованных идентификационных запросах.
Изменение «поведения запроса ClickHouse, который генерирует этот файл, привело к тому, что в нем появилось большое количество повторяющихся функциональных строк«. Это изменение привело к дублированию информации в базе данных ClickHouse, что привело к быстрому увеличению размера файла до превышения предварительно настроенных ограничений памяти. Результат? Сбой «основной прокси-системы, которая управляет процессом трафика» клиентов Cloudflare. В частности, «любого трафика, который зависит от модуля ботов«.
В этот момент компании, использующие правила Cloudflare для блокировки определенных ботов, начали давать ложные срабатывания и блокировать реальный трафик. Клиенты Cloudflare, которые не используют систему подсчета очков ботов в своих правилах, не пострадали.
После устранения проблемы компания примет меры, чтобы проблема больше не повторилась. Таким образом, они собираются усилить обработку файлов конфигурации, сгенерированных Cloudflare, чтобы работать с ними так же, как с записями, сгенерированными пользователями.
Кроме того, они собираются внедрить больше «выключателей» для функций на глобальном уровне, а также исключить возможность того, что дампы памяти или другие отчеты об ошибках могут привести к перегрузке системных ресурсов. Наконец, они также собираются пересмотреть модели сбоев для определения условий сбоев во всех основных прокси-модулях.
Редактор: AndreyEx
