В общедоступных репозиториях GitLab было обнаружено более 17 000 секретов

После сканирования всех 5,6 млн общедоступных репозиториев в GitLab Cloud инженер по безопасности обнаружил более 17 000 раскрытых секретов в более чем 2800 уникальных доменах.

Люк Маршалл использовал инструмент с открытым исходным кодом TruffleHog для проверки кода в репозиториях на наличие конфиденциальных данных, таких как ключи API, пароли и токены.

Ранее исследователь просканировал Bitbucket, где обнаружил 6212 секретов, разбросанных по 2,6 миллионам репозиториев. Он также проверил набор данных Common Crawl, который используется для обучения моделей ИИ, и обнаружил 12 000 действительных секретов.

GitLab — это веб-платформа Git, которую разработчики программного обеспечения, специалисты по сопровождению и команды DevOps используют для размещения кода, операций CI/CD, совместной разработки и управления репозиториями.

Маршалл использовал общедоступную конечную точку API GitLab для перечисления всех общедоступных репозиториев GitLab Cloud, а также специальный скрипт на Python для постраничной обработки всех результатов и их сортировки по идентификатору проекта.

Этот процесс вернул 5,6 миллиона неповторяющихся репозиториев, а их названия были отправлены в сервис AWS Simple Queue Service (SQS).

Затем функция AWS Lambda извлекала название репозитория из SQS, запускала для него TruffleHog и регистрировала результаты.

«Каждый вызов Lambda выполнял простую команду сканирования TruffleHog с параллелизмом, установленным на 1000», рассказывает Маршалл.

«Эта настройка позволила мне выполнить сканирование 5 600 000 репозиториев чуть более чем за 24 часа».

Общая стоимость всех общедоступных репозиториев GitLab Cloud, рассчитанная описанным выше способом, составила 770 долларов.

Исследователь обнаружил 17 430 подтверждённых активных секретов, что почти в три раза больше, чем в Bitbucket, а плотность секретов (количество секретов на репозиторий) выше на 35 %.

Исторические данные показывают, что большинство секретных данных были раскрыты после 2018 года. Однако Маршалл также обнаружил несколько очень старых секретных данных, датируемых 2009 годом, которые актуальны и по сей день.

Объем раскрытых секретов
Источник: Truffle Security

Наибольшее количество утекших данных — более 5200 — представляли собой учётные данные Google Cloud Platform (GCP), за ними следовали ключи MongoDB, токены ботов Telegram и ключи OpenAI.

Исследователь также обнаружил в просканированных репозиториях чуть более 400 ключей GitLab, которые были украдены.

Типы раскрываемых секретов в GitLab
Источник: Truffle Security

В духе ответственного раскрытия информации и с учётом того, что обнаруженные секреты были связаны с 2804 уникальными доменами, Маршалл прибегнул к автоматизации, чтобы уведомить заинтересованные стороны, и использовал Claude Sonnet 3.7 с возможностью веб-поиска и скрипт на Python для создания электронных писем.

В ходе работы исследователь обнаружил множество уязвимостей, за которые ему заплатили 9000 долларов.

Исследователь сообщает, что многие организации отозвали свои секреты в ответ на его уведомления. Однако неизвестное количество секретов по-прежнему доступно на GitLab.

Редактор: AndreyEx