Отладка сетевых проблем с помощью tcpdump

Системные администраторы регулярно сталкиваются с сетевыми проблемами при развертывании и обслуживании программных приложений на серверах Linux. Решение этих проблем может быть сложным и отнимать много времени из-за нескольких факторов, включая сложность приложений, параллельные процессы и службы, запущенные на сервере, или даже наличие нескольких процессов, которые выполняются одновременно на одном процессоре.

Мы обсудим один из самых мощных инструментов для решения сетевых проблем: tcpdump. Но прежде чем мы приступим к отладке, мы должны сначала понять основы сети. Начнем с модели TCP/IP.

Модель TCP/IP

Модель TCP/IP (сокращение от Transmission Control Protocol/Internet Protocol) объединяет четыре различных протокола, развернутых в сетях. Эти протоколы представляют собой четыре уровня в модели TCP/IP:

• Прикладной уровень: Самый верхний уровень модели TCP/IP; он позволяет пользователям взаимодействовать со службами в сети.
• Транспортный уровень: Третий уровень в модели TCP/IP; как следует из названия, этот уровень отвечает за передачу пакетов данных между сетями источника и назначения.
• Уровень Интернета: Второй уровень в модели; он отвечает за обработку любых ошибок, которые могут возникнуть во время передачи данных от источника к получателю в сети.
• Уровень сетевого интерфейса: Самый низкий уровень в режиме TCP/IP; он обрабатывает связь между компьютерами и сетевой системой через протоколы, такие как Ethernet, и аппаратные устройства, такие как маршрутизаторы.

Шаги по отладке

Когда дело доходит до сложных сетевых проблем, рассмотрите возможность разбиения шагов, чтобы лучше понять процесс отладки.

Изолировать и сузить проблемы

Начните с понимания проблемы. Отладка усложняется из-за внутренней сложности сетей и приложений, использующих сетевые системы. Вам нужно точно определить уровень, на котором возникает проблема, и вам нужно понять ее механизм — когда и в каком контексте это происходит.

Например, один из ваших тестировщиков заметил, что загрузка файла из приложения теперь занимает примерно на 20% больше времени: время загрузки увеличилось с обычных 30 секунд до 36 секунд. Это сильный индикатор того, что где-то в сети действительно есть проблема.

В этом сценарии, чтобы изолировать и сузить проблему, вам следует сначала дважды проверить скорость сетевого интернет-соединения. Если скорость сети в порядке, вам следует исключить другие проблемы, такие как перегрузка сети, программные ошибки или проблемы безопасности.

Сформулируйте гипотезу

Далее вам следует разработать рабочую теорию о том, что стоит за сетевой проблемой. Продолжая приведенный выше пример, есть много потенциальных причин увеличения времени загрузки.

В гипотетическом сценарии команда системного администрирования настроила виртуальную частную сеть (VPN) для тестовой среды веб-приложения. При загрузке файла напрямую с компьютера, использующего применяемую сеть VPN, вы не сталкиваетесь с какими-либо проблемами с производительностью. Однако они возникают при запуске автоматического тестирования загрузки файлов в кластере AWS. Это указывает на проблему с конфигурацией кластера AWS здесь.

Копни глубже и найди доказательства

После проверки пары и использования tcpdump для отладки сети вы обнаруживаете потерю пакета данных при загрузке файла из кластера AWS. Причиной является расстояние: текущий кластер AWS находится в регионе us-east-2, тогда как локальный VPN настроен в Сингапуре.

Кроме того, есть ненужные запросы туда и обратно. Каждый запрос на загрузку отправляется из кластера AWS через общедоступный Интернет, за которым следует локальный VPN; затем он обрабатывается Kong (API gateway) перед окончательным перенаправлением в кластер AWS, где настроена служба загрузки.

Решить проблему

Измените домен из вашего теста автоматизации на внутренний домен настройки в том же кластере AWS — это позволит запросу на загрузку напрямую поступать к запущенной службе в кластере (вместо прохождения через VPN и последующего возврата обратно в кластер). Время загрузки из кластера AWS теперь должно занимать всего 20 секунд.

Зачем использовать tcpdump?

Отправленные и полученные сетевые пакеты предоставляют много информации о сетевой системе, которая может помочь нам в устранении сетевых проблем. Команда tcpdump это мощный инструмент, который собирает и анализирует эти сетевые пакеты.

Если вы застряли во время отладки, несмотря на то, что перепробовали множество различных инструментов, tcpdump может выполнить эту работу. Он поставляется с различными полезными возможностями, от отображения доступных сетевых интерфейсов до анализа захваченных пакетов, относящихся к определенному файлу.

Например, мы можем получить список сетевых интерфейсов, доступных в системе, выполнив:

 tcpdump -D

Рис. 1: Показаны доступные интерфейсы с использованием tcpdump

Затем мы можем перехватывать пакеты данных, проходящие через сетевой интерфейс eth0, и сохранять их в файл.

sudo tcpdump -w test.pcap -i eth0

Рис. 2. Захват сетевых пакетов, проходящих через eth0 интерфейс

Далее, чтобы подробно просмотреть данные, полученные из сохраненного файла test.pcap, мы выполним следующее:

tcpdump -r test.pcap

Рис. 3. Считывание данных сетевых пакетов из test.pcap файла с помощью tcpdump

TCP-флаги

Флаги TCP показывают текущее состояние TCP-соединения и помещаются в заголовок TCP. Например, чтобы проверить, завершил ли запрос отправку данных на сервер, мы можем выполнить фильтрацию по флагу FIN в заголовке TCP. Обычно используются следующие флаги:

• SYN: Он инициирует запрос на сетевое подключение.
• ACK: Используется для подтверждения того, что определенное действие в сети одобрено.
• RST: Это показывает, что соединение было прервано из-за того, что сервисная сеть отключена или больше не принимает никаких запросов.
• FIN: Это указывает на завершение запроса.

Преимущества использования расширенных фильтров tcpdump

Флаги TCP полезны для устранения неполадок в сети. Однако реализация инструмента для сбора флагов TCP сложна и требует много работы. К счастью, tcpdump поставляется с мощной функцией фильтрации, которая позволяет легко находить пакеты с определенным TCP-флагом или комбинацией TCP-флагов. Более того, мы даже можем фильтровать пакеты по IP-адресу, сетевому протоколу или источнику.

Например, мы можем фильтровать TCP-пакеты по IP хоста:

tcpdump -r test.pcap host 169.254.169.123

Рис. 4: tcpdump фильтрация сетевых пакетов по IP-адресу их хоста

В качестве альтернативы мы можем фильтровать только готовые пакеты:

tcpdump -r test.pcap “tcp[tcpflags] & (tcp-syn)!=0”

Рис. 5: tcpdump Опция фильтрации для TCP-флага, отображающая только готовые пакеты

Заключение

Устранение неполадок в сети может быть сложной и отнимающей много времени задачей. В этой статье мы обсудили распространенные проблемы, с которыми системные администраторы сталкиваются в сетевых системах, и продемонстрировали, как использование tcpdump передовых методов, таких как фильтрация TCP-флагов, может ускорить процесс отладки.

Устранение неполадок в реальном мире может быть довольно сложным, поскольку в сетевой системе запущено множество различных служб и процессов. Ключом к эффективному решению этих сетевых проблем является определение потенциальных проблем и отладка каждой из них до тех пор, пока не будет обнаружена их первопричина.

Редактор: AndreyEx