URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 117229
[ Назад ]

Исходное сообщение
"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."

Отправлено opennews , 28-Апр-19 11:16 
Компания Cloudflare представила (https://blog.cloudflare.com/xdpcap/) открытый проект xdpcap (https://github.com/cloudflare/xdpcap), в рамках которого развивается похожий на tcpdump анализатор сетевых пакетов, построенный на основе подсистемы XDP (https://www.iovisor.org/technology/xdp) (eXpress Data Path). Код проекта написан на языке Go и распространяется (https://github.com/cloudflare/xdpcap) под лицензией BSD. Проектом также подготовлена (https://godoc.org/github.com/cloudflare/xdpcap) библиотека для привязки eBPF-обработчиков трафика из приложений на языке Go.


Утилита xdpcap совместима с выражениями фильтрации tcpdump/libpcap и позволяет обрабатывать на том же оборудовании существенно большие объёмы трафика. Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).

Высокая производительность достигается благодаря применению подсистем eBPF  и XDP. eBPF представляет собой встроенный в ядро Linux интерпретатор байткода, позволяющий создавать высокопроизводительные обработчики входящих/исходящих пакетов с принятием решений об их перенаправлении или отбрасывании. При помощи JIT-компилятора байткод eBPF на лету транслируется в машинные инструкции и выполняется с производительностью нативного кода. Подсистема XDP (eXpress Data Path) дополняет eBPF возможностью запускать BPF-программы на уровне сетевого драйвера, с поддержкой прямого доступа к DMA-буферу пакетов и работой на стадии до выделения буфера skbuff сетевым стеком.

Как и tcpdump утилита xdpcap вначале транслирует высокоуровневые  правила фильтрации трафика в классическое представление BPF (cBPF) при помощи штатной библиотеки libpcap, после чего преобразует их в форму подпрограмм eBPF, используя  компилятор cbpfc (https://github.com/cloudflare/cbpfc), использующий наработки LLVM/Clang. На выходе сведения о трафике сохраняются в стандартном формате pcap, что позволяет использовать подготовленный в xdpcap дамп трафика для последующего tcpdump и других штатных анализаторах трафика. Например,
для захвата сведений о трафике DNS вместо "tcpdump ip and udp port 53" можно запустить "xdpcap /path/to/hook capture.pcap 'ip and udp port 53'", после чего использовать файл capture.pcap например с командой "tcpdump -r".

URL: https://blog.cloudflare.com/xdpcap/
Новость: https://www.opennet.me/opennews/art.shtml?num=50593


Содержание

Сообщения в этом обсуждении
"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Вася , 28-Апр-19 11:16 
Ух, круто, теперь то заживем. Спасибо Cloudflare!

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 28-Апр-19 23:49 
В роскомнадзоре работаешь?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено пох , 29-Апр-19 10:56 
в гугле работает, подрабатывает на товарищмайора.
роспозору ваш траффик нафиг не вперся.


"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 29-Апр-19 13:13 
Вперся, в попытках заблокировать телекран например.
https://usher2.club/articles/mt-free-pre-block/

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 28-Апр-19 14:15 
Что должно быть вместо /path/to/hook?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 28-Апр-19 15:08 
Если вы будете читать документацию, а не пытаться с разбега въехать в софт с новости опеннета, то поймете, что это путь до хука, который надо написать/скопировать.

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено anonimous , 28-Апр-19 15:57 
а что значит /path/to/hook?? это куда он должен смотреть?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 28-Апр-19 20:47 
что за нафик. Неужели нельзя было gcc использовать вместо llvm?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено имя , 29-Апр-19 02:12 
И много вы видели проектов, которые хотя бы libgccjit используют? Не говоря уже о полновесном кодогенераторе. Это всё, увы, неспроста.

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Anonim , 28-Апр-19 21:00 
Что ж не на хрусте-то написали?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено commiethebeastie , 28-Апр-19 21:01 
Отличный проект для устранения конкурентов гугля.

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 29-Апр-19 08:46 
>используя компилятор cbpfc, использующий наработки LLVM/Clang

Вот за это разработчикам тройной минус.


"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Марик , 29-Апр-19 11:38 
Ну и чем этот лисапет лучше Wireshark?

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено zanswer CCNA RS and S , 29-Апр-19 18:34 
«Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).»

К примеру этим, хотя это продукты разного уровня, Wireshark хорошо подходит для вдумчивого анализа, на базе собранного ранее дампа, а данный продукт для быстрого анализа.


"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 29-Апр-19 18:56 
tcpdump имеет низкую производительность.

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Отправлено Аноним , 30-Апр-19 10:39 
ГБ-ня уже засучила рука и готовится тестировать новую тулзу... Лубянка не спит...