> Имеется мобильный оператор, крайне не любящий высокий PPS, packet-per-second.
> При этом порядка 90% траффика, который на данный момент роутится через openvpn/udp
> состоит из пакетов 64-128 байт.
> Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или
> по таймауту?

Т.е. ты хочешь не только инкапсулировать пакеты в тоннель и шифровать, а еще и пересобирать их в цепочки?
Хм, имхо, из-за буферизации получится весьма рандомный джиттер бонусом к прочим доп. задержкам на обработку.  Теперь у тебя вместо одного битого пакеты будет целая серия - круть, на забитом канале еще и всплеск повторных передач получить на tcp. Как при этом поведут себя реалтайм протоколы чувствительные к задержкам - думаю и Аллах не знает, но те же ip телефонисты могут тебя кастрировать за это тупым ножом, и будут, кстати, правы (а я так понимаю у тебя что-то реалтаймовское там ходит). Опять же оверхед от тоннеля никто не отменял.

> Спустя 10 лет, что-то появилось, или отправят писать свой протокол?

Может я что-то не догоняю с пакетной сети - но, имхо, концептуально это бред.

Можно попробовать переключить openvpn на tcp, и не вклюючать NO_DELAY. Но как уже тут писали это приведет к возрасранию джиттера.

> Имеется мобильный оператор, крайне не любящий высокий PPS, packet-per-second.
> При этом порядка 90% траффика, который на данный момент роутится через openvpn/udp
> состоит из пакетов 64-128 байт.
> Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или
> по таймауту?
> По мотивам темы 10-летней давности https://www.linux.org.ru/forum/admin/10120422
> Спустя 10 лет, что-то появилось, или отправят писать свой протокол?

То есть ты хочешь собрать побольше P_CONTROL_V1, отправить их всей кучей, а потом получить кучу P_ACK_V1.

Ну, так себе идея.

> Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или
> по таймауту?

Вообще буквально так работает FreeBSD ipfw pipe, там буквально есть корзина, которая заполняется пакетами и освобождается, либо когда пакет задержан на сколько заказано, либо когда корзина переполнилась.

На практике, надо померять распределение траффика, посчитать сколько пакетов в секунду проходит сейчас и поделить на сколько хочется иметь и получится 1/(задержка в секундах).

Дальше это уже вопрос настройки VPN, который будет просто отправлять сразу блоком - главное что этими пайпами оно будет получать сразу вот этот блок.
В Линуксе это вобщем тоже можно сделать, но сильно менее удобно.

Я экспериментировал с этой штукой, но траффик через диверт вытаскивал в скрипт и там в скрипте делал нужные мне манипуляции, это делается через юсерспейс, поэтому небыстрая штука получилась, но так точно работает, это факт.
В принципе можно переписать на С++, а также там есть ebpf кажется расширение чтобы оно прямо в ядре работало, тогда без проблем любые скорости.
По сложности, это задача на пару дней.

Также подобным образом сортировал пакеты по размеру (чтобы маленькие проходили раньше больших).

Поначалу экспериментов ничего не вышло, тк просто не увидел вообще никакой сортировки, потому что по учебнику сделал очень маленькую корзину и очень маленькую задержку и оно вообще не задерживало и не сортировало.
Потом проанализировал мой траффик, сколько там был период между пакетами и сделал задержку и размер буфера (корзины) так чтобы за ее время в среднем десяток пакетов накапливалось, и тогда сразу всё поехало как заказал.

у тебя ломается либо твой домашний DNS, либо DPI заглядывает в SOCKS5 или SNI. ты обманул сам себя.

> Каким образом SSLH может ломаться на запрещенных сайтах на этапе https?

Конфиг SSLH покажи

SOCKS5 - незащищенный протокол. Тор на удаленном сервере через недоверенную сеть - бессмысленное решение.

> Доброго здоровья! Установил opnsense. Настроил WEB-фильтрацию. Настраиваю авторизацию
> пользователей MS AD для использования этой web-фильрации и своих списков запрещенных
> сайтов.
> Настроил подключение к AD. Импортировал пользователей в отдельную группу. Проблема в том,
> что при заходе в интернет требуется вручную ввести данные доменного пользователя.
> Возможно ли настроить, чтобы пользователь автоматически авторизовался? Без ввода имени
> и пароля вручную? Заранее благодарен за помощь!

Да, в OPNsense можно настроить автоматическую авторизацию пользователей MS AD для использования web-фильтрации без необходимости ввода имени и пароля вручную. Для этого вам потребуется настроить прозрачную аутентификацию с использованием прокси-сервера и пакета Squid.

Вот шаги, которые вам потребуется выполнить:

1. Убедитесь, что вы правильно настроили соединение с Active Directory (AD) и импортировали пользователей в отдельную группу, как вы уже сделали.

2. Установите и настройте пакет Squid в OPNsense. Вы можете сделать это через веб-интерфейс OPNsense в меню "Система" -> "Пакеты", где вы сможете найти и установить Squid.

3. После установки Squid перейдите в раздел "Сервисы" -> "Proxy server" и настройте Squid. Убедитесь, что вы включили прокси-сервер.

4. В разделе настроек Squid перейдите на вкладку "Auth Settings" (Настройки аутентификации). Здесь у вас будет возможность выбрать "MS AD" в качестве метода аутентификации и указать настройки для AD, такие как домен и контроллеры домена.

5. Затем перейдите на вкладку "General Settings" (Общие настройки) и убедитесь, что вы включили опцию "Transparent HTTP Proxy" (Прозрачный HTTP-прокси).

6. Сохраните изменения и перезапустите службу Squid.

Теперь, когда пользователи пытаются получить доступ к Интернету, Squid будет автоматически аутентифицировать их через MS AD, и им не потребуется вводить имя и пароль вручную. Они будут автоматически аутентифицированы с использованием своих учетных данных Windows.

Помните, что прозрачная аутентификация может потребовать настройки правил брандмауэра для перенаправления трафика через прокси-сервер Squid. Убедитесь, что вы настроили необходимые правила брандмауэра для этой цели.

> Камрады, всем привет.
> На борту ubuntu 20.04.02 LTS
> Установил privoxy, все ок.

...

> -------
> Все! Не могу понять почему порт слушается, но сервис по факту не
> работает.
> Помогите чем сможете

telnet`ом пошаманить, wirshark`ом глянуть ?

> listen-address  127.0.0.1:8118
> listen-address [::1]:8118

? может это помочь
listen-address  0.0.0.0:8118
listen-address [::]:8118

Если вы запускаете nmap именно так как вы написали, то совсем не удивительно что он показывает не все порты.
Если netstat показывает что слушает, значит слушает.

проверить просто:
nmap -p 8118 localhost

> Камрады, всем привет.
> На борту ubuntu 20.04.02 LTS
> Установил privoxy, все ок.

Зачем оно нужно, если не умеет в https?

> Какая из этих двух схем наиболее оптимальна с точки срения скорости сети
> и почему?

Никакая.

нет никакой информации об аплинках клиента, сервера и точки обмена, маршрутах прохождения трафика между ними, и гарантий, что даже если сегодня одна из схем выгодна во всех отношениях, то такое положение сохранится и завтра.

А в 2020 году еще неплохо б вайргада освоить :)

Другими словами что лучше. Гнать каждого пользователя отдельно или соединить и гнать их одной толстой трубой?

Если Вы даже получите прибавку в к сорости, будут потери на доп. ресурсы сервера и т.д. Также не стоит забывать про надежность. Получается допольнительная единая точка отказа. Но есть и плюсы клиенты ходят близко, вероятность отказа тут снижается.

Идея интересная, но надо что сделать с отказом и распределнием нагружки для вход. VPN.

Запусти этот cachemgr.cgi руками и посмотри, что он выдаёт на stdout.

> В итоге ошибка защищенного соединения в Firefox при попытке открыть 2ip.ru. Что
> мне нужно поправить? Спасибо.

Ну как минимум добавить сгенерированный сертификат в качестве доверенного в браузере?

RTFM ;)

https://community.openvpn.net/openvpn/wiki/Openvpn24ManPage

--reneg-sec n

https://habr.com/ru/post/108690/

Создаёте отдельную таблицу маршрутизации и направляете в неё трафик на основе IP назначения:
ip rule add to 1.1.1.1/32 table ...

Ну и маршрут по умолчанию в этой новой таблице прописать не забудьте.

Если исходить из твоего заголовка "сервера назначения" - то всё просто. Если они они ходят на разные api - то есть, первый клиент на свои, второй на свои только и ничего не пересекается, то это решается простой маршрутизацией, даже если разрулить надо по имени назначения (решается маркировкой пакетов по SNI).
А вот если они ходят на одни и те же ресурсы, вот тут, наверное НЕТ - потому что твой 1С точно не может метить пакеты.

Купить на барахолке роутеры по 500 рублей на провайдер.

> Возможна ли реализация работы данного кейса?

В принципе, да, но нетривиально.

> Если да, то с помощью каких тех средств?

Если это запросы ТОЛЬКО по http/https, и юр-лица можно явно отличить друг от друго по хедеру запроса, то можно хитро настроить прокси, например squid.
Если это запросы вообще, то всё упирается в то как отличать одно от другого, в формате понятном дле принятия решения о маршрутизации. Как я понимаю, если бюджет позволяет, то это можно сделать с помощью DPI и реверс-инжениринга протоколов каждого из использующихся приложений.

А практически, лучше не связывайтесь. В качестве мысленного эксперимента сойдёт, или если есть хобби на предмет "покопаться".

>[оверквотинг удален]
> Пример с 2 LAN портами не является обязательной реализацией и приведен для
> простоты описания, вместо этого может использоваться 1 роутер с каким-то ПО.
> Основные проблемы, которые я вижу:
>  - ККТ выгружает в ОФД чеки через  usb over Ethetnet
>  - эквайринговые терминал через  usb over Ethetnet
>  - всякие шлюзы оплаты, с которыми приложение взаимодействует(оплата по qr, api
> банка и т.д.)
> Вопрос:
> Возможна ли реализация работы данного кейса?
> Если да, то с помощью каких тех средств?

DNAT

И что, на всем опеннете нет никого, кто хоть малость шурупает в этом вопросе? :-o
Ладно, подсказка из гихаба - нечто, по названию похожее на сабж:

ъreversed-shadowsocks-libev

https://github.com/ss-plus/reversed-shadowsocks-libev

Хоть по этому кто-то что-то может сказать?

*facepalm*

man VPN

Нашел ответ тут:
https://mkdev.me/en/posts/how-russia-s-government-blocked-ou...

два хороших пути:

1.Configuring the server tunnel
echo "net.ipv4.conf.all.forwarding = 1" >> /etc/sysctl.conf
sysctl -p
firewall-cmd --permanent --add-masquerade
firewall-cmd --permanent --add-forward-port=port=80:proto=tcp:toport=80:toaddr=TARGET_IP
firewall-cmd --permanent --add-forward-port=port=443:proto=tcp:toport=443:toaddr=TARGET_IP
firewall-cmd --reload

2. Nginx proxy

stream {
    server {
        listen 443;
        proxy_pass TARGET_IP:8443;
        proxy_protocol on;
    }
}

http {
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log /var/log/nginx/access.log main;

    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    server {
        listen 80 default_server;
        listen [::]:80 default_server;
        server_name _;

        location / {
          proxy_pass http://TARGET_IP;
          proxy_set_header Host $host;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       }
    }
}

> Всем привет!
> IP сервиса попал под санкции и сервер с API недоступен из многих
> мест в России http://api2.bookinglayer.io/
> Я подумал что можно сделать проксирование всех запросов для русских клиентов, но
> точно не знаю как и с помощью чего, есть опыт squid
> и tinyproxy но вообще во всем могу разобраться, не хочу придумывать
> велосипед, знатаки подскажите пож. как решить задачку.
> Спасибо!

Не используйте сервисы, IP которых могут попасть под блокировки. Наймите системного администратора. Не девопса CI/CD, а настоящего.

> Всем привет!
> IP сервиса попал под санкции и сервер с API недоступен из многих
> мест в России http://api2.bookinglayer.io/
> Я подумал что можно сделать проксирование всех запросов для русских клиентов, но
> точно не знаю как и с помощью чего, есть опыт squid
> и tinyproxy но вообще во всем могу разобраться, не хочу придумывать
> велосипед, знатаки подскажите пож. как решить задачку.
> Спасибо!

А зачем обходить?)))

>...

Вопрос где?

Сейчас набирает популярность yggmail.

> в какую сторону глядеть

в сторону fetchmail, наверное.

> Outlook использует настройки прокси сервера, которые заданы в Internet Explorer.
> Хотя тут скорее всего дело в локальном файле.

1)Сделайте бекап ost и pst, если есть....потом удалите их и синхронизируйтесь с клиентом - это по возможности.
2)Почтовые папки Outlook Express хранит как файлы с расширением *.dbx , где * - имя папки, видимое в Outlook Express. Для вложенных папок программа также создает отдельные файлы.
У вас два варианта проверять локадьные с автономными файлами, или же пролечить dbx. Как вариант тоже через онлайн восстановление dbx https://outlookexpress.recoverytoolbox.com/online/ru/
Если не получиться отпишитесь. Будем пробовать в ручную.

Победа, все работает squid пересобран с поддержкой peek/splice
Так же, на проксе живет nginx на тех же портах

на шлюзе

#!/bin/ash
PROXY_IP=192.168.174.2
RT_TABLE=/etc/iproute2/rt_tables
CLIENT_IFACE=br-lan
FW_MARK=33
 
ADD_TABLE=`cat ${RT_TABLE} | grep '^200     proxy$' | wc -l`
if [ ${ADD_TABLE} = 0 ]; then
    echo '200     proxy' >> ${RT_TABLE}
fi
 
iptables -t mangle -A PREROUTING -j ACCEPT -p tcp -m multiport --dports 80,443 -s ${PROXY_IP}
iptables -t mangle -A PREROUTING -j MARK --set-mark ${FW_MARK} -p tcp -m multiport --dports 80,443
ip rule del fwmark ${FW_MARK}
ip rule add fwmark ${FW_MARK} table proxy
ip route add default via ${PROXY_IP} dev br-lan table proxy

На проксе

iptables -A PREROUTING -t nat -i ens2 -p tcp --dport 80 ! -d 192.168.174.2 -j REDIRECT --to-port 3128
iptables -A PREROUTING -t nat -i ens2 -p tcp --dport 443 ! -d 192.168.174.2 -j REDIRECT --to-port 3129

> Должны ли в Orbot работать мосты с obfs4? В исходниках Orbot obfs4
> упоминается, но, при этом, не вижу, чтобы он работал... Они сейчас
> тоже блокируются, или что-то не так с настройкой устройства?

Всё, разобрался. Похоже те адреса мостов, которые получал через Orbot, были заблокированы (поэтому не работали), а тот, что вводил вручную, работал нормально, просто из-за какой-то слишком инициативной программы длинная строка адреса моста при его пересылке оказалась разбитой на несколько более коротких строк, что при копировании и вставке было не совсем очевидно. В результате оба варианта (полученные из Orbot и полученный иным способом адреса мостов) не работали по разным причинам, что создавало впечатление о проблемах с самим Orbot.

Перенастрой дома сеть с 192.168.1.0/24 в 192.168.0.0/16.
Хотя если на работе 192.168.20.0/24 - не поможет, но что-то мне подсказывает что там какраз 192.168.0.0/16

Включите ip forwarding у клиента и у сервера:

https://www.ducea.com/2006/08/01/how-to-enable-ip-forwarding.../

На сервере поставьте чтобы шел в 192.168.20.0/24 через подключенный IP клиента, скажем 192.168.1.71:

ip route add 192.168.20.0/24 via 192.168.1.71

И попробуйте как-то так:

Server:

[Interface]
Address = 192.168.1.70
PrivateKey = <server's privatekey>
ListenPort = 51820
PostUp   = iptables -A FORWARD -i %i -j ACCEPT; iptables -A FORWARD -o %i -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; iptables -D FORWARD -o %i -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE

[Peer]
PublicKey = <client's publickey>
AllowedIPs = 192.168.1.71/32, 192.168.20.0/24

Client:

[Interface]
Address = 192.168.1.71
PrivateKey = <client's privatekey>
PostUp   = iptables -A FORWARD -i %i -j ACCEPT; iptables -A FORWARD -o %i -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; iptables -D FORWARD -o %i -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE

[Peer]
PublicKey = <server's publickey>
Endpoint = <server's ip>:51820
AllowedIPs = 192.168.1.0/24

PersistentKeepalive = 25

> Добрый день!
> На работе стоит http прокси сервер 10.14.254.42:3128. Т.е. во всех компьютерах с
> доступом в интернет в свойствах обозревателя стоит этот прокси. Все филиалы
> выходят в инет через центральный офис. Мне с работы нужно через
> SSH выйти на свои удаленные сервера. Сервера к компании не относятся
> и находяться вне сети компании.
> С дома выхожу через через Putty либо MobaXterm. Но с работы никак
> не работают. Как можно настроить Putty либо MobaXterm для работы через
> прокси сервер?
>  Захожу с Windows на Linux

Там в настроечках путти менюшка соответствующая есть, proxy называется

> На работе стоит http прокси сервер 10.14.254.42:3128.
> ...
> Как можно настроить Putty либо MobaXterm для работы через
> прокси сервер?

А на прокси сервер у вас доступ по SSH есть?

> Добрый день!
> На работе стоит http прокси сервер 10.14.254.42:3128. Т.е. во всех компьютерах с
> доступом в интернет в свойствах обозревателя стоит этот прокси. Все филиалы
> выходят в инет через центральный офис. Мне с работы нужно через
> SSH выйти на свои удаленные сервера. Сервера к компании не относятся
> и находяться вне сети компании.
> С дома выхожу через через Putty либо MobaXterm. Но с работы никак
> не работают. Как можно настроить Putty либо MobaXterm для работы через
> прокси сервер?
>  Захожу с Windows на Linux

Поскольку прокси своей фирмы вы не админите и не знаете, что там разрешено/запрещено, то дальнейшая полемика -  пустая трата времени. Ищите другие варианты.
Например:
1 -  поговорить с админами и попросить выпустить вас  по 22 порту через прокси или напрямую. Могут отказать и просто так и по  причине наличия отдела безопасности со своим софтом.
2 - дома поднимаете удаленный доступ  по VPN и  коннектитесь по нему к своей машине, опять же если вашей машине/учетке это разрешено в конторе.
3 - Если VPN не разрешен, то остается кидать HTTP туннель. Ставите дома прогу типа teamviwer на постоянку , который работает по 80 порту , а он всегда открыт для раб.станций в конторе. Клиентом  тимвьюера заходите домой, а оттуда уже у вас все пути дороги прописаны и даже настраивать  putty не придется.  И никого просить не надо, админы даже могут и не заметить, если  они ранее не предприняли мер для обнаружения http туннелей, которые обнаруживать не так просто.

Малинку повесте в рабочую сеть.

> acl MYSITE-PUSH url_regex ^https:\/\/www\.site\.com\/push\/

А теперь подумай хорошенько, что именно найдет этот регэксп и почему сквид на твоем адресе с этим регэкспом скажет "не, не похоже, хозяин чо-та не то искать велел"
Если так и не сообразишь, смотри наглядно как твой регэксп себя ведет тут - https://regex101.com/

> http_access deny MYSITE-PUSH

debug_options 28,5 и изучать логи

> Squid Cache: Version 3.1.20

На дворе 4.8. Ну как минимум 3.5.28. Всеж-таки он у тебя в инет смотрит, а не в соседний комп...

> День добрый. Вопрос вроде простой, но сходу у меня не получилось выполнить.
> Нужно заблокировать выполнение JavaScript https://www.site.com/push/fe8daf4c-ea96-11e5-8de3-00215ae090...
  >> заблокировать
  >> https://

https://duckduckgo.com/?q=mitrofanov+"https"+site:...

как закончите, факультативно!, можете поизучать

https://duckduckgo.com/?q="ssl_bump"+site:www.open...

> дано:

А теперь тоже самое, только развернуто и нормальным русским языком, а не воплями макаки с лурка.

> спасибо..

Да пожалуйста.

у тебя нет выбора - однажды тебе придётся загрузиться с флешки и забыть про cygwin.

тихо сам с собой.. т.к. реальной пользы и желающих чё-нить посоветовать пока тут нет..

★ после апгрейда до npcap-1.31, отключения виртуального сетевого интерфейса (драйвер npcap работает) и запуска DNS-Listener (на порт 5353), стартанул (в job-ах) следующее:

socat UDP-LISTEN:53,fork,reuseaddr UDP:127.0.0.1:5353 &
socat TCP-LISTEN:53,fork,reuseaddr TCP:127.0.0.1:5353 &
socat -u UDP-RECVFROM:53,fork,reuseaddr TCP:127.0.0.1:5353 &

и посыпались ошибки с reject-ами (в stderr), которые как-то сами сошли на нет.. что их вызвало пока не понел.. в системе монитор показывает "DNS query retransmission" по mDNS и LLMNR  c какими-то ахтунгами и ворнингами (чё не нра - тоже пока хз), главное - counter растёт, что радует.. срань со стуком и спамом на ctldl.windowsupdate.com через hosts не лечится, ска, кто б сомневался.. чем фильтровать запросы dns по контексту - заблокировал всё "общение" с драным akamai.net.. настроить прозрачное проксирование и фильтрацию dns запросов на M$ с глобальным обрезом всего исходящего трафа на 53-ий порт пока не получается.. мдэ..

> Приветствую народ, с фрибсд не имел вообще делов, по этому пожалуйста подскажите
> есть сервер тестовый АД, в ад создана прямая и обратная зона,
> фрибсд в /etc/resolv.conf указан домен и днс адрес контроллера ад, при
> этом фрибсд не видит зон, подскажите где искать

что значит не видит?

> Приветствую народ, с фрибсд не имел вообще делов, по этому пожалуйста подскажите
> есть сервер тестовый АД, в ад создана прямая и обратная зона,
> фрибсд в /etc/resolv.conf указан домен и днс адрес контроллера ад, при
> этом фрибсд не видит зон, подскажите где искать

Бред какой-то.

FreeBSD это OS.
В /etc/resolv.conf указан список серверов, к которым OS будет обращаться за разрешением имен.
С зонами DNS работает сервер DNS (bind, unbound, powerdns, knotdns, etc).
AD к зонам DNS никакого отношения не имеет.

Заниматься всем этим тебе еще рано, путаешь базовые понятия.

> Приветствую народ, с фрибсд не имел вообще делов, по этому пожалуйста подскажите
> есть сервер тестовый АД, в ад создана прямая и обратная зона,
> фрибсд в /etc/resolv.conf указан домен и днс адрес контроллера ад, при
> этом фрибсд не видит зон, подскажите где искать

#man nsswitch.conf

Это сильно зависит от того, что вы хотите узнать о посещаемых ресурсах вашей локалки.
Например, в моём варианте, самый посещаемый ресурс локалки это дашборд алертов из чужих локалок, он выведен на большой /монитор/ где его могу видеть я и остальные сотрудники. Когда с ним что-то случается, то в дежурного плюют жёванной бумагой (санитарный сертификат у RH).

> Добрый день форумчане, интересует вопрос чем вы мониторить посещаемые ресурсы вашых локалок
> , хотелось бы реализовать в себя какую то схему, интересно посмотреть
> варианты исполнения

Критерий посещаемости какой?
На маршрутизаторе снимаю NetFlow, и получаю статистику по IP,
а на DNS логирую обращения к DNS (53-й порт наружу залочен, учитывая DNS-over-HTTPS не панацея но терпимо) и получаю статистику DNS-ов.

например
http://example.com
https://example.com
https://example.com/dir/
https://example.com/dir/go.html
https://example.com/dir/go.html?opt1=someone

Это в вашей парадигме один ресурс или несколько разных?

> Добрый день форумчане, интересует вопрос чем вы мониторить посещаемые ресурсы вашых локалок
> , хотелось бы реализовать в себя какую то схему, интересно посмотреть
> варианты исполнения

Прикрути анализаторы логов для сквида - Sarg или Lightsquid, отчеты будешь смотреть в WEB

А такое работает ?

ssh -o ProxyCommand='nc --proxy-type socks4 --proxy 127.0.0.1:9050 %h %p' user@host

https://www.techrepublic.com/article/how-to-run-an-ssh-conne.../

Похоже что это говнище пытается резольвить hsts . Если тебе нужен именно хромой - разбирайся, там всего 15 гигабайт исходников.

>[оверквотинг удален]
> (anonymous) @ pixel.html?url=Ly94MDEuYWlkYXRhLmlvLzAuZ2lmP3BpZD1BRFNOSVBFUiZpZD1OMkpoTkRVNU5qUXROamsxT0MweE1XVmlMVGcyWlRBdE1EQXlOVGt3WXpBMk5EZGpYekUyTVRJM01URTBNekUq:49
> 25BA50EA0D2CAF57:1 GET https://an.yandex.ru/setud/adsniper/25BA50EA0D2CAF57?sign=47...
> 404
> Image (async)
> sendPixel @ pixel.html?url=Ly9yZWRpcmVjdC5mcm9udGVuZC53ZWJvcmFtYS5mci9yZD91cmw9aHR0cHMlM0ElMkYlMkZzeW5jLmJ1bWxhbS5jb20lMkYlM0ZzcmMlM0R3YnIxJTI2dWlkJTNEe1dFQk9fQ0lEfQ**:34
> (anonymous) @ pixel.html?url=Ly9yZWRpcmVjdC5mcm9udGVuZC53ZWJvcmFtYS5mci9yZD91cmw9aHR0cHMlM0ElMkYlMkZzeW5jLmJ1bWxhbS5jb20lMkYlM0ZzcmMlM0R3YnIxJTI2dWlkJTNEe1dFQk9fQ0lEfQ**:49
> Интересуют две вещи - воспроизводится ли эта ситуация у других использующих прокси
> в своем хозяйстве, ну и как выходить из ситуации, кроме самоочевидного
> пускать трафик до проблемных сайтов в обход прокси.
> ?

Собрал "статистику" для вас:
все через прокси squid3.1.12 сайт cdek
win7pro ff85.0.1 не открывает, ошибка таже;
win7starter ff28.0 открывает;
lin ff24.8.1esr открывает
lin palemoon27.9.3 открывает

Сдеком приходила посылка где-то в сентябре-октябре, через прокси на вин7 и фф последней версии сайт открывался.
Возможно новая фича браузеров.
Логи сквида смотреть лень)

У вас только с сертификатом проблема? Подозреваю, что ваш HAPROXY не умеет отличить запрос к MY-SSL от MY-CRM и просто обращается всегда к первому.

Возможные меры:
Разнесите сайты по разным портам (некрасиво) или адресам на прокси, раз так нужен mode tcp.
Используйте один и тот-же сертификат на разных сайтах (лучше не).
Терминируйте TLS на прокси, Nginx хорошо справляется.

> Есть интернет провайдер, поступил заказ нужно реализовать подмену блоков рекламы через
> прозрачный прокси сквид (SQUID), как можно реализовать?Куча способов перепробовал, рабочих
> вариантов не нашел, за помощь буду очень признателен

ХЗ, чего там была куча, способ и вариант один - редиректор. Но учитывая, как сегодня распространяется реклама, задачу он сможет выполнять исключительно при помощи регулярок со всеми вытекающими, обойдется очень дорого во всех смыслах, "провайдеру" оно точно надо?

> Есть интернет провайдер, поступил заказ нужно реализовать подмену блоков рекламы через
> прозрачный прокси сквид (SQUID), как можно реализовать?Куча способов перепробовал, рабочих
> вариантов не нашел, за помощь буду очень признателен

Вы не боитесь ответственности за вмешательство в частную жизнь хомячков?
Ведь отвечать будет не заказчик. а непосредственный исполнитель... тоесть Вы...

> Есть интернет провайдер, поступил заказ нужно реализовать подмену блоков рекламы через
> прозрачный прокси сквид (SQUID), как можно реализовать?Куча способов перепробовал, рабочих
> вариантов не нашел, за помощь буду очень признателен

По идее это не совсем законно, провайдер ничего не должен менять в трафике клиента, как к нему так и от него. Кроме того это будет являться нарушением федерального закона   № 38 "О рекламе".
Люди платят деньги за баннерную и контекстную рекламу, а ваш провайдер решил лишить денег и заказчиков и исполнителей.  Они могут наехать по суду, если узнают про такое дело,  при наличии доказательств скриншотами.

Я бы не расчитывал на доступность общего решения, тем более самопального.
Баннерные сети разные, рекламные блоки они вставляет по своему. Кроме того, они, как и сайтостроители, заинтересованы в предотвращении подобных мер.
Единственный вариант который я вижу, это какое-нибудь коммерческое решение с подпиской на апдейты.
Всё это на грани фола, публика этим занимается скользкая.

Если из любопытства, то потрошите код популярных сайтов вручную, смотрите как именно вставляются блоки, подменяйте URL на свой сервер. Одного SQUID-а будет недостаточно, понадобится специально обученный веб сервер и ломать DNS. Будте готовы что придётся что-то специально писать для каждой комбинации сайт+баннерная сеть, и править при кажном чихе.

Как бизнес, для провайдера это будет дорого, для исполнителя плохая карма, плюс юридические риски для всех. Я уж не говорю о пользователях.

По сути провайдер хочет украсть рекламный доход сайта. Ту часть, которую принесли бы доходы от посетителей из его сети.
Сейчас абсолютно все рекламные сети работают через HTTPS. Именно чтобы грязные руки от трафика держать подальше.

Вместо этой наивной дурости я вам подскажу более удобную схему мошенничества.
Вы можете пользуясь пулом IP провайдера создать ботоферму, которая будет фальсифицировать просмотры и клики рекламы на каких-либо сайтах.
Так вы будете воровать у рекламодателей, а не у владельцев сайтов.

Лучше конечно вообще не работать на воров.

Посмотри в сторону pihole - на уровне днс прибъешь.

> с https такой финт ушами не проканает

Если на проксе расшифровывать https-трафик и потом зашифровывать обратно со своим сертификатом (который надо прописать в браузере как доверенный), то проканает. Privoxy так вроде не умеет, зато умеет сквид.

> Всем бобра :Р
> Короче достала меня вся эта рекламная муть, хочу её прибить везде и
> полностью, но если на десктопе с этим попроще, то на телефонах
> уже сложнее, а на металоломе типа телевизора и вообще никак.
> Первая мысль ессно про прокси. К тому-же привокси прикрутить листы от ADB
> в принципе не сложно. Но здесь возникает одно большое "НО": ЕМНИП,
> с https такой финт ушами не проканает (если ошибаюсь, поправьте, плз)
> Собственно вопрос в том реально ли вообще резать рекламу в https и
> если да, то чем?

Я использовал dnscrypt-proxy.

Порезал на уровне dns рекламу и телеметрию )

Буферизацию отключите и протокол сделайте 1.1.

попробуйте выключить буфер https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#pr...

> Есть возможность настроить подмену операционной системы в Squid3 через header_replace
> или как-то ещё?

https://stackoverflow.com/questions/22597186/make-squid-prox...
тут вроде как наоборот, но понятно что к чему.

request_header_access User-Agent deny all
request_header_replace User-Agent "Mozilla"

про ssl_bump не забудь, если еще не настроил

Фича называется Letterboxing
ЧертЕгоЗнает каким именно параметром оно отключается, но можно по about:config пробежаться поиском с запросом Letterboxing

> При запуске Tor Browser, окно браузера открывается в маленьком окне для защиты
> FingerPrint. Какой параметр в about:config позволяет управлять этим? Чтобы открывалось
> полностью окно, как у обычных браузеров.

Необходимо в about:config изменить параметр privacy.resistFingerprinting.letterboxing с true на false.