Привет!Есть некая большая сеть, в которой мне хочется организовать банду проксей, которые бы не только делились кэшем, но и обменивались информацией о других соседях. Т.е. появился новый проксик, достучался до любого проксика из банды -- и от него получил список всей банды, а также сам тоже стал полноправным её членом. Вроде бы, это похоже на обмен пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там к чему-н?
Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и уже удалена. Может, с тех пор что-то изменилось? Или вместо Squid здесь нужно что-то другое? Может, и прокси надо не HTTP, а SOCKS?
мне вот интересно
в каких легальных целях можно использовать вашу "банду"?
>в каких легальных целях можно использовать вашу "банду"?Ой, зря я использовал слово "банда" ;) Неудачная калька с "gang". Цель на самом деле абсолютно легальна. Зайду издалека...
Присылает мне приятель ссылку на видео-ролик или на какую-н большую жирную страницу. Он её, ессно, уже скачал. А у нас с ним один провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему бы у него не вытянуть эту штуковину из кэша?
Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать, сколько же) и кусок опыта.
Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен хэш файла и кусочков, а тут можно подсунуть всё что угодно. Или нет?
>[оверквотинг удален]
>провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему
>бы у него не вытянуть эту штуковину из кэша?
>
>Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка
>без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать,
>сколько же) и кусок опыта.
>
>Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен
>хэш файла и кусочков, а тут можно подсунуть всё что угодно.
>Или нет?использовать прозрачный прокси?
>использовать прозрачный прокси?Не совсем понял, к чему именно этот вопрос... У каждого чувака на компе будет стоят проксик-бандит, у которого чувак и запрашивает URL. При запуске проксика необходимо достучаться до ближайшего соседа из банды, чтобы узнать её состав. А дальше... если это Squid, то он рассылает всем соседям по ICP запрос и там уже всё само работает как надо.
А уж какой прозрачности будет прокси у каждого отдельного чувака -- это его дело =)
SQUID -> SIBLING
>SQUID -> SIBLINGА он спросит у соседей соседа? Вроде как нет...
Я бы рад написать в конфиге что-то вроде такого:
while (true) {
cache_peer `get_gang()` sibling 3128
wait_gang_changes();
}
Но это придётся писать в исходниках.
>мне вот интересно
>в каких легальных целях можно использовать вашу "банду"?IMO, в легальных нельзя.
+жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)
> +жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)Ботнеты на кэширующих прокси-серверах? Может, и на J2EE-серверах предложите?
Теперь уже вижу определённые проблемы, поэтому поставлю вопрос иначе.Если я правильно понимаю, то абсолютная свобода в такой банде (кто захотел, тот и вступил) недопустима, иначе кто-н верняка напакостит и будет выдавать левый контент. Поэтому надо организовывать некий список членов банды, в который включать только "на общем собрании" ;) В таком случае при старте проксика он должен знать хотя бы одного члена банды, чтобы получить последний свежий список всех бандитов. Далее, если проксик это Squid, то по ICP он рассылает запросы ко всем членам банды и там уже всё хорошо, ведь Squid сам рассчитывает кто ближе, у кого кэш свежее и т.п.
Возможно, с таким ТЗ уже проще самому написать отдельный серверок, который бы просто правил кусок конфига Squid-а и делал reload; ещё как-то он должен распространять "gang.lst". Но вот стóит ли это делать самому или лучше чем-то воспользоваться?
>[оверквотинг удален]
>соседях. Т.е. появился новый проксик, достучался до любого проксика из банды
>-- и от него получил список всей банды, а также сам
>тоже стал полноправным её членом. Вроде бы, это похоже на обмен
>пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там
>к чему-н?
>
>Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и
>уже удалена. Может, с тех пор что-то изменилось? Или вместо
>Squid здесь нужно что-то другое? Может, и прокси надо не HTTP,
>а SOCKS?
>http://xgu.ru/wiki/Squid_и_LDAPЭх, самое интересное пока что «в процессе написания». Но всё равно судя по аннотации речь идёт немного о другом: «На этой странице описывается как построить распределённую иерархию прокси-серверов Squid, так что бы они при этом получали информацию об ограничениях пользователей из каталога LDAP». Судя по поиску, делаются подобные вещи через ACL (сначала «external_acl_type», потом «acl ... external ...»). А соседи в Squid добавляются через «cache_peer», который с ACL никак не работает.
как раз сегодня попалась на глаза статейка про вред курительных сетей на основесе синтезированных каннабиноидов ...
>как раз сегодня попалась на глаза статейка про вред курительных сетей на
>основесе синтезированных каннабиноидов ...Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов занудствующих специалистов.
>Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов
>занудствующих специалистов.спасибо, ваше разведение сферических коней в вакууме тоже весьма конструктивно и познавательно!