https://217.65.3.21/openforum/vsluhforumID1/82500.html Здравствуйте.<br><br>Столкнулся со следующей проблемой:<br>Есть некоторый сайт site.ru, а второй сайт site2.ru периодически производит незаконное копирование первого сайта и размещает скопированный контент у себя.<br><br>По логам я посмотрел с какого вероятно происходит выкачивание, так же закрою доступ с ip адреса site2.ru.<br><br>Что ещё можно сделать для защиты контента на site.ru? Есть ли какие то программные решения чтобы вычислять что проичходит выкачивание информации и прекратить этот процесс?<br><br>Заранее благодарен.<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#28 Fri, 06 Feb 2009 11:28:47 GMT Кстати, установил отлов по ссылкам. Вот это тема! Уже Яху попался:)) И один человечек, который пытался выкачать сайт. Работает!<br><br>Но картинку по кол-ву запросов тоже нужно поставить...<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#27 Fri, 06 Feb 2009 07:59:58 GMT &gt;Сейчас у нас работает защита со скрытой ссылкой - помогает на 100%. <br>&gt;Сайт двойник, как не пытался качать постоянно банится. <br>&gt;<br>&gt;На мой взгляд другой защиты даже и не нужно. Нормальных пользователей такой <br>&gt;алгоритм заблокировать не может. <br>&gt;<br>&gt;При реализации главное не забывайте сделать Белый лист, в который внесите все <br>&gt;нужные поисковики. <br><br>Я так понимаю, что у Вас сайт выкачивают при помощи программ-граберов? У меня забирают конкретные объявления, как я понимаю, при помощи самописного парсера. Ведь парсер не ходит по ссылкам (сам такой писал когда-то). <br>Например, есть сайт с объявлениями. Парсеру достаточно зайти на страницу с результатами поиска, а далее просканировать этот список, найти в нем урлы конечных объявлений, зайти на них и забрать информацию в соответствии с версткой. Вот и все. То есть он изначально не ходит по крытым ссылкам и т.д.<br><br>Так что, думаю, что мне поможет только ввод картинки при большом числе запросов, т.к. за 15 минут они выкачивают до 5-10к объявлений. Вот ищу как это https://217.65.3.21/openforum/vsluhforumID1/82500.html#26 Fri, 06 Feb 2009 06:01:04 GMT Сейчас у нас работает защита со скрытой ссылкой - помогает на 100%. Сайт двойник, как не пытался качать постоянно банится.<br><br>На мой взгляд другой защиты даже и не нужно. Нормальных пользователей такой алгоритм заблокировать не может.<br><br>При реализации главное не забывайте сделать Белый лист, в который внесите все нужные поисковики.<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#25 Fri, 06 Feb 2009 00:07:53 GMT &gt;[оверквотинг удален]<br>&gt;<br>&gt;А просто защититься от обхода роботами можно кучей способов. <br>&gt;Фильтры по IP/UA не эффективны, зато хорошо работают ссылки-ловушки и просто отсечение <br>&gt;по частоте запросов. Поисковики можно занести в whitelist по IP, см., <br>&gt;например, http://chceme.info/ips. Скорее всего это не полный список, но вручную или <br>&gt;даже автоматически пополнять whitelist на основе данных из whois - не <br>&gt;проблема. <br>&gt;<br>&gt;Javascript защита - плохой вариант, ибо сложна, в любом случае ударит по <br>&gt;части легальных пользователей, и все равно потребует whitelist для поисковиков. <br><br>Отличный совет про подмену страниц! Появился у меня сайт-двойник, ежедневно выкачивает объявления с моего сайта. Сейчас я им предоставлю "нужную" информацию для размещения :)<br><br>А по поводу отображения картинки при большом количестве запросов - кто-нибудь реализовал?<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#24 Tue, 28 Oct 2008 13:51:24 GMT &gt;Не забудьте только про rel="nofollow". <br><br>Это убивает всю идею, потому что ничто не мешает врагу также учитывать nofollow. Поэтому whitelist.<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#23 Tue, 28 Oct 2008 05:32:24 GMT &gt;Спасибо за развёрнутый ответ. <br>&gt;<br>&gt;Идея с экскрементами очень понравилась и позабавила )))) Живо представил удивление на <br>&gt;лице "врага" )))) <br><br>Лучше отдавать ему содержимое vesna.yandex.ru.<br><br>&gt;Я вот склоняюсь к варианту с ссылками ловушками. Буду пробовать. <br><br>Очень хороший, годный вариант. Не забудьте только про rel="nofollow".<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#22 Mon, 27 Oct 2008 13:42:07 GMT Спасибо за развёрнутый ответ.<br><br>Идея с экскрементами очень понравилась и позабавила )))) Живо представил удивление на лице "врага" ))))<br><br>Я вот склоняюсь к варианту с ссылками ловушками. Буду пробовать.<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#21 Mon, 27 Oct 2008 12:46:14 GMT Для начала узнай все что можно о нападающем. Диапазон IP, user agent, частоту запросов, время обхода, глубину обхода и т.д., посмотри через какое время после обхода новая информация появляется на вражеском сайте. Если враг не шибко умен и не проверяет обновления вручную, отдай им целый сайт с фотками экскрементов, различных личинок и червей и прочей гадости, а вместо текста - матерные частушки. Десять раз подумают, прежде чем еще раз качать.<br><br>А просто защититься от обхода роботами можно кучей способов.<br>Фильтры по IP/UA не эффективны, зато хорошо работают ссылки-ловушки и просто отсечение по частоте запросов. Поисковики можно занести в whitelist по IP, см., например, http://chceme.info/ips. Скорее всего это не полный список, но вручную или даже автоматически пополнять whitelist на основе данных из whois - не проблема.<br><br>Javascript защита - плохой вариант, ибо сложна, в любом случае ударит по части легальных пользователей, и все равно потребует whitelist для поисковиков.<br> https://217.65.3.21/openforum/vsluhforumID1/82500.html#20 Mon, 27 Oct 2008 06:34:59 GMT &gt;вести код изображённый на картинке. <br>&gt;<br>&gt;Вот интересно как это сделано? Средствами чего? Можно ли и мне это <br>&gt;как то сделать? <br><br>См.: интернет, ключевое слово "captcha".<br>