Компании Mozilla и Google удалили Anti-Paywall (https://github.com/nextgens/anti-paywall/) из каталогов дополнений к браузерам Chrome и Firefox после поступления жалобы (https://github.com/nextgens/anti-paywall/issues/109#issuecom... о нарушении действующего в США Закона об авторском праве в цифровую эпоху (DMCA, Digital Millennium Copyright Act). По сведениям Mozilla аналогичные запросы на удаление поступили и для других дополнений, в которых имеются функции обхода механизма ограничения доступа "Paywall (https://en.wikipedia.org/wiki/Paywall)". Например, из каталогов Chrome WebStore и Mozilla AMO также удалены (https://github.com/iamadamdev/bypass-paywalls-firefox/issues... дополнения Bypass Paywalls (https://github.com/iamadamdev/bypass-paywalls-firefox/) и Bypass (https://github.com/cezary/bypass).
Проблема состоит в том, что функции дополнений для обхода Paywall обычно сводятся (https://www.opennet.me/tips/info/3044.shtml) к замене идентификатора браузера и для обхода блокировки при помощи данной технологии можно использовать любое дополнение, позволяющее пользователю изменить значение User Agent. По своей сути дополнение Anti-Paywall лишь автоматизирует (https://github.com/nextgens/anti-paywall/blob/master/backgro... смену User Agent на "Googlebot" для определённых сайтов. Так как удаление из каталога Mozilla привело к невозможности сформировать заверенную Mozilla цифровую подпись, установить новые версии Anti-Paywall, Bypass Paywalls, Bypass и подобных дополнений теперь можно только в тестовых выпусках Firefox для разработчиков, установив XPI-файл вручную (https://github.com/nextgens/anti-paywall/archive/master.zip).
Метод Paywall применяется многими крупными англоязычными изданиями (forbes.com, independent.co.uk, newsweek.com, newyorker.com, nytimes.com, wsj.com и т.п.) для открытия полного текста свежих статей только для платных подписчиков. Ссылки на подобные статью активно продвигаются в социальных сетях и поисковых системах, но вместо открытия полного текста после перехода по подобным ссылкам пользователю предлагается оформить платную подписку, если он хочет увидеть подробности.
Для эффективной работы данной схемы обычно
открывают полный доступ поисковым системам и социальным сетям, так как
издания заинтересованы в индексации текстов и привлечении посетителей, ищущих данный материал. Поэтому для обхода блокировки, как правило, достаточно просто сменить идентификатор браузера и притвориться поисковым ботом (также может потребоваться очистить сессионную Cookie).URL: https://news.ycombinator.com/item?id=18582193
Новость: https://www.opennet.me/opennews/art.shtml?num=49701
Я бот, бип-бип. Если не согласны, то докажите обратное. Бип-бип.Чем браузер не бот?
У, ща на опеннет пришлют кляузу в росглавжандарм походу. Там в советах был совет про смену юзерагента на гуглбота как раз.
Придётся опять ставить дома Squid
Нужно было делать расширение не содержащее списка блокировок, а загружающее кастомные по ссылке. По умолчанию дать какой-нить тестовый, а пользователь сам бы установил нужные. Тогда заблокировали бы только ссылки на эти списки, которые легко залить опять или повесить на неподконтрольный домен.
> Чем браузер не бот?src IP адресом.
поисковые боты приходят только из определенных подсетей.
Ну да. Просто кому-то лень нормальную интеграцию сделать и поддерживать...
> src IP адресом.Трекать все подсети гугла и проч наверняка лениво, а если спайдер не сможет забрать страницу, посчитает это за даунтайм. Ну и подвинет лагучий сайт в рейтинге на 100500-е место.
Paywall? Это про Aitifact чтоли?
вы успешно прошли тест Тьюринга :)
Главное не ставить галочку "I'm not a robot"...
Да чего там, ставь, ставь, мы, роботы, тоже ее всегда ставим.
На этом свойстве роботов основана одна из простых капч: делаешь на странице скрытое поле, которое людям не видно, а робот в него обязательно напишет из своей методички.
Это только те что не умеют видимость проверять...
> Это только те что не умеют видимость проверять...То есть разбирать сопутствующие странице CSS?
современные боты и жабаскрипт разбирать умеют. иначе труды современных уебпрограммистов просто не распарсить.
> То есть разбирать сопутствующие странице CSS?Будет надо - прикрутят и opencv с нейросетками. Результат потом тюринг-тесты получше некоторых опеннетчиков пройдет...
Даже не знал что такое есть.
Теперь знаю... Эффект Стрейзанд
Т.е. сайты, которые практикуют подобные методы, доступны для индексирования только гуглом? А если это другой поисковик с другим user-agent? Получается, что поисковики могут наехать на Paywall сайты, обвинив их в сговоре с google.Я думаю, нужно быть последовательными и помечать выдачу с Paywall сайтов как рекламную - это будет честно.
Забавно получилось - жуликов обжулили. А те соответственно недовольны. Весело.
К сожалению, закон в любой стране почти всегда слабо совместим с реальностью. Тут мы видим обычный пример несовместимости закона с реальностью. Paywall-сайт использует поисковик для продвижения платных статей, но выдача не помечается как реклама, хотя должна - поисковик фактически предлагает купить подписку.
Правообладатели как обычно не видят бревна в глазу: хотите быть в топе выдачи поисковика - платите поисковику. Не хотите платить миритесь с тем, что ваши платные статьи доступен кому угодно.
В любом случае итог, который устроит всех будет один - Paywall-сайты должны закрыть платные статьи для все, кто за них не заплатил. Тогда совместимость закона с реальностью будет немного лучше.
> Paywall-сайты должны закрыть платные статьи для все, кто за них не заплатилВы таки хотели сказать закрыться? Это было бы более логично. Потому что их "статьи" ни один уважающий себя человек покупать не будет.
>их "статьи" ни один уважающий себя человек покупать не будет.В нищих странах третьего мира - однозначно. Но белые господа себя в подписках не ограничивают, ибо статус. Тем более, что умному понятно: либо за статьи платишь ты, читатель, либо за них платят пропагандисты...
>Тем более, что умному понятно: либо за статьи платишь ты, читатель, либо за них платят пропагандисты...Либо "Ласковое теля двух маток соcет" (древняя анонимная пословица)
Бывает. Но если ты не платишь за контент напрямую - то его оплатят другие. И не факт, что тебе после этого результат понравится.
Но у гугла-то тут явно упущенная прибыль. Вангую следующий конфликт в духе - владельцы paywall-ов судятся с google из-за того, что google включил пимпу "реклама" на paywall-ных статьях и стал чаржить за переходы
Вся суть поисковика в том, чтобы выдавать ссылки на левые сайты, которые без поисковика хрен бы кто нашёл. Тогда уж со всех надо драть, кто вообще в выдачу попадает. Ранжирование станет простым и понятным: по принципу "кто больше отвалил", рак из SEO-шников отваливается. Занавес.
Белые господа из картонных коробок в какой-нить санфранциске ограничивают себя в еде, малыш. А не в подписках.
А имперские пенсы шерстят помойки возле супермаркетов. Очень по имперски выглядит - бабушки и дедушки уже расписание знают когда именно манагер просрачку в контейнер выгружать будет. Иной раз так прямо гуманизм проявляют - даже не разгружают тележку в контейнер. А прикольно наверное при этом жрат давить бульдозерами, да? :)
шо за хня и где вы это увидели - в фейкньюзах, что-ле?у нас мусорный контейнер запирается точно таким же замком, как и в какой-нибудь Атланте, поживиться оттуда ничем не удастся. Только там это делается, чтоб другие туда не поднас...ли (вывоз-то платный) в большей степени, а у нас - чтоб бомжи не устроили себе жилье прямо в этой же мусорке.
раздачи какой-то там жрачки пенсионерам - это редкие и исключительные случаи, и они старательно караются высшим менеджментом, когда обнаруживаются.
> А прикольно наверное при этом жрат давить бульдозерами, да? :)
ничего прикольного, попробуй, блин, сам догони хоть одного гуся на бульдозере!
(разнесешь забор свалки или перевернешь бульдозер, учти - всю жизнь проведешь прикованным к той свалке, работая забесплатно, он стоит дороже чем обе твои почки)
>Вы таки хотели сказать закрыться?Да никто и не заметит
> Т.е. сайты, которые практикуют подобные методы, доступны для индексирования только гуглом?Корпорация добра епт..
Как раз google тут не причем. Я не знаю как именно работает Paywall - пускает в закрытые разделы только googlebot или какие либо еще, например bing. Дело даже не в том, что Paywall-сайты выдают полные статьи гуглу, а в порочном механизме определения кому на страницу можно, а кому нет. Условный %SearchEngine% не получит полный текст статьи только потому, что он не google, а это уже попахивает недобросовестной конкуренцией.
> Как раз google тут не причем. Я не знаю как именно работает Paywall - пускает в закрытые разделы только googlebot или какие либо еще, например bing. Дело даже не в том, что Paywall-сайты выдают
> полные статьи гуглу, а в порочном механизме определения кому на страницу можно, а кому нет.Я конечно не спец по поисковикам, но краем уха слышал что гугл вообще-то за такие шутки "простых смертных SEOшников" банит или снижает рейтинг в 0.
>> Как раз google тут не причем. Я не знаю как именно работает Paywall - пускает в закрытые разделы только googlebot или какие либо еще, например bing. Дело даже не в том, что Paywall-сайты выдают
>> полные статьи гуглу, а в порочном механизме определения кому на страницу можно, а кому нет.
> Я конечно не спец по поисковикам, но краем уха слышал что
> гугл вообще-то за такие шутки "простых смертных SEOшников" банит или
> снижает рейтинг в 0.[I]""
7. Все животные равны.[...] тайно исправили их, дабы не быть обвинёнными в их нарушении. Дописанные (здесь — жирным начертанием) заповеди стали выдаваться за исконные:
7. Все животные равны, но некоторые более равны, чем другие.
""[/I
--https://ru.wikipedia.org/wiki/%D0%A1%D0%...
>> Т.е. сайты, которые практикуют подобные методы, доступны для индексирования только гуглом?
> Корпорация добра епт..С разморозкой.
С 2015 это корпорация "правильных вещей/поступков/выбора".
Правда, не уточняется – правильных для пользователя или все же кошелька акционеров и высшего звена.
>> Т.е. сайты, которые практикуют подобные методы, доступны для индексирования только гуглом?
>Корпорация добра епт..Отвечу сам себе, добрая она или нет - мне пофиг, но вот эта тема меня подвигла на изучение инструкций по написанию расширений для огнекрыса.
ПС. Гугл - козлы, ибо качество видео с ютрупа зависит от браузера.
В огнелисе режутся списки разрешений для видео.
А можеи это лис кодеки не все тащит?
Я не знаю, я уточняю.
> А можеи это лис кодеки не все тащит?а после небольшого скриптика в greasemonkey, внезапно, все? Ну да, бывает, чо.
Возьми свежий User Agent из хрома и вставь в Firefox. Потом говори про кодеки. И ютуб нормально заработает, и сайты, которые требуют хром для просмотра видео, внезапно и на Firefox согласятся.
> Возьми свежий User Agent из хрома и вставь в Firefox. Потом
> говори про кодеки. И ютуб нормально заработает, и сайты, которые требуют
> хром для просмотра видео, внезапно и на Firefox согласятся.У меня просто нет никаких проблем с FF.
Хожу к гуглу - вопросов нет.
> Возьми свежий User Agent из хрома и вставь в Firefox.я вставил, пустое место показалось. Что и логично - он по ua детектит quic свой дурацкий и еще массу всего, что его горе-кодеры не чешутся проверять нормальным способом - зачем, известно же, что существует только единственно-правильный хром и неудачники.
Подробнее.
wget'om, скачивайте, как Столман!
ну что-то в этом есть. ибо, как показывает практика, ничего надежнее локалхоста нет. это раньше была шутка про то, что попало в сеть там останется навсегда. сейчас это уже не работает - на популярных нынче файлхостингах удаляют все что скажут, торренты без сидов дохнут как мухи,а хостить что-то на своем сервере уже моветон.
> теперь можно только в тестовых выпусках Firefox для разработчиков,
> установив XPI-файл вручную.А вот walled garden и показал нам свою настоящую рожу...
Наверно можно установить и на Stable: https://www.ghacks.net/2016/08/14/override-firefox-add-on-si.../
Теперь все узнали что пейволл можно обходить
О, хорошее расширение, спасибо, что написали о нем, надо поставить ;)
Тирский, перелогинься
Чем оно лучше F12?
xpinstall.signatures.required;false в ESR.Что дальше? Ждем запрета переключателей User Agent? Пытаемся хардкодить несменяемость? Заведомый провал. Теперь будут гулять списки сайтов для подмены. Лишь инфа шире разошлась.
Зачем? Есть нормальные браузеры а эти двое и так в помойке давно.
Собственно да, другое ПО для серфинга жабавеба никто не отменял.
Пока у tormozilla есть esr мне еще норм. Вкусы фломастеров.
> xpinstall.signatures.required;false в ESR.
> Что дальше? Ждем запрета переключателей User Agent? Пытаемся хардкодить несменяемость?
> Заведомый провал. Теперь будут гулять списки сайтов для подмены. Лишь инфа
> шире разошлась.Дальше копирасты будут запрещать разрабатывать программы и устройства, на которые можно установить неодобренные государством (которое языками копирастов отстаивает свои интересы) программыэ На самом деле это уже есть - см. требования fcc.
Понял теперь, зачем нужен фраерфокс-тестинг.
Если я руками заменю юзерагента, мозиллу удалят с сайта мозиллы? А хром? А IE из винды выпилят? =)
Чьё-то шерето недостаточно шерето и они, вместо того чтобы включить мозг, решили об этом ещё рассказать всем, попутно создав pain in ass остальным, чтобы их наверняка рездербанили и раздавали бесплатно не потому что кому-то надо, а вот просто назло, потому что своими выкобениваниями мешают жить разработчикам
А TamperMonkey они убирать не собрались? Этой обезьяне ведь можно любой неподписанный скрипт скормить, в том числе для перебивания User-Agent'а и блокировки кук конкретно на этих сайтах.
Спасибо. Не знал, что так можно. Теперь знаю :)
Эти ленивые анусы не хотя проверить ip пришедшего через nslookup. Вместо этого банят расширения. Ну значит их по прежнему будут читать бесплатно те, кому очень хочется.
Просто не нужно пользоваться подобными сайтами. Пусть и дальше варятся в своём соку и благополучно идёт на свалку истории.
чо эта они ubo еще не выпилили? код для обхода paywall'ов - одна из встроенных в него фич, как раз в последнем выпуске ой-опять-исправили, но в целом оно работает.надо срочно нажать кнопку "пожаловаться"
При чем здесь uniform buffer object, болезный?
> При чем здесь uniform buffer object, болезный?uBlock Origin. Сокращённо — UBO. Выздоравливай, дружок.
ведомости как освободить?
Добавить в список исключений блокировщика рекламы
это не работает - платные статьи не присутствуют в коде страницы
А как сделать, чтобы браузер не докладывал сайту о наличии адблока?
Браузер ничего не репортит; адблоку, чтобы вырезать рекламу со страницы, нужно над ней поиздеваться, а скрипты страницы, соответственно, могут эти издевательства отлавливать. А отрежешь скрипты --- вообще сайт сломаешь, такие дела.
Ясно, спасибо.
У меня-то скрипты разрешены только там, где без них не виден текст, даже если убрать стиль страицы.
Пожалуйтесь в департамент на их недостаточную свободность.
Не понял. Это че, официально разрешенный клоакинг ?Приехали. Значит педуарды из Гугла и примазавшихся, тысячами банили тех, у кого контент показанный боту хоть на байт не совпадал с контентом показываемый юзеру, а здесь вот все так просто ? Двойные стандарты detected. Лицемерие detected.
Самое время откапывать konqueror и юзать duckduckgo.
>откапывать konquerorГде нет html5, css3, es6, итд. Только опеннетик им и сможешь смотреть.
Тогда уж сразу сеппуку-вгет.
>юзать duckduckgo.
Который скармливает твой зарос ms bing и показывает его выдачу. Иди дальше, используй поиск@mail.ru!
> нет html5, css3, es6, итд. Только опеннетик им и сможешь смотретьБудто что-то плохое.
Если это сдерживает ареал обитания таких фанатиков и не дает им пользоваться нормальными современными сайтами - то, да, это хорошо.)))
> нормальными современными/0
Но ведь ты тогда даже на сайт своей любимой Зюзи не сможешь зайти
> Но ведь ты тогда даже на сайт своей любимой Зюзи не сможешь
> зайтиСтесняюсь спросить, а зачем мне ходить туда? А даже если (хотя всё равно непонятно зачем) ходить — зачем для этого HTML5, CSS3 и прочие балалайки?
>> Но ведь ты тогда даже на сайт своей любимой Зюзи не сможешь зайти
> Стесняюсь спросить, а зачем мне ходить туда?правильно, незачем туда уже ходить - сто лет как нет там никакой полезной информации.
а когда была - как-то без html5 и css3 вполне себе читалась.
> А даже если (хотя всё равно непонятно зачем) ходить — зачем для этого HTML5, CSS3 и прочие
> балалайки?чтобы увидеть что-то, помимо пустой страницы. Правда, пользы от увиденного все равно никакой.
Сюрприз, но оно и сейчас всё читается и работает, без всяческой новомодной срани. Даже страница поиска пакетов в OBS. Даже в links.
>Даже страница поиска пакетов в OBSПоиск в Odna Babka Skazala?
> Поиск в Odna Babka Skazala?Дроботенко, перелогинься.
Чем заниматься подменой юзер агента, лучше вообще игнорировать подобные сайты. Благо для научных статей и книжек есть либген и сайхаб.
Плюсую.Если сайт требует особой уличной магии для работы с ним - значит он не так уж и нужен. Сюда же относятся сайты с подтверждением по СМС, хитроJопой капчей, мегасекюрными паролями (особенно ржачно когда сайт требует спецсимволы в пароле, а слэши не осиливает) и прочими трудностями. Я понимаю там банки, хостинги, короче там где хранится чувствительная информация. Но сuка это же ржачно, когда требуется авторизация через ФБ или по СМС, чтобы просто прокомментировать очередной копрообзор смартфона )))
> Чем заниматься подменой юзер агента, лучше вообще игнорировать подобные сайты. Благо для
> научных статей и книжек есть либген и сайхаб.Особенно учитывая то, что всякие ньюйоркеры, ньюсвики и форбсы вообще не о том, и не для тех.
Вот так постепенно весь вэб превращается в очередной обвешанный DRM (работы по реализации DRM\IRM для страничек и "вэбприложений" уже идут) сервис по продаже контента.
Есть ещё простой способ установить неподписанное дополение. Зарегистрироваться в качестве разработчика и подписать дополнение, установив галку "я не хочу распростронять его на AMO".Получаете на выходе подписанный .xpi и ставите куда угодно.
Годно.
Один из достаточно простых способов обойти это поделие ака пейвол - выключить для сайта JS. Работает не везде, но работает.
> Один из достаточно простых способов обойти это поделие ака пейвол - выключить
> для сайта JS. Работает не везде, но работает.Надо еще девтулсы из браузеров убрать. А то вы только подумайте, они в 95% случаев позволяют устроить полный лабеан даже самому строптивому сайту. Поправил немного свойства - и вот ты уже белый человек.
открытие девтулзов прекрасно ловится скриптами, наивный ребенок.
Ага видел в живую, но и на таких хитрожопых контрмеры находились банальным юзерскриптом.
>для отключения проверки дополнений по цифровой подписи в Firefox 60 ESR в abount:config следует предварительно установить переменную "xpinstall.signatures.required=false"не помогает