Организация Apache Software Foundation сообщила о планах отказаться от использования системы зеркал, поддерживаемых различными организациями и добровольцами. Для организации загрузки файлов проектов Apache планируется внедрить систему доставки контента (CDN, Content Delivery Network), которая позволит избавиться от таких проблем, как рассинхронизация зеркал и задержки из-за распространения содержимого по зеркалам...Подробнее: https://www.opennet.me/opennews/art.shtml?num=55981
Неплохо так плюнули в рожу всем, кто им помогал.
Это ЪЫнръпрайзъ, детка!
Какой там на.рен у них ынтепрайз
Кровавый.
>>> избавиться от таких проблем, как рассинхронизация зеркал и задержки из-за распространения содержимого по зеркаламИ получить проблему с рассинхронизацией между серверами CDN. Зато проблему решили!
Прозрачно намекают что фонд про распила и траты денег сотрудниками фонда на своё усмотрение, а не про свободное ПО. Свободное ПО там с боку припеку они могли точно так же защищать мангровые леса в амазонии. Не послав туда ни единого доллара.
В смысле "плюнул"? Пояснительную бригаду в студию. Для распространения более-менее больших объёмов данных CDN и облака всегда лучше, чем веб-серверочек из прошлого тысячелетия. Или вы из тех собачек Павлова, что, слыша слово "облако", сразу генерируют токсичность?
Конечно лучше - у веб-серверочка был хозяин, личной репутацией отвечавший как минимум.
А у cdn...тоже есть хозяин, кстати, ему очень пригодится новая порция бигдейты, торгануть.А то фонду впопача очень хочется знать, кто качает опенофис, а зеркала логами не делятся, гады.
> Конечно лучше - у веб-серверочка был хозяин, личной репутацией отвечавший как минимум.
> А у cdn...тоже есть хозяин, кстати, ему очень пригодится новая порция бигдейты,
> торгануть.
> А то фонду впопача очень хочется знать, кто качает опенофис, а зеркала
> логами не делятся, гады.Набираешь такой бигдату из пакетов никому не нужного мёртвого ПО (которое в Убунточке всё равно из репозиториев тянется) и сразу всех под колпак загоняешь. Дьявольская хитрость.
кому интересна твоя 1% убунточка? Они вон даже ту бигдату, которую сами насобирали, похоже, не нашли кому продать.
Под новостью о самбе ты мне успорял, что облака - это круто, не надо держать одменов, не надо разгребать проблемы, у провайдера есть ответственность. Апач все сделал по твоей методичке - и тут ты переобулся в прыжке: облака - это плохо, они данные воруют, а у одменов появилась ответственность.
проблемы твоего чтения - не мои проблемы.
Как уж ты там писал, "ты не уважаемый дон, ты уж". У которого даже нет своей точки зрения, нет стержня. Это, кстати, не ты на секлабе жалился, что свалил бы из клятой рашки, да только гастрит, лысина и блаблабла? А то уж больно слог похожий.
> Как уж ты там писал, "ты не уважаемый дон, ты уж". У
> которого даже нет своей точки зрения, нет стержня. Это, кстати, не
> ты на секлабе жалился, что свалил бы из клятой рашки, да
> только гастрит, лысина и блаблабла? А то уж больно слог похожий.обычно стержня нет у тех, кто любит клятую рашку и ее фухреров больше всего на свете.
Это должно было прозвучать саркастично, но звучит лишь тупо
> хозяин, личной репутацией отвечавший как минимумНу то есть какой-то никому неизвестный васян, котрый неизвестно как настроил неизвестно что. Денег он не просит, конечно, но и спросу с него нуль. Сегодня он, как ты вот, например, работает эникеем в ОАО «Рога и Копыта», хостит зеркало, пока руководство не заметило, а завтра его пинком под зад и ищи-свищи его «личную репутацию» на бирже труда. Всё это работает ровно до того момента, пока стоимость менеджмента васянов и репутационные риски ниже стоимости CDN. Но качелька качнулась, и васяны стали не нужны. Качнётся обратно — наберут новых, благо в васянах нелостатка никогда не было.
да, никому неизвестные васяны - сотрудники крупнейших универов, хостинговых компаний и так далее.То ли дело васяны-рабы клаудфлери (уже разок ее уронившие) или кто там - комкаст.
Эти вот точно все сделают правильно, надежно, на века. И недорого. "стоимость менеджмента", ага.
Назови хотя бы пятерых, без гугла. Имя-фамилия, чем знаменит, на каком ресурсе проверить репутацию. Так-то я и сам васян, зеркало дебиана хощу. Но кончится мой контракт в этой конторе и хз что там с зеркалом дальше будет. Может найдётся кому передать, а может и нет. А может вылечу завтра с хайвея в кювет и поминай как звали.
> В смысле "плюнул"?В том смысле, что людям, которые годами помогали бесплатно, за свой счёт взяв на себя часть нагрузки, сказать "Всё, вы больше не нужны, подите прочь" - это и есть плюнуть в лицо.
Васянам никто в жизни бы не доверил держать зеркало проекта, а сурьезные люди не впадают в истерическую сентиментальность.
> Васянам никто в жизни бы не доверил держать зеркало проектаХы... Крупнейшие провайдеры, факультеты CS крупнейших университетов - это те ещё васяны, ага.
Пост до конца не дочитывай, сразу отвечай!
"Крупнейшие провайдеры, факультеты CS крупнейших университетов" - те самые сурьезные люди, которые не впадают в истерическую сентиментальность. В нее впадают как раз те самые Васяны, которые сами не держали ни одного зеркала, зато визгу, визгу.
Не впадают в истерику, но всё равно неприятно. Вот ты тратишь усилия, чтобы обеспечить надёжную и бесперебойную работу зеркала, чтобы заработать репутационеых очков. А вот тебе говорят: забудь про свою работу и выкинь сервачок, а мы пошли в CDN.
> "Всё, вы больше не нужны, подите прочь"Такого фонд Апаче конечно не говорил, это ваша интерпретация. А у меня другая интерпретация:
"Спасибо за предоставленную помощь и ресурсы, когда они нам были нужны. Теперь нам больше помощь не нужна, а значит вы сможете использовать высвободившиеся ресурсы для помощи другим проектам, которым нужнее. Конечно, если посчитаете нужным."
По-моему, тут нет никакой драмы.
ну вообще-то p2p торретны тоже относятся к CDN. И они вполне свободны.
>> Неплохо так плюнули в рожу всем, кто им помогал.И как же плюнули? Лишили ваши локалхосты смысла жизни?
На 2377 день апач Зоркий Глаз заметил, что мир сильно изменился.
Мир Linux всегда был весьма консервативен. Потому и 0,1%.
Тебе методичку забыли обновить! По новым данным независимых экспертов - 0,001%
По моим данным Linux в мире использую только я.
На 100% моих машин стоит Линукс, так что по моим данным в мире все используют линукс.
Ну вот, а кто-то мне рассказывал, как сквидом такие весчи делает:)>через зеркала Apache данных вырос с 10 до 180 ГБ, технологии доставки контента ушли вперёд
Хм, а ведь еще даже на раст переписали, а обьемы ужо возрасли.
>которая используется в сетях доставки контента компаний Cisco и Comcast
Почуял года 2 назад неладное и с папача слез. Жизнь есть!
Самое невероятное, что софт которым никто не пользуется и буквально никто не скачивает, всё ещё генерирует достаточно трафика, чтобы об этом вообще думать. Сколько пользователей в час обслуживают? Все 200гб будут отправлены всего за полчаса. Я не знаю, если программа не врёт, вроде правильно показывала, но это си может там переполнение где-то я не проверял на таких значениях.estimatedownload.py
Download estimator!
File size:
->180G
Speed:
->1G
Download is going to take 0.40 hours (0.0 days)
> Все 200гб будут отправлены всего за полчасаrsync не для них придумали
>> A mirror in 2002 would need to allocate a whopping 10 GB of space to handle all the artifacts available for download.
>> ...
>> Today, that 10GB has grown to more than 180GB for a mirror to carry all ASF software.
> Самое невероятное, что софт которым никто не пользуется и буквально никто не
> скачивает, всё ещё генерирует достаточно трафика, чтобы об этом вообще думать.
> Сколько пользователей в час обслуживают? Все 200гб будут отправлены всего за полчаса.А в огороде бузина ...
> Я не знаю, если программа не врёт, вроде правильно показывала,
> но это си может там переполнение где-то я не проверял на
> таких значениях.
> estimatedownload.py
> Download estimator!Яснопонятно.
Ну, зато теперь можно будет рекламу перед скачиванием покрутить и мерзкие CURLы капчами побанить )
странно что минусуют, но ведь так и будет
Тут все умное минусуют. Индикатор же! (Кверти тролль не в счет, там обратная зависимость, подтверждающая правило).
Система CDN менее устойчива, чем система зеркал. Не нужно забывать, что CDN по своей природе - всего лишь распределённый кеш, неразравно связанный с центральным сервером, причём можно представить себе ситуацию, при которой некоторые маловостребованные файлы могут отсутствовать на всех кеширующих серверах. Система зеркал является полностью децентрализованной, да, обновления зеркал могут запаздывать, но каждое зеркало всегда имеет полный комплект файлов и может работать не только при недоступности, но и при полном уничтожении главного зеркала, причём восстановить главное зеркало в случае его уничтожения можно с любого из зеркал. Таким образом переход от зеркал с CDN увеличивает централизацию и, соответственно, снижает устойчивость системы.
Разве CDN, по сути - не распределённая куча серверов-клонов со статическим содержимым?
Тск вот откуда спецы со сквидом. Ясно, понятно. Виктора слушайте, дело пишет.
Как админы CDN настроят, могут быть разные схемы получения контента (pull - по запросу пользователя/push - по запросу владельца контента).
Ключевое отличие что CDN это одна связанная коммерческая (за крайне редкими исключениями) инфраструктура принадлежащая одним людям, а зеркала как правило не связаны и могут принадлежать разным людям.
Из этого следует что целенаправленно положить сеть или подложить контент проще в CDN чем через сеть зеркал и CDN стремится к максимизации прибыли, а не качества.
Нужно понимать, что там может быть как pull так и push CDN.
А разве система зеркал не то же самое, что и CDN?
А разве иксы не тоже самое, что вяленый?
Надо скрестить добавив немного скриптов и перенаправлялку...
Почему такое решение не подойдёт?
Даже я бы смог накостылить подобную систему за час, но ведь чем-то они плохи, иначе бы использовались именно подобные, я думаю. Что я не учёл?
См. еще мой доклад, где обсуждается устойчивость к блокировкам: https://archive.fosdem.org/2020/schedule/event/sdnpof/
> Система CDN менее устойчива, чем система зеркал.Если повторять эту фразу достаточно долго, в неё действительно можно начать верить. Но это не сделает её реальностью.
> объём отдаваемых через зеркала Apache данных вырос с 10 до 180 ГБв год, в месяц, в секунду?
> как рассинхронизация зеркал
это все вопросы реализации, в CDN тоже может быть такое
единственное что приходит на ум, это нежелание зависеть от возможностей зеркал и их админов, что подтверждает фраза
"с профессиональной поддержкой и уровнем сервиса, удовлетворяющим потребности Apache Software Foundation"
>> объём отдаваемых через зеркала Apache данных вырос с 10 до 180 ГБ
> в год, в месяц, в секунду?В километр.
"не стреляйте в перевод^W пианиста, он перево^W играет как умеет!" (с)> A mirror in 2002 would need to allocate a whopping 10 GB of space to handle all the artifacts available for download.
...
> Today, that 10GB has grown to more than 180GB for a mirror to carry all ASF software.
>
то есть в 2002м нужно было целиком диск отдать, а сейчас - так, небольшой кусочек от обычных для мелкого сервера 4T. Убедительнейший аргумент, угу, ага.
Короче посоны, если завесил свой вордпрессик скажем в европе и хочешь чтобы оно норм открывалось еще и в азии, цдн с кешем ок.
А вот для зеркал реп - это фатальный недостаток. Тут централизация - злой ой.
Равномерно нагруженная сеть хуже, чем чей-то личный хост, который то не работает, то не синкается, то к нему доступы попадают не к тем? Ох уж эти сказочники
Так а как ты допустил, что твой хостер то не работает, то синкается.
Ох уж эти теоретики...
Хостер не может гарантировать что он все правильно синхронизировал и вообще работает. Он небезопасен бай дизайн.
Ну да, ну да. CDN, не работает один сервер, админы CDN прошляпили этот момент, маршрутизация в CDN по bgp (в большинстве случаев). У тебя на радарах все ок, пользователи из страны N ничего скачать не могут (или что иногда хуже скачивают старые данные). Отключить CDN ты не можешь т.к. тогда пострадают и другие пользователи, найти проблему сам тоже не можешь (а если админам CDN начхать то можешь только CDN сменить). Можешь только пытать пользователей (если они еще не ушли пробовать другой софт), постоянно мониторить логи CDN (если они вообще предоставляются, что далеко не часто и практически никогда в реальном времени) и надеяться что лог-сервис работает правильно, можешь купить пачку vps в популярных странах для проверки работы CDN (но опять же все упрется в админов CDN, сможешь только им пожаловаться или сменить CDN).
И это только одна проблема, приведу еще парочку очевидных: CDN решила сэкономить и маршрутизировать к наиболее дешевым нодами/сломалась маршрутизация, скорость пользователей страны N просела в 5 раз; в CDN сломался кэш, пользователям россии отдается старый контент (например редирект на старого партнера); другого клиента CDN ддосят, что сказывается и на вас; на популярную ноду запустили крупного клиента с большим количеством популярного трафика, ваши запросы постоянно вымываются из кэша, CDN становится не только бесполезным но и увеличивает скорость скачивания; CDN втихаря продает логи пользователей в органы/рекламным компаниям и т.д. и т.п..С зеркалами проще - написал его владельцу, убрал с сайта кривое зеркало, пользователи дальше прекрасно пользуются, а в основном и сами пользователи решают чем пользоваться (в отличии от CDN). Но если уж очень хочется взять (зеркала) в свои руки то можно накупить серверов и расставить их по миру, решения для CDN у апача итак есть.
>а в основном и сами пользователи решают чем пользоваться (в отличии от CDN)ничто не мешает сырые айпишники CDN (а лучше - их сырые доменные имена (...akamaihd...)) захардкодить.
>>а в основном и сами пользователи решают чем пользоваться (в отличии от CDN)
> ничто не мешает сырые айпишники CDN (а лучше - их сырые доменные
> имена (...akamaihd...)) захардкодить.Это bgp балансировка (и да, у akamai такая), у тебя нет ip принадлежащих разным серверам, ты не можешь запинговать 8.8.8.8 и достучаться до сервера в Америке. У админов CDN они есть но они их давать не будут (по многим причинам).
Но даже если бы балансировка была бы по dns, то у тебя появляются другие проблемы. Например то что не все пользователи пробрасывают свое положение (edns) и пользователь с америки запросто может улететь в европу.
Все что ты написал для CDN точно так же характерно для зеркал.
> Все что ты написал для CDN точно так же характерно для зеркал.Нет. Зеркала независимы и выбирают зеркала пользователи (т.е. по сути нет балансировки и многие проблемы пропадают сами собой).
А в случае например загрузки одного файла в течении часа - будет ли оно нагружаться равномерно? Если да - очень интересно. Типа слишком высокая нагрузка - этот блок от другого сервера...
Если CDN будет тебе выдавать заблокированный айпи, что будешь делать?
>Какая именно CDN-сеть будет использована не сообщается, упоминается лишь, что выбор будет сделан в пользу сети с профессиональной поддержкой и уровнем сервиса, удовлетворяющим потребности Apache Software Foundation. Примечательно, что под эгидой Apache уже развивается собственная платформа для создания географически распределённых CDN-сетей Apache Traffic Control, которая используется в сетях доставки контента компаний Cisco и Comcast.Ну то есть не предполагается, что выберут свое?!
своего нет ничего. Все было чужое. Только было от энтузиастов, а станет от комкаста или там еще какого любителя пособирать бигдейту.А если ты про софт - так выбирать будет не впопач, а хозяин cdn.
Какую-нибудь клаудфляру выберут. Как только видишь, что сайт подписан сертом клаудфляри - сразу валишь подальше от этого гадюшника на колёсиках.
> Какую-нибудь клаудфляру выберут. Как только видишь, что сайт подписан сертом клаудфлярипоследнее время пох каким сертом он подписан - все равно гадюшник вызывает только бесконечные редиректы по кругу, с предложением угадать все лодки и автобусы. Иногда потом это удается открыть в вебархиве.
Ну вот такой современный интернет. Либо гугль с пейсбуком, либо такая борьба с ВРАГАМИ (кругом ОНИ!) что камня на камне не останется.
proxy_pass + proxy_store = CDN :)
Значит будут сокращать персонал, продавать помещения, всё в CDN и "облака".
Эффективность, оптимизации, экономика должна быть экономной, зарыть деньги в землю до лучших времен, до новых динозавров, в гробу карманы есть, капитализм, счастье, за... Ни это ли глупость?
Не, ну доля правды то в твоих словах есть. Бонусы есть даже от облаков, просто их надо правильно пользовать. Но так умеют не все.
> Не, ну доля правды то в твоих словах есть. Бонусы есть даже
> от облаков, просто их надо правильно пользовать. Но так умеют не
> все.бонусы есть, но они все очень нагло платные
Слушай, ну деплоить отдельные инстансы вордпрессиками на каждом континенте, да не по одному - это тоже не бесплатно. Цдн по кругу выйдет подешевше.
Но если у тебя уровень проекта многомильярдный, то да, согласен. Пилить отдельно.
> Слушай, ну деплоить отдельные инстансы вордпрессиками на каждом континенте, да не по
> одному - это тоже не бесплатно. Цдн по кругу выйдет подешевше.
> Но если у тебя уровень проекта многомильярдный, то да, согласен. Пилить отдельно.например в большинстве стран Европы крайне дешевле, да и в США тоже
сравнивали просто мегакомбайн на базе Epyc, и соответствующие топовые инстансы AWS
разница в цене как минимум в 10 раз в пользу своего решения, на в 1.5, не в 2, а в 10+
Ты же в эту цену учёл пиринг, стойки, электричество, логистику, плановые апгрейды, ремонт, юрлица, персонал и менеджмент во всех местах присутствия, финансовые обязательства в соответствии с местными законодательствами, безопасность, архитектуру, планы развития, финансовые риски? И это только вид из космоса, в деталях можно закопаться.
> Ты же в эту цену учёл пиринг, стойки, электричество, логистику, плановые апгрейды,
> ремонт, юрлица, персонал и менеджмент во всех местах присутствия, финансовые обязательства
> в соответствии с местными законодательствами, безопасность, архитектуру, планы развития,
> финансовые риски? И это только вид из космоса, в деталях можно
> закопаться.половину списка полная хрень, притянутая за уши
но мы считали арендованый Epyс, даже не colocation, так что как бы остаешься без аргументов ))
а безопасность так точно мимо облаков пролетела, аж улыбнуло в этом месте
Да положить все в IPFS и пусть там лежит, кто захочет помочь -- запинит к себе и все
Две новости в одной. Ловко придумано!
Они открыли кеширующий прокси, и создали единственную точку отказа. Милые мудаки.
Facebook, Instagram и Whatsapp рекомендуют!
Этим не страшно. Они на правительство работают.
Про что речь?