URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 121465
[ Назад ]
Исходное сообщение
"Релиз платформы для распределённой обработки данных Apache Hadoop 3.3"
Отправлено opennews , 02-Авг-20 12:12 
После полутора лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=53476

Содержание
Сообщения в этом обсуждении
"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено A.Stahl , 02-Авг-20 12:12 
Пятиминутка древних поговорок:

Распределяй и обрабатывай.
Хранилище хранилищу резерв.
Все данные ношу с собой.
Ну и конечно же: у семи админов база без пароля.

"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено YetAnotherOnanym , 02-Авг-20 12:26 
> хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день

Не знал, что возраст Фейсбука - два с половиной месяца.

"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено Аноним , 02-Авг-20 18:43 
А зачем ему хранить больше сырых сообщений? Если надо, можно сделать аггрегаты и хранить только их.
"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено Сцукенберг , 02-Авг-20 18:48 
> Не знал, что возраст Фейсбука - два с половиной месяца.

А дальше назад ты ленту и не крути. А не то!

P.S. нормальные люди, между прочим, и не крутят. Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.

"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено Аноним , 02-Авг-20 19:03 
Котики gzip сжимаются до одного котика.
"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено Аноним , 03-Авг-20 04:39 
Котики совсем не сжимаются, тем более gzip. Можете попробовать zpaq, он вам дедуплицирует одинаковых котиков (единственный из архиваторов, который объединяет одинаковые файлы), но процессорное время не бесплатно, а диски то бездонные и стоят 20 баксов за терабайт качественного сторейжа в рознице. По-моему диски категории "олин раз записать и больше не трогать" вроде вдред раза в 2 дешевле были. Но каждые 5 лет диски в 4 раза увеличиваются в размере за те же деньги. Вроде то же самое и с плёнкой, только она впереди и оборудование недоступно обывателю.
"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено Сцукенберг , 03-Авг-20 09:12 
> Котики gzip сжимаются до одного котика.

reduce'ятся же! ;-)

А ты думал, зачем нам hadoop?


"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено анон , 03-Авг-20 16:43 
zfs умеет в dedup на лету. Но это, конечно, не бесплатно.
"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено онанизмус , 04-Авг-20 01:01 
>А дальше назад ты ленту и не крути. А не то!

Не рекомендую на новом аккаунте крутить чужие ленты, кстати.

"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено товарищ майор , 05-Авг-20 11:35 
> Кому нужны котики трехмесячной давности?

Все котики хранятся не менее 6 месяцев, мы за этим следим.

"Релиз платформы для распределённой обработки данных Apache H..."
Отправлено товарищ майор , 05-Авг-20 11:36 
> Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.

Все котики хранятся не менее 6 месяцев, мы за этим следим. Даже те котики, которых, как вам кажется, вы удалили.