Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Релиз платформы для распределённой обработки данных Apache Hadoop 3.3"	+/–
Сообщение от opennews (ok), 02-Авг-20, 12:12
После полутора лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных... Подробнее: https://www.opennet.me/opennews/art.shtml?num=53476
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от A.Stahl (ok), 02-Авг-20, 12:12	+7 +/–
Пятиминутка древних поговорок: Распределяй и обрабатывай. Хранилище хранилищу резерв. Все данные ношу с собой. Ну и конечно же: у семи админов база без пароля.
Ответить | Правка | Наверх | Cообщить модератору

2. Сообщение от YetAnotherOnanym (ok), 02-Авг-20, 12:26	+5 +/–
> хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день Не знал, что возраст Фейсбука - два с половиной месяца.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #4

3. Сообщение от Аноним (3), 02-Авг-20, 18:43	+/–
А зачем ему хранить больше сырых сообщений? Если надо, можно сделать аггрегаты и хранить только их.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

4. Сообщение от Сцукенберг (?), 02-Авг-20, 18:48	–1 +/–
> Не знал, что возраст Фейсбука - два с половиной месяца. А дальше назад ты ленту и не крути. А не то! P.S. нормальные люди, между прочим, и не крутят. Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #5, #9, #10, #11

5. Сообщение от Аноним (5), 02-Авг-20, 19:03	–1 +/–
Котики gzip сжимаются до одного котика.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #6, #7, #8

6. Сообщение от Аноним (6), 03-Авг-20, 04:39	+/–
Котики совсем не сжимаются, тем более gzip. Можете попробовать zpaq, он вам дедуплицирует одинаковых котиков (единственный из архиваторов, который объединяет одинаковые файлы), но процессорное время не бесплатно, а диски то бездонные и стоят 20 баксов за терабайт качественного сторейжа в рознице. По-моему диски категории "олин раз записать и больше не трогать" вроде вдред раза в 2 дешевле были. Но каждые 5 лет диски в 4 раза увеличиваются в размере за те же деньги. Вроде то же самое и с плёнкой, только она впереди и оборудование недоступно обывателю.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

7. Сообщение от Сцукенберг (?), 03-Авг-20, 09:12	+/–
> Котики gzip сжимаются до одного котика. reduce'ятся же! ;-) А ты думал, зачем нам hadoop?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

8. Сообщение от анон (?), 03-Авг-20, 16:43	+/–
zfs умеет в dedup на лету. Но это, конечно, не бесплатно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

9. Сообщение от онанизмус (?), 04-Авг-20, 01:01	+/–
>А дальше назад ты ленту и не крути. А не то! Не рекомендую на новом аккаунте крутить чужие ленты, кстати.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

10. Сообщение от товарищ майор (?), 05-Авг-20, 11:35	+/–
> Кому нужны котики трехмесячной давности? Все котики хранятся не менее 6 месяцев, мы за этим следим.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

11. Сообщение от товарищ майор (?), 05-Авг-20, 11:36	+/–
> Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того. Все котики хранятся не менее 6 месяцев, мы за этим следим. Даже те котики, которых, как вам кажется, вы удалили.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема