The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных"  +/
Сообщение от opennews (??), 23-Мрт-23, 16:04 
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL хранилища в формате ключ-значение. YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=58850

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 23-Мрт-23, 16:04   +10 +/
Вывод наработок в Израиль похоже идет успешно
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #9, #45

2. Сообщение от Аноним (2), 23-Мрт-23, 16:08   +3 +/
- По этому вопросу вам надо спросить Рабиновича
- Какого?
- Да любого...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

4. Сообщение от Аноним (4), 23-Мрт-23, 16:13   +13 +/
Утечка в сеть 40Гб аркадии, по прошествии месяца теперь называется "яндекс открыл"
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #8, #29, #69

7. Сообщение от 11 (?), 23-Мрт-23, 16:48   +/
Из него можно вытянуть отдельно хранилище?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #46

8. Сообщение от Аноним (9), 23-Мрт-23, 16:49   +/
Да теперь открытое управление инфраструктурой будет не только у я. но и у всех кто зайюзает сабж.  
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #93

9. Сообщение от Аноним (9), 23-Мрт-23, 16:51   +/
Через Голландию?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

20. Сообщение от Аноним (20), 23-Мрт-23, 18:11   +/
Как это связано с похмел-fs ?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #51

24. Сообщение от InuYasha (??), 23-Мрт-23, 18:32   –2 +/
Кто-нибудь вообще будет обсуждать технические подробности или так и будут кричать "яднекс то", "яднекс сё"? Я тоже от них не в восторге, но, однако же, КХ вещь не плохая.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #26, #35

26. Сообщение от Tron is Whistling (?), 23-Мрт-23, 19:06   +2 +/
Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать обойдётся дороже, чем результат.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #34, #48, #70, #89

29. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:18   +7 +/
В утечке вроде этого не было
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

32. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:26   +/
На гитхаб выложили... по идее их должны забанить, ведь яндекс под санкциями
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #60

34. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:32   –1 +/
Тому кто сейчас развернул у себя хадуп?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #47

35. Сообщение от Бывалый Смузихлёб (??), 23-Мрт-23, 19:33   +2 +/
а что там обсуждать ? Слишком жирное, монструозное и специализированное для обычного пользователя и даже для не-совсем-обычного. И, похоже, уже зашквар для яндекса ибо решил сливать.

Ну есть - и есть. Если бы не было - едва ли кому-то в мире с того хуже стало

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

43. Сообщение от . (?), 23-Мрт-23, 21:11   +/
Яндыкс под чужим ником выложил
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

45. Сообщение от пох. (?), 23-Мрт-23, 21:29   +/
> Вывод наработок в Израиль похоже идет успешно

да если бы... в Израиль уехали яндексмобили (ну и янго там всегда был - это яндекстакси в профиль, такая же дрянь как в Грузии и РФ - демпинг, самые отвратительные водятлы, денег им не хватает, пытаются разводить на ровном месте и т д) и еще какой-то вообще загадочной нужности хлам.
Что в целом логично - там в силу климата ЦОД строить себе дороже (и электричество тоже дорогое безумно, и рабы недешевы).

Клячхаус уехал в амстердам.

А это - похоже, осталось в Москве.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

46. Сообщение от пох. (?), 23-Мрт-23, 21:29   –2 +/
> Из него можно вытянуть отдельно хранилище?

Данные яндекс-яды уже кто-то вытянул. Ты тоже можешь попробовать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

47. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:31   +1 +/
Хавдупа по крайней мере гомогенна.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #49

48. Сообщение от пох. (?), 23-Мрт-23, 21:31   +2 +/
> Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то
> кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать
> обойдётся дороже, чем результат.

Как будто ты его вообще сможешь поддерживать? Если уж даже из клячхауса во все стороны свисают нитки и торчат ошметки - то уж этого монстра ты скорее всего даже не запустишь. А запустишь так пожалеешь, потому что навернется и хрен ты свои данные оттуда назад добудешь без помощи яндекса. А он тебе вряд ли будет помогать, не до тебя ему.


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #50

49. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:35   +/
А тут намесили оверлеев - плакать хочется.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

50. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:36   +1 +/
Абсолютно фак'т.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

51. Сообщение от koct9i (ok), 23-Мрт-23, 21:49   +/
никак, только тем что оба из яндекса
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

60. Сообщение от погроммист (?), 24-Мрт-23, 00:49   +/
Не Яндекс под санкциями, а директор(а) яндекса.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #65

62. Сообщение от погроммист (?), 24-Мрт-23, 01:09   +/
Работал с ней в 2016-2018 внутри Яндекса. Уже тогда это была продуманная до мелочей система, которой пользуются почти все отделы как единой ФС для данных всей компании. Тысячи человек и роботов ежедневно запускали джобы поверх тысяч нод *единого* кластера на все отделы, и очень редко когда он уходил в даунтайм. Очень продуманная система ACL и квотирования ресурсов, бесконечная масштабируемость, и всё умещается в пару статических бинарников на C++ без всяких maven джунглей.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #64, #66, #83, #91

64. Сообщение от ivan_erohin (?), 24-Мрт-23, 07:10   –1 +/
> которой пользуются [...] как единой ФС для данных всей компании.

сценарий:

одна маленькая дырка в единой ФС
+
один злонамеренный инсайдер-погромист
=
все данные всей компании улетают на. или в.

> почти все отделы

а, ну тогда пускай будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

65. Сообщение от Аноним (65), 24-Мрт-23, 08:16   +/
а зря. они директоров на следующий день после введения против него санкций меняют
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #72

66. Сообщение от Аноним (65), 24-Мрт-23, 08:19   +/
>  единой ФС для данных всей компании

а, так это фс для файлопомойки. а в новости что-то про бигдату

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #73

69. Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:21   +1 +/
И правильно сделали. Код всё равно утёк, коммерческой тайной его не прикрыть. А так хоть от СПО-сообщества обратную связь получить можно будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

70. Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:23   +/
Ну Якитория, например, использует. С админкой спокойно справляется 3 человека (с учётом отпусков и почти круглосуточной поддержки).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #76, #78

72. Сообщение от Аноним (72), 24-Мрт-23, 11:13   +/
Как ты Воложа поменяешь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65 Ответы: #74

73. Сообщение от пох. (?), 24-Мрт-23, 11:24   +4 +/
они там мамой клянутся что универсальная - хошь помойку, хошь бигдату (как будто это не помойка), а хошь данные кредитных карт и адреса доставки яды. Ой... уплыла. Ну и фиг с ней - яндекс-то ни копейки на этом не потерял.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66

74. Сообщение от пох. (?), 24-Мрт-23, 11:27   +2 +/
Так уже жеж. Официально объявлено что Волож - непричемыш и вообще где-то только рядом стоял а руль - нини, не трогал.

И официальной должности не имеет, совсем никакой, вообще.
https://www.rbc.ru/business/03/06/2022/629a0db89a79472e9e52e0e4
(да, я понимаю что это юмористический сайт, но никаких других в нынешнее время у меня для вас нет)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72

76. Сообщение от пох. (?), 24-Мрт-23, 11:58   +1 +/
Само-то оно - не стоит, чтоль?

Отдельный вопрос - зачем этот монстр якитории и откуда у нее суперкомпьютеры.

И как эти три землекопа ухитрились без помощи яндекса всю эту монстрятину взгромоздить и перенести в нее какие-то (какие, кроме оплаты разьве что) бизнес-процессы?

И главное - откуда среди поварят взялись целых три таких гения?

(ну и еще на закусочку - а откуда у них код проекта который неделю как на гитхаб выложен?)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70 Ответы: #86

77. Сообщение от Big Robert TheTables (?), 24-Мрт-23, 17:05   +/
да это просто бомба, если работает, как описано.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #88

78. Сообщение от Tron is Whistling (?), 24-Мрт-23, 21:38   +1 +/
У меня два стандартных вопроса: как и нафига.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

79. Сообщение от Илья (??), 24-Мрт-23, 21:45   +/
Зачем на гитхаб?
Ответить | Правка | Наверх | Cообщить модератору

83. Сообщение от all_glory_to_the_hypnotoad (ok), 26-Мрт-23, 03:41   +/
Это же мягко говоря не правда. В тот период ыть не умела быть единой ФС для всех, каждому отделу поднимали свои инстансы. Ну и это далеко не единственный инструмент внутри Я чтобы что-то похранить и обработать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #87

86. Сообщение от Товарищ майор (ok), 27-Мрт-23, 09:26   –1 +/
Вы определитесь, для этого нужны 3 гения или оно само стоять должно ))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76

87. Сообщение от пох. (?), 27-Мрт-23, 10:29   +/
Вы бы лучше поделились информацией, как оно вообще было в работе и чего стоили те даунтаймы которые "редко" по мнению предыдущего эхсперта. Как чинилось, во что выливалось...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83

88. Сообщение от пох. (?), 27-Мрт-23, 10:30   +/
В смысле уж рванет так рванет?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #77

89. Сообщение от Аноним (89), 27-Мрт-23, 13:28   +/
Тому, у кого в хадупе больше 500 машин, и, поэтому, приходится из распределять по нескольким кластерам
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #90

90. Сообщение от Tron is Whistling (?), 27-Мрт-23, 17:17   +1 +/
Ну я и говорю - кроме яндеха наверное никому...
Потому что сами понимаете, за пределами - не надо, а внутри такие кластеры найти надо постараться.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89

91. Сообщение от Аноним (91), 28-Мрт-23, 07:24   +/
"хранения и обработки данных десятков тысяч пользователей" - прям настоящая бигдата, целые десятки тысяч.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

92. Сообщение от Sergemail (??), 29-Мрт-23, 16:23   +/
Знакомый сценарий:

1. Дуров вышел из вконтакта;
2. Утечка кода из ВК;
3. Новый, невиданный Телеграм;

1. Волож вышел из Я;
2. Утечка кода из Я;
3. Новый, невиданный <.что?.>;

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #94

93. Сообщение от Аноним (93), 31-Мрт-23, 14:47   +/
Какому дураку придет в голову строить свою экосистему на базе продукта конкурента?
Только одбитому...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

94. Сообщение от пох. (?), 31-Мрт-23, 23:14   +/
ничего, увы. Волож потому и держался до последнего за яндекс, что прекрасно знает - второго он уже не создаст. Просто потому что это можно было только тогда сделать даже при особом везении и кое-каких талантах.

Ну, в конце-концов, особо ему не посочувствуешь - с голоду пухнуть явно не планирует, на остаток жизни поиграться с разумными автомобильчиками и неразумными таксистами ему вполне хватит, не смотря на все санкции, и гражданство хорошей страны никуда не денется.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру