Исследовательское подразделение компании Microsoft опубликовало новое открытое хранилище FASTER (https://www.microsoft.com/en-us/research/project/FASTER/), манипулирующее данными в формате ключ/значение и ориентированное на обеспечение распараллеливания обработки запросов и очень высокой скорости выборки в условиях большой интенсивности обновления данных. Хранилище оформлено в виде встраиваемой библиотеки, доступной в вариантах для языков C++ и C#, и распространяемой (https://github.com/Microsoft/FASTER) под лицензией MIT.FASTER поддерживает как хранение данных только в памяти, так и создание хранилищ, превышающих по размеру имеющееся ОЗУ и дополнительно привлекающих внешние накопители. При размещении в ОЗУ обеспечивается производительность на уровне 160 млн операций в секунду, что превышает производительность конкурирующих решений, таких как kyoto cabinet, LevelDB и RocksDB. Для обеспечения целостности предоставляется специально разработанная в Microsoft Research новая схема восстановления записей, которая отличается от других решений более высокой производительностью, ценой незначительного повышения задержек при выполнении коммитов.
БД отлично адаптирована для применений, активность в которых сосредоточена на сочетании операций чтения, изменения и перезаписи данных в БД. Для достижения высокой интенсивности операций обновления и экономии памяти в FASTER используется архитектура на основе гибридного лога записей (HybridLog), который комбинирует структуру в виде хэша, допускающую замену существующих записей в оперативной памяти, с организацией хранения на диске в форме только дополняемого лога. Особенностью HybridLog также является осуществление буферизации и хранения на уровне отдельных записей, а не страниц фиксированного размера.
URL: https://news.ycombinator.com/item?id=17785002
Новость: https://www.opennet.me/opennews/art.shtml?num=49154
Майкрософт няша? :)
Вот что бывший SUNовец у руля делает 👍🏿
Шо, микрософт откроет код всего и загнётся? Это было бы очень круто.
> Майкрософт няша? :)"Microsoft Research"
это не тот майкрософт, это как бы нии майкрософта
Да, вера и религия - совершенно разные вещи.
Как всегда майкрософт открывает что-то под лицензией, более свободной, чем ГПЛ, но они всё равно виноваты. Это в комментариях так. «Л» — логика.
Свобода украсть — это святое.
>Свобода украсть — это святое.Плюс миллион! Почему-то среди линуксоидов распространено мнение, что украсть что-то у MS - доблестно, они же плохие. Если бы это хранилище слили из MS и выложили на торренте незаконно, было бы ликование. А так бесплатно, неинтересно, нельзя украсть и почувствовать, что на@#$ал мегакорпорацию.
Ты всё перевернул. Анонимно имел ввиду эту свободу красть для корпорашек. Потому они так любят пермессив.
> Почему-то среди линуксоидов распространено мнение, что украсть что-то у MS - доблестно, они же плохие.Боюсь, это только среди воображаемых вами линуксоидов распространено такое мнение.
Что можно украсть у микрософт? Осталую ОСь? Глючные неповоротливые решения? NIH поделки?
Сейчас, как в одном мультфильме "нам вашего и даром не нать, и с деньгами не нать".
В продвинутом Debian мой 4к монитор определился, но выше 800 х 600 установить не дал. Моё имхо: Линукс отстаёт от современности лет на 10. А в удобстве на все 30. До сих пор консоль ваше всё и кривой гуй. Ярлык программы отправить на рабочий стол в Убунту без гугла - это как кубик-рубик собрать. Ставишь в Наутилус открывать папки одним кликом, в окнах открытия/сохранения всё равно два клика. В mc надо два раза esc нажимать чтобы выйти из просмотра файла - понятно откуда ноги растут. Странно что запуск команд по одному нажатию enter.
> В продвинутом Debian мой 4к монитор определился, но выше 800 х 600 установить не дал.И чем он угрожал? Или просто удерживал?
> Моё имхо: Линукс отстаёт от современности лет на 10. А в удобстве на все 30. До сих пор консоль
Ценнейшее мнение, да. Скорее всего, у производителя монитора кривой EDID, но виноват дебиян.
Открой для себя Арч+Плазма;)... Никогда "фича" МС в виде двойного нажатия не мешала и не раздражала - даже удобно, когда ты нечаянно нажал кнопку - при чтении какого-либо текста уже не сначала и не в конце...
Какие именно решения исторически были украдены у M$?Эппловская мышь?
Эпловский графический интерфейс?
Интерфейс "семерочки", слизанный с KDE?
.NET - ответ на JDK с вендорской привязкой?А может win32 кто-то использует, кроме портирования видеоигр?
украсть невозможно с момента введения михалковского 1%
>украсть невозможно с момента введения михалковского 1%Шикарный аргумент. "Я ворую, потому что плачу 1% налогов! Имею право, йопть!".
Это не налог а целевой сбор, про цели можете прочитать сами :)
Целевой сбор в пользу собирающих ;)
>Это не налог а целевой сбор, про цели можете прочитать сами :)Ладно, буквоед:
Шикарный аргумент. "Я ворую, потому что плачу 1% целевого сбора! Имею право, йопть! "Они" тоже воруют!".
Не "тоже воруют", а взяли грех на себя.
ЯННП
Я не ворую, потому что оплачено. Теперь не я вор.
>Я не ворую, потому что оплачено. Теперь не я вор.Серьёзно? Ты заплатил на 1% больше средней рыночной стоимости болванки и теперь решил, что можешь воровать всё, что записано на другие диски? Просто жесть, "я купил замок, поэтому теперь имею право красть всё, что захочу".
Именно такова логика этого побора.
Не, такой логики там нет.
Именно такая и есть
> Именно такая и естьНу ты значит выдумщик и фантазёр. Бывает
ЗЫ: причём я вот уверен, что ты его и не читал
1. не только болванки, но и всех HDD и прочей электроники (даже где нет ничего михалковского)2. не я пишу законы, моё несогласие с этой говносистемой не влияет на факт оплаты
>>Я не ворую, потому что оплачено. Теперь не я вор.
> Серьёзно? Ты заплатил на 1% больше средней рыночной стоимости болванки и теперьВ вашей вселенной терабайтные HDD стоят (от) 2000$, флешки от 200$, болванки 20$, блюрей 300$? Сочувствую.
А если я харды исключительно под бэкапы использую, мне вернут 10$ с каждого внешнего диска и 20$ с сетевого?
Копирование - не воровство
Копирование до покупки - другая статья.Копирование после покупки - разрешено владельцем, а не михалковым.
Так, JFYI, Cвобода - абсолютное понятие и включает в себя и возможность украсть тоже.
> Свобода украсть — это святое.Как бомбит, а? Неужели вас корёжит от того, что кто-то может быть более свободен, чем вы?
>> Свобода украсть
>вас корёжит от того, что кто-то может быть
> более свободен, чем вы?Пока нет. Но ты можешь добить нас и присовокупить к своей винде камингаут по мальчикам, животным, растениям и ... домашним электоприборам.
Ты то ж "свободен", да? И с таки счастьнм -- ещё на свободе...
Все подробности -- лично-письменно в отделение полиции по месту жительства. Не оганичвай _себя_[I]!
> Как бомбит, а? Неужели вас корёжит от того, что кто-то может быть
> более свободен, чем вы?Свободы грабить, убивать и брать в рабство далеко не всегда находят понимание у тех на чью голову результат сваливается. Поэтому свободному головорезу при случае могут и напихать, если возможность подворачивается, уж извини.
Ну так форкни по GPL и развивай
> Ну так форкни по GPL и развивайGPL в отличиет от михалковсого благословенного сбора печать диавола не снимат.
> Как всегда майкрософт открывает что-то под лицензией, более свободной, чем ГПЛВозникает резонный вопрос: зачем бы корпорации с таким почетным послужным списком нужна свобода зажимать мои яйцы? :)
Вижу целых два варианта:
1) Можно заманить побольше лохов, держа всех разработчиков у себя а потом перекрыть кислород и начать дойку.
2) Можно использовать посторонних как бесплатную рабочую силу, они напишут код, MS закроет и зажмет, а на мысли о том что это не спортивно и все такое последует ответ в стиле AT&T vs BSD.
Нет, Майкрософт х**няша.
Я тоже сомневаюсь, что они когда-нибудь отмоются. Но надо отдать должное они очень страются. В любом случае даже, если под давлением сообщества мс немного либерализируется, то конечному пользователю будет только лучше. А вот будет ему лучше, если ее полностью похоронят, ответить затрудняюсь. А вы что думаете?P.S. На мой взгляд намного хуже ситуация обстоит с открытым железом.
Отмоются от чего? Или создавать что-либо за свои деньги и не давать всем пользоваться этим на халяву - жуткий грех?
> Отмоются от чего? Или создавать что-либо за свои деньги и не давать
> всем пользоваться этим на халяву - жуткий грех?Нет. Их грехи http://en.windows7sins.org/ страшнее, чем ваше наивное "просто-просто MS-EULA":
1. Poisoning education
2. Invading privacy
3. Monopoly behavior
4. Lock-in
5. Abusing standards
6. Enforcing DRM
7. Threatening user security
--- More at FSF.org: https://duckduckgo.com/?q=windows-10+site:fsf.org&t=ffab&ia=web
Какой полезный список!
Очень аккуратно сведено, спасибо за ссылку!
> Какой полезный список!
> Очень аккуратно сведено, спасибо за ссылку!Все спасибы - FSF, https://www.fsf.org/campaigns/
Кстати, по ссылкам там в подвале, есть русский перевод =[B]http://ru.windows7sins.org/[/B]
Сильный список.
>Но надо отдать должное они
> очень страются.Нет. Это не http://www.opennet.me/openforum/vsluhforumID3/114878.html#71 то. Это просто
* http://www.opennet.me/openforum/vsluhforumID3/108383.html#88
* http://www.opennet.me/openforum/vsluhforumID3/104784.html#26
* http://www.opennet.me/openforum/vsluhforumID3/105391.html#15
* http://www.opennet.me/openforum/vsluhforumID3/105876.html#129
* http://www.opennet.me/openforum/vsluhforumID3/107082.html#50
* http://www.opennet.me/openforum/vsluhforumID3/108228.html#25
* http://www.opennet.me/openforum/vsluhforumID3/110465.html#456
* http://www.opennet.me/openforum/vsluhforumID3/111315.html#53
* http://www.opennet.me/openforum/vsluhforumID3/108387.html#13
* http://www.opennet.me/openforum/vsluhforumID3/111247.html#46
* http://www.opennet.me/openforum/vsluhforumID3/112531.html#26
* http://www.opennet.me/openforum/vsluhforumID3/112669.html#10
* http://www.opennet.me/openforum/vsluhforumID3/114043.html#150
* http://www.opennet.me/openforum/vsluhforumID3/111057.html#137
* http://www.opennet.me/openforum/vsluhforumID3/111857.html#109
* http://www.opennet.me/openforum/vsluhforumID3/111937.html#20
рекламаркетинг и токсические выбросы. Независимо от ниичаво ли, сам гейц ли.#покаются-отсидят #микрософт-врёт
> В любом случае даже, если под давлением сообщества мс
> ему лучше, если ее полностью похоронят, ответить затрудняюсь. А вы что
> думаете?
> P.S. На мой взгляд намного хуже ситуация обстоит с открытым железом.
Майкрософт - ложка дегтя в бочке меда.
> Майкрософт няша? :)С приставкой гов.
> При размещении в ОЗУ обеспечивается производительность на уровне 160 млн операций в секунду, что превышает производительность конкурирующих решений, таких как kyoto cabinet, LevelDB и RocksDB.Так ведь все ниже перечисленные на диске хранят
> ниже перечисленныеВыше перечисленные
Да ты одаренный, однако...
"промтом переводили!" (c)на самом деле в оригинале написано, что оно быстрее этих "всех" в том случае, если working set целиком помещается (не хранится, хранится он на диске, как и положено) в память.
что как бы подразумевает и область применения.
Если прочитать pdf, то станет понятно, что оно быстрее всех и тогда, когда данные в память не помещаются. Просто уже не 160Mops, а всего лишь пара миллионов.Однако, они поддерживают только point операции: get(key), set(key, val), update(key, ops).
Нет Range операций, нет транзакций.
Кроме того, ориентированность "естественную" запись, когда есть горячий сет, и он же является горячим и на чтение. Про кеширование чтения на всём объёме данных ни чего не сказано. Подозреваю, оно "реализованно" средствами файлового кэша операционной системы.Даже с учётом озвученных ограничений, у него масса возможных применений. А главное,это отличный пример нестандартной архитектуры, новых паттернов, которые уже можно будет приспосабливать под другие нужды.
>> Просто уже не 160Mops, а всего лишь пара миллионов.- Благословение от MS повышает IOPS железа на 10% и не расходует ману интеллекта.
зачем это нужно когда есть редис
Redis не обладает такой производительностью как 160 млн. операций в секунду на одну ноду.
зачем это нужно когда есть tarantool?
Tarantool (при всём моём к нему уважении) тоже не может более 1Mops. (Мало того, на самом деле тарантул не быстрее редиса. Но и не медленнее. При этом фич больше.)
Редис в виде локального хранилища? Хм, помнится, KDE за несчастный мускуль заклевали...А вот тот же LevelDB используется в биткоин-нодах, если эта штука заметно быстрее - может и пригодиться.
задачи другие - обратите внимание, что сравнивалось вовсе не с redis а с rocks.хотя я что-то сомневаюсь, что redis может 160млн/s, даже если наплевать на персистентность.
> задачи другие - обратите внимание, что сравнивалось вовсе не с redis а
> с rocks.
> хотя я что-то сомневаюсь, что redis может 160млн/s, даже если наплевать на
> персистентность.Это да. Это точно.
На такое наглое рекламное враньё у них специально обученных и оплаченных человеков не хватат.
Слабаки[I]!
Ну редис далеко не лидер по скорости, чтобы задавать такой вопрос. Для приложения на java инфиниспэн или даже родной hashmap в разы быстрее. Так же и тут для дотнетчины предложенная штука будет быстрее.
> Для приложения на java инфиниспэн или даже родной hashmap в разы быстрееWhat? Infinispan в 2018 году, когда уже появились различные Apache Ignite и Hazelcast? Ну, если мы о распределенных решениях говорим, конечно.
> What? Infinispan в 2018 году, когда уже появились различные Apache Ignite и Hazelcast? Ну, если мы о распределенных решениях говорим, конечно.What? Apache Ignite (Gridgain) и Hazelcast в 2018 году? когда есть Redisson (IMDG на Redis) который не глючит как кластеры на Ignite и Hazelcast...
Ну это же решения кардинально разных весовых категорий. На Redis(son) уже появились распределенные вычисления? А WAN-репликация (между ЦОД-ами, например, как в Hazelcast) там есть? Интеграция с внешними БД (например, Greenplum умеет подключать Ignite и Hadoop как внешние партиции в своих таблицах)? Нормальная дисковая подсистема? Распределенный SQL (как в Ignite)? Или библиотеки потоковой обработки (как в Hazelcast)?Если мы говорим про Java, на него можно удаленно разлить Java-код и выполнить поверх данных, чтобы не гонять терабайты по сети?
Круто, что Вы это всё знаете. А что реально используете?
> Круто, что Вы это всё знаете. А что реально используете?Да — в прошлой компании был Hazelcast, в текущей — Ignite.
>> Круто, что Вы это всё знаете. А что реально используете?
> Да — в прошлой компании был Hazelcast, в текущей — Ignite.А, ну и из фич — на Hazel был более лайтовый кейс (но, например, из более интересного удаленные вычисления применялись для пересчета коллекций сложных объектов), а в Ignite приходится сталкиваться практически со всем набором функций.
Сценарии применения просто разные бывают. Redis(son) по практике обычно себя хорошо на небольших кейсах показывает, но он очень низкоуровневый, и когда кейсы вырастают до масштабов Enterprise, становится дорого его допиливать и поддерживать собственные напилы, справляться с их специфичными багами (потому что свои разработчики, если ты не Google, скорее всего, понимают в разработке распределенных систем меньше, чем разработчики тех же Ignite, Hazel, Coherence и т.д., которые большую часть карьеры этим занимаются).
С их консистентностью (отсутствующей) все эти фичи наx не нужны
> С их консистентностью (отсутствующей) все эти фичи наx не нужныА в чем отсутствующая консистентность? Их настроить правильно нужно, что непросто (требует понимания технологии), но можно, что подтверждают use case-ы в банках (в России — например, Сбербанк у Ignite, НСПК у Hazelcast). А баги есть у всех.
Redis по скорости как раз делает infinispan
Зачем на огороде морковка, когда уже растет редиска?
Чтобы сравнить это с Redis.
Время идет, а на опеннете так и не различают майкрософт и майкрософт ресич.
Второе - исследовательское подразделение первого. Единственное различие ИМХО в том, что наработки MS Research далеко не всегда входят в конечные коммерческие продукты, если вообще чем-то путным заканчиваются.
Сильно ли сын отличается от отца? В генетическом плане - не очень.
> Сильно ли сын отличается от отца? В генетическом плане - не очень.А есть только генотип? А фенотип? Уникальный личный опыт? Дочерние компании создают в том числе (но далеко не только) чтобы выделить специальную культуру, более подходящую для определенных задач. Как, например, в неповоротливом Альфа-Банке долгое время была Agile-часть Альфа-Лабс с совсем другим подходом к задачам.
Ничего себе не очень. Плохая аналогия.
Скорее всего, он имел в виду - что большая часть ДНК всех людей совпадает. Все мы братья и сестры...
>большая часть ДНК всех
> людей совпадает. Все мы братья и сестры...Хорошо, что Микрософт -- не человек[I]!
Да ладно https://www.youtube.com/watch?v=Mhllo1xQer8
В рекламе есть такой приём: рекламируемый товар показывают рядом с чем-то дорогим и престижным - бриллиантом там, слитком золота и т.п. - чтобы создать ассоциацию. Здесь, похоже, тот же приём пытались использовать - Джаву рекламируют, упоминая open source. Хаха. Полностью свободную реализацию Джавы сделали что ли уже?
>open source
>Хаха.
>Полностью свободнуюСлова путаешь.
> что ли уже?
Столман же предупреждал. Сам же себя и запутал, сам же и хохотнул.
По-моему, ты путаешь. Чё сказать-то хотел?
Ключевое слово "Столман предупреждал" не навело на мыслительную деятельность?>>>open source
>>>Хаха.
>>>Полностью свободную
>>Слова путаешь.
>>Столман же предупреждал. Сам же себя и запутал, сам же и хохотнул..
> По-моему, ты путаешь. Чё сказать-то хотел?По-прежнему настаиваешь на том, что "open source" и "Полностью свободную" это не разные слова?
Но хихикаешь, обнаружив, что где-то что-то не так, как тебе показалось?
Столман предупреждал же:
https://www.gnu.org/philosophy/open-source-misses-the-point....Так понятнее, что я хотел-сказал? Рас-рас, праверка!
> По-моему, ты путаешь. Чё сказать-то хотел?Впорчем, да, реклама, противопоставление, читать тред и проч.
Не "полностью свободный" этот их "opensource", говорите? Ну, да, но тем не менее именно таков он, опенсорс от оракло-микрософтов. Это "их" опенсорс. Вон, смотри, наверху же.
Таков даже дот-нет, местами-временами... , но авторы той видео-муры делают вид, что ярлыки можно клеить-красить, как угодно, и они не теряют при этом смысла.
И да, Столман предупреждал... А, я это уже говорил?
Хорошо тебе разговаривать с самим собой, наверное. Приятного времяпрепровождения! :)
> Время идет, а на опеннете так и не различают майкрософт и майкрософт
> ресич.Печать зверя одна.
А то, что они купили себе каких-то "академиков", что те продались, не повод тянуть в рот.... всякое.
Или бесполезная дрянь или какой-нибудь подвох в духе VS Code когда объявлено, что free&opensource, а по факту обман: To learn why Visual Studio Code, the product, has a different license than vscode, the open source GitHub repository, see issue #60 for a detailed explanation https://github.com/Microsoft/vscode/issues/60#issuecomment-1....
Вторая попытка (первая была умодерирована вместе с ответом):
Ну открыли майки какую-то свою либу. Рсли MS Research, то, скорее всего, даже ещё необкатанную, но "многообещающую". Открыли и роскомнадзор с ними, что ж так переживать-то?
Плюс, что это за единица измерения "сервер"? Кластер из ТОП-500 подходит или нет?
Тоже вспомнил похороникс с их "лабораторным тестированием".
Меня одного интересует, почему это не "мини-новость"?
> Меня одного интересует, почему это не "мини-новость"?Да. Все остальные уже даже не интересуются, где-когда тут будут микро-софт-оракел-финджан-новости.
чем оно лучше sophia?
> чем оно лучше sophia?Тем, что говорит Миру -- Микрософт нитармазит[I]!
Чем оно лучше https://github.com/Restream/reindexer ?
Оно настоящими профессионалами сделано, а не обкуренными студентами!
Вещь фирменная, сказал бы спасибо что дали, а то так бы и пользовался кустаршиной.
> Оно настоящими профессионалами сделано, а не обкуренными студентами!
> Вещь фирменная, сказал бы спасибо что дали, а то так бы и
> пользовался кустаршиной.Ты застал импортную жевачку, которую жевали всем классом по два месяца, одну? ...или малой иш-шо?
> пользовался кустаршиной.Да вот что-то у MS апдейты отгружаются студенческой кустарщиной. Чего-то профессионалы забуксовали свои же апдейты на свою же профессиональную систему отгружать.
Межпроцессные блокировки поддерживает?
Прими боже чего мне негоже? Всё в лучших традициях копирастеров...
Щас бы в 2018 году переходить на только что выпущеную key-value либу, которая "быстрее конкурентов, при соблюдении некоторых условий".Дока там зачетная.
Страничка на сайте MS ведет на гитхаб.
Страничка на гитхабе ведет на MS.
Хотя постойте, на сайте MS есть дока... в формате pdf ( ͡° ͜ʖ ͡°).Кстати, им бы рассказать про Tarantool.
Это бы сравнить с Тарантул
Код редактора реестра?
> Код редактора реестра?" -- 17, Петька. " //https://duckduckgo.com/?q=%D0%B0%D0%BD&#...