Разработчики сервиса Twitter заявили (http://engineering.twitter.com/2011/08/storm-is-coming-more-... о решении открыть исходные тексты системы Storm, используемой для анализа больших потоков данных. Код планируется открыть 19 сентября во время проведения конференции Strange Loop. Задержка с открытием кода объясняется необходимостью приведения в порядок документации и подготовке серии руководств для быстрого внедрения системы.
Storm представляет собой распределенную и отказоустойчивую систему обработки неструктурированных постоянно обновляемых потоков данных (обработка сложных событий - Complex Event Processing (http://en.wikipedia.org/wiki/Complex_Event_Processing)). Функциональность Storm сравнивается с платформой Hadoop, при этом ключевым отличием является то, что данные обрабатываются в реальном режиме времени. В качестве примера использования Storm приводится анализ непрерывных потоков данных, таких как миллионы лент в Twitter.В отличие от традицион...
URL: http://engineering.twitter.com/2011/08/storm-is-coming-more-...
Новость: http://www.opennet.me/opennews/art.shtml?num=31414
> ZeroMQЭрлангисты в пролёте.
чем в пролёте?
Собственно, если у них реальное время, параллельная обработка в кластере, Closure (т.е. функциональный язык), ZeroMQ и автоматическое обновление кода - то действительно остаётся только удивляться, почему не Erlang - это для него просто классические условия из учебника.
> Собственно, если у них реальное время, параллельная обработка в кластере, Closure (т.е.
> функциональный язык), ZeroMQ и автоматическое обновление кода - то действительно остаётся
> только удивляться, почему не Erlang - это для него просто классические
> условия из учебника.BTW интересно кому пообщаться с разработчиками Erlang? Около осенней конференции OSDN (октябрь, Киев) может получиться, если вдруг многим.
мне интересно было бы
> мне интересно было быОбщаемся с коллегами, надеюсь скоро уж анонсировать конференцию.
Мужики из Erlang Solutions сделают два доклада 1 октября на конференции OSDN:
http://conference.osdn.org.ua/ru/report/list/
и проведут бесплатный четырёхчасовой ознакомительный семинар на следующий день:
http://conference.osdn.org.ua/ru/about/
вся прелесть эрлангистов в том что и рас плюнуть написать библиотечкупс: зря вы недооцениваете эрланг
Что-то не могу отгуглить какой мат.бэкграунд использовался. Верифицировали ли на предмет отсутствия гонок и дедлоков?