Рекламная сеть AdRoll (https://en.wikipedia.org/wiki/AdRoll) объявила (http://tech.adroll.com/blog/data/2016/05/24/traildb-open-sou... об открытии исходных текстов встраиваемой СУБД TrailDB (http://traildb.io/), ориентированной на эффективное сохранение и обработку данных о наступающих событиях. Основу TrailDB составляет библиотека с реализацией функциональности СУБД, связываемая с приложениями. Для управления предлагается интерактивная оболочка tdb, работающая в режиме командной строки. Код TrailDB написан на языке Си и распространяется (https://github.com/traildb/traildb) под лицензией MIT.Модель хранения данных в TrailDB предоставляет (http://traildb.io/docs/technical_overview/) возможность сохранения в БД произвольного набора групп (trail), к которым привязываются наступающие события. Каждая группа идентифицируется 128-разрядным UUID и включает упорядоченную информацию о последовательности событий и времени их наступления. Каждое событие включает в себя UUID группы, время наступления и предопределённый набор полей (формат схемы полей задаётся заранее). Предоставляются операции слияния разных БД, шардинга и перестроения групп, а также очень быстрые операции с курсором и средства для фильтрации событий (например, "action=page_view AND (page=pricing OR page=about)").
<center><img src="https://www.opennet.me/opennews/pics_base/0_1464163165.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></center>
Из задач, которые легко решаются в TrailDB, но слишком усложнены для реляционных СУБД, отмечается отслеживание цепочек действий и предпочтений пользователя. Например, имеются данные, что пользователь зашёл на сайт, посмотрел страницу о продукте, после чего открыл прайс и спустя час после первого события зарегистрировался в сервисе. При помощи TrailDB не составит труда проанализировать число пользователей, которые зарегистрировались менее, чем за час после первого входа.
<center><a href="http://tech.adroll.com/images/post_images/traildb_breadcrumb... src="https://www.opennet.me/opennews/pics_base/0_1464165064.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
Другие особенности:
- Высокая производительность и надёжность. На одном процессорном ядре могут обрабатываться миллионы событий в секунду. С 2014 года в сети AdRoll при помощи TrailDB сохранено и обработано более 20 триллионов событий. Покрытие автоматизированным тестовым составляет более 90%;- Основные области применения: вычисление метрик (например, интенсивность отказов), анализ моделей использования, визуализация статистики, выявление аномалий, обобщение данных о предпочтениях и прогнозирование поведения пользователя;
- Простой API (http://traildb.io/docs/api/). Наличие (https://github.com/traildb/) биндингов для языков C++, Python, R, D, Go и Haskell;
- Возможность хранения данных в сжатом виде. При этом обеспечена поддержка прямых запросов сжатых данных с распаковыванием только необходимых частей;
URL: http://tech.adroll.com/blog/data/2016/05/24/traildb-open-sou...
Новость: http://www.opennet.me/opennews/art.shtml?num=44487
>Наличие биндингов для языков C++, Python, R, D, Go и Haskell;да, конечно же, вы можете использовать TrailDB в JavaScript: https://github.com/poynt/traildb-node
Набор биндингов тот ещё, конечно
Какие языки использовали с этой БД, такой набор и выложили. Все желающие могут написать биндинг для своего любимого языка. А что именно тебе в этом наборе не нравится?
В смысле - не нравится? Просто довольно забавный набор. Мой любимец D вместе с Haskell - уже занятное сочетание. да и биндинги к R не часто встретишь.
А что, они, небось, кучу статистики по этим событиям делают, вот тебе и R
теперь каждый может следить за всем миром и создавать свои рекламные компании? Кто-то хочет обрушить рынок интернет рекламы?
Искренне Ваш, сторонник теории всемирного заговора
ну а что поделаешь, если эти заговоры никто не скрывает и в каждой версии браузеров добавляют что-то новое и полезное для слежки? Я то тут причём ?
Из описания вакансии Java разработчика для компании Яндекс https://yandex.ru/jobs/vacancies/dev/develop_java
"Присоединившись к нашей команде, вы будете разрабатывать сервисы и приложения для миллионов пользователей. Вы сможете обучать Крипту видеть людей насквозь,"Из описания Крипты на сайте Яндекса Технология Крипта https://yandex.ru/company/technologies/crypta :
Ежедневно рекламу на сервисах Яндекса видят миллионы пользователей. Рекламодатели могут показывать свои предложения только тем из них, на кого они рассчитаны — например, людям определенного возраста или привычек. Для выделения разных аудиторий Яндекс разработал технологию Крипта. Она умеет находить группы пользователей по их поведению в интернете. Главное, чтобы их поведение чем-то отличалось.
Как это работает
Крипта основана на методе машинного обучения Матрикснет. Она учится определять аудиторию, исследуя поведение в интернете её типичных представителей. Для успешного обучения ей нужно проанализировать поведение как минимум 30 тысяч пользователей. Как показывают эксперименты, этого количества уже достаточно для получения надёжного результата.
Типичных представителей группы Яндекс ищет с помощью маркетинговых агентств. Они помогают найти людей с нужными социально-демографическими характеристиками: определенного пола, возраста, с необходимым уровнем дохода и образованием, привычками и интересами. Например, если Крипту нужно научить определять покупателей кормов для животных — таких людей можно найти в ходе опросов."
Прикрутили бы её к Zabbix. А то сейчас одни слёзы - история, тенденции и события в реляционной СУБД.
Для сырых данных больше InfluxDB напрашивается. Ну или — хе-хе — RRD.
> InfluxDB напрашиваетсяоно напрашивается в биореактор после отказа поддерживать по-человечески открытую версию
Насколько я понял, оно вообще не предназначено для постоянного потока событий. Файл базы создается, данные записываются и происходит финализация, после чего он становится read only. А до финализации с ним нельзя ничего делать, кроме как писать туда данные.
