forum.opennet.ru - "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов" (61)

"Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов"	+/–
Сообщение от opennews (??), 18-Фев-24, 12:54
Представлен выпуск СУБД DuckDB 0.10.0, сочетающей такие свойства SQLite, как компактность, возможность подключения в форме встраиваемой библиотеки, хранение БД в одном файле и удобный CLI-интерфейс, со средствами и оптимизациями для выполнения аналитических запросов, охватывающих значительную часть хранимых данных, например, выполняющих агрегирование всего содержимого таблиц или слияние нескольких больших таблиц. Код проекта распространяется под лицензией MIT. Разработка пока находится на стадии формирования экспериментальных выпусков, так как формат хранилища пока не стабилизирован и меняется от версии к версии... Подробнее: https://www.opennet.me/opennews/art.shtml?num=60621
Ответить \| Правка \| Cообщить модератору

Оглавление

Разработчики из поисковика DuckDuckGo , Аноним (-), 12:54 , 18-Фев-24, (1) –1

Нет DuckDB is maintained by Dr Mark Raasveldt Prof Dr Hannes M 252 hleis, Аноним (2), 13:17 , 18-Фев-24, (2) +1

Интересно конечно и профессор и доктор сразу , Аноним (7), 14:26 , 18-Фев-24, (7) –3

А для вас докто - это врач, да , ы (?), 17:29 , 18-Фев-24, (22) +3

Да , Аноним (30), 18:36 , 18-Фев-24, (30) +2

Интересно, он сам код писал или припахал студентов за оценки чтобы нагло стыри, Аноним (41), 00:55 , 19-Фев-24, (41) –1

Скрыто модератором, Аноним (-), 15:01 , 19-Фев-24, (51) +1

И зачем это нужно, когда есть clickhouse-local, который 1 умеет примерно все б, михаилка (?), 13:38 , 18-Фев-24, (4) +1

Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо, Аноним (5), 13:49 , 18-Фев-24, (5) +1

Т е не подходит для хранения сотен терабайт данных, как скулайт Вообще, я заме, Аноним (16), 15:52 , 18-Фев-24, (16) +1
кликхаус - это не только БД для хранения гигабайтов данных это еще и инструмент, михаилка (?), 18:25 , 18-Фев-24, (28) +2

Кликхаус проприетарь, сабж нет, Аноним (13), 15:49 , 18-Фев-24, (13) –2

Эмм, кликхаус под apache, сабж под mit, михаилка (?), 18:18 , 18-Фев-24, (26) +1

он умеет все исключительно на бумаге А на деле умеет только сегфолтиться на люб, похъ (?), 17:11 , 18-Фев-24, (19)

ога, конечноа где вы увидели time-value записей и то, и другое - OLAP, михаилка (?), 18:21 , 18-Фев-24, (27)

CH мало чего умеет из списка Это сильно специализированная СУБД, не подходит дл, Аноним (59), 21:33 , 19-Фев-24, (59)

А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб Чтобы, Аноним (6), 14:13 , 18-Фев-24, (6) +1

Нет надежды, для начала пришлось бы переписать её с плюсов на си , Аноним (16), 16:33 , 18-Фев-24, (17) –1

Звездеть 8212 не мешки ворочать Можно , Аноним (55), 18:42 , 19-Фев-24, (55)

Если у плюсов нет аби до сих пор , так о чём можно говорить Замена уже никак , Аноним (16), 18:55 , 19-Фев-24, (56)

libsqlite - это сишная биба, не плюсовая , Аноним (57), 19:14 , 19-Фев-24, (57)

Ты всё правильно понял , Аноним (16), 19:29 , 19-Фев-24, (58)

Что сказать-то хотел, сишник ты наш Любая плюсовая обычная функция может быть э, Аноним (61), 03:18 , 20-Фев-24, (61)

Вот поэтому плюсы не нужны , Аноним (-), 06:28 , 20-Фев-24, (62) –1

Так и не понял в чем уникальное торговое предложение УТП сабжа , Аноним (7), 14:28 , 18-Фев-24, (8)

Встраемавая бд для аналитических запросов, Аноним (13), 15:50 , 18-Фев-24, (14) +1

Какая база данных лучше всего, почему, какую выбрать , Аноним (7), 14:29 , 18-Фев-24, (9) –1

От задачи зависит Универсальных нет Пойми свой workload, потом выбирай , Вы забыли заполнить поле Name (?), 19:53 , 18-Фев-24, (33)
Для тебя 8212 MS Access , Баба Ванга (?), 21:57 , 18-Фев-24, (40)

В Access можно искать семантические циклы, но только до семи вложений Не им, Anonim (??), 11:05 , 21-Фев-24, (64)

текстовый файл, Аноним (44), 08:57 , 19-Фев-24, (44) –1

кто-нибудь может объяснить это как олап кубы это же подготовили в фоне для будущ, penetrator (?), 14:50 , 18-Фев-24, (10)

Ты где-нибудь рабочие olap-системы вживую видел У меня вот в вузе одна такая бы, Аноним (-), 17:45 , 18-Фев-24, (23)

так может это не OLAP а OLTP странная оптимизация под запросы, если он потом в, penetrator (?), 19:27 , 18-Фев-24, (31)
У нас был redshift на aws проекте, было норм как data lake , Аноним (39), 21:39 , 18-Фев-24, (39)
Дак ты сравнил тоже Российские вузы в среднем неплохо обучают фундаменталке, чт, Аноним (39), 05:37 , 19-Фев-24, (42)

В среднем по России образование отсталое И обучают фундаменталке плохо , Аноним (-), 10:06 , 19-Фев-24, (45) +1

Дискретке и алгоритмам обучают нормально, всякие нейросети студенты сами осилят, Аноним (39), 10:24 , 19-Фев-24, (47) +1

Нейросетям обучают офигенно Особенно в ВШЭ, я сам туда как-то планировал поступа, Витюшка (?), 10:48 , 19-Фев-24, (48)

А зачем им это с махрово-платным образованием Чем лучше открытые курсы и лекции, Бывалый Смузихлёб (ok), 11:44 , 19-Фев-24, (49)

Не знаю, но образование ты таким образом не получишь Как минимум нет экзаменов , Витюшка (?), 15:22 , 19-Фев-24, (52)

Это смотря кто и как считаетНекоторые любят рассказывать сказки про американское, Бывалый Смузихлёб (ok), 11:53 , 19-Фев-24, (50)

В твоём сообщении смешаны времена, люди и кони 1 Советское Российское образован, Аноним (-), 18:34 , 19-Фев-24, (54) +1

OLAP кубы - это древняя технология Попытка добавить аналитику в OLTP row-store, Витюшка (?), 08:15 , 19-Фев-24, (43)

Проблема у неё та же, что и у склайт может только в один процесс , Аноним (13), 15:51 , 18-Фев-24, (15) –2

уточняй insert update в один процесс да и то если один закрыл файл-базу, то дру, swarus (ok), 17:20 , 18-Фев-24, (21)

Расскажите им кто-нибудь про XDG Base Directory Specification , Аноним (18), 17:00 , 18-Фев-24, (18) –1

Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил б, Витюшка (?), 19:28 , 18-Фев-24, (32)

Если бы это было так, то директория HOME config была бы пустой , Вы забыли заполнить поле Name (?), 19:54 , 18-Фев-24, (34)

Я не говорю что полностью не используют Но помимо этой директории появляется ку, Витюшка (?), 20:04 , 18-Фев-24, (36)

исправил, Аноним (16), 20:18 , 18-Фев-24, (38)

Скрыто модератором, Аноним (-), 10:09 , 19-Фев-24, (46) –1

Ну то есть кроме идеи самого главного еще и нет даю 95 что не взлетит , голос из леса (?), 17:59 , 18-Фев-24, (24) –1

оно изначально затевалось для работы с чужими данными внезапно - один из формат, похъ (?), 18:06 , 18-Фев-24, (25)

Шикарная передовая база данных Очень интересная Передовые структуры данных и а, Витюшка (?), 18:33 , 18-Фев-24, (29) –1

Можно примеры , Вы забыли заполнить поле Name (?), 19:56 , 18-Фев-24, (35)

Я всё не знаю, но видел их презентации и исследования немного Например Partition, Витюшка (?), 20:12 , 18-Фев-24, (37) +1

Сначала подумал, что кто-то сделал форк с обвесами Смотрю, а вот на гитхабе и в, Аноним (60), 00:31 , 20-Фев-24, (60)
Интересный проект Я вот сейчас пишу на Go свой проект для исследования социальн, nc (ok), 09:23 , 22-Фев-24, (65) –1

https duckdb org docs api go, ibnteo (ok), 00:06 , 06-Мрт-24, (67)

Прочитал доку Вердикт 8212 мусор, написанный в процессе детской игры разраба, Аноним (66), 01:52 , 27-Фев-24, (66)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (-), 18-Фев-24, 12:54 –1 +/–

Разработчики из поисковика DuckDuckGo?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2

2. Сообщение от Аноним (2), 18-Фев-24, 13:17 +1 +/–

Нет. "DuckDB is maintained by Dr. Mark Raasveldt & Prof. Dr. Hannes Mühleisen. DuckDB’s initial development took place at the Database Architectures Group at the Centrum Wiskunde & Informatica (CWI) in Amsterdam, The Netherland"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #7, #41

4. Сообщение от михаилка (?), 18-Фев-24, 13:38 +1 +/–

И зачем это нужно, когда есть clickhouse-local, который 1) умеет примерно все (без шуток) 2) делает это с несравнимо более хорошей производительностью

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #5, #13, #19, #59

5. Сообщение от Аноним (5), 18-Фев-24, 13:49 +1 +/–

...Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо склайта?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #16, #28

6. Сообщение от Аноним (6), 18-Фев-24, 14:13 +1 +/–

А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб? Чтобы в системе просто заменить — и всё её юзало, в том числе все питоньи приложения через обычный import sqlite3, с дополнительными фичами — через SQL-запросы.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17

7. Сообщение от Аноним (7), 18-Фев-24, 14:26 –3 +/–

>Prof. Dr. Hannes Mühleisen.
Интересно конечно и профессор и доктор сразу.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #22

8. Сообщение от Аноним (7), 18-Фев-24, 14:28 +/–

Так и не понял в чем уникальное торговое предложение (УТП) сабжа.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14

9. Сообщение от Аноним (7), 18-Фев-24, 14:29 –1 +/–

Какая база данных лучше всего, почему, какую выбрать?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #33, #40, #44

10. Сообщение от penetrator (?), 18-Фев-24, 14:50 +/–

> DuckDB is a fast in-process analytical database
кто-нибудь может объяснить это как?
олап кубы это же подготовили в фоне для будущего массивного чтения
а что делать если это в пределах моего процесса? т.е. скрыть наличие еще одной базы? и стучаться к локальному файлу? а зачем?
что я не понял?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #23, #43

13. Сообщение от Аноним (13), 18-Фев-24, 15:49 –2 +/–

Кликхаус проприетарь, сабж нет

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #26

14. Сообщение от Аноним (13), 18-Фев-24, 15:50 +1 +/–

Встраемавая бд для аналитических запросов

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

15. Сообщение от Аноним (13), 18-Фев-24, 15:51 –2 +/–

Проблема у неё та же, что и у склайт: может только в один процесс.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #21

16. Сообщение от Аноним (16), 18-Фев-24, 15:52 +1 +/–

Т.е. не подходит для хранения сотен терабайт данных, как скулайт? Вообще, я заметил, что мало кто может конкурировать со скулайтом в этом, в том числе, это касается большинства проприетарных бд.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

17. Сообщение от Аноним (16), 18-Фев-24, 16:33 –1 +/–

Нет надежды, для начала пришлось бы переписать её с плюсов на си.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #55

18. Сообщение от Аноним (18), 18-Фев-24, 17:00 –1 +/–

> Учётные данные сохраняются в файле ~/.duckdb/stored_secrets
Расскажите им кто-нибудь про XDG Base Directory Specification.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #32

19. Сообщение от похъ (?), 18-Фев-24, 17:11 +/–

он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте.
Или просто не работать.
Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #27

21. Сообщение от swarus (ok), 18-Фев-24, 17:20 +/–

уточняй insert update в один процесс (да и то если один закрыл файл-базу, то другой может продолжить), чтение в сколько хочешь

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

22. Сообщение от ы (?), 18-Фев-24, 17:29 +3 +/–

А для вас докто - это врач, да?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #30

23. Сообщение от Аноним (-), 18-Фев-24, 17:45 +/–

>олап кубы это же подготовили
Ты где-нибудь рабочие olap-системы вживую видел? У меня вот в вузе одна такая была, сервер насиловали одновременно 30 человек и было проще стянуть базу и сделать дома, чем насиловать в 30 рыл один сервер за 40 минут, когда запрос проходил за 20. Дома этот запрос на sqlite проходил за пять - никто не насиловал диск в 30 рыл.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #31, #39, #42

24. Сообщение от голос из леса (?), 18-Фев-24, 17:59 –1 +/–

>> формат хранилища пока не стабилизирован и меняется от версии к версии.
Ну то есть кроме идеи самого главного еще и нет. даю 95% что не взлетит.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #25

25. Сообщение от похъ (?), 18-Фев-24, 18:06 +/–

оно изначально затевалось для работы с чужими данными (внезапно - один из форматов - csv) выгружаемыми откуда-то где нельзя трахать сервер аналитикой за полтора квартала. Внутренний формат можно при этом  переделывать для лучшей оптимизации сколько угодно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

26. Сообщение от михаилка (?), 18-Фев-24, 18:18 +1 +/–

Эмм, кликхаус под apache, сабж под mit

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

27. Сообщение от михаилка (?), 18-Фев-24, 18:21 +/–

> он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте.
> Или просто не работать.
ога, конечно
> Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет
а где вы увидели time-value записей? и то, и другое - OLAP

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

28. Сообщение от михаилка (?), 18-Фев-24, 18:25 +2 +/–

кликхаус - это не только БД для хранения гигабайтов данных. это еще и инструмент (который может работать без сервера в clickhouse-local), который позволяет делать сложные запросы читать (да и писать) примерно из любого формата в данных (от файла с CSV до postgresql и parquet на s3) и делать это в общем случае быстрее любых других инструментов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

29. Сообщение от Витюшка (?), 18-Фев-24, 18:33 –1 +/–

Шикарная передовая база данных. Очень интересная. Передовые структуры данных и алгоритмы.
База данных нового поколения.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35

30. Сообщение от Аноним (30), 18-Фев-24, 18:36 +2 +/–

Да.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

31. Сообщение от penetrator (?), 18-Фев-24, 19:27 +/–

так может это не OLAP? а OLTP?
странная оптимизация под запросы, если он потом выполняется 20 минут

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

32. Сообщение от Витюшка (?), 18-Фев-24, 19:28 +/–

Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил базу данных?
Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд.
И сегодня твоя $XDG_DATA_HOME выставлена, а завтра нет (или по дефолту указывает на другую директорию, или просто указывает на другую директорию).
И тютю твоя база данных. Удачи тебе собрать все компоненты теперь (файлы таблиц, файлы индексов, write-ahead log, и ещё кучу всего).
А также удачи упаковать всё в один архив (для бэкапа) и т.п.
Snap и Flatpak тоже так не работают.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #34, #46

33. Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:53 +/–

От задачи зависит. Универсальных нет. Пойми свой workload, потом выбирай.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

34. Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:54 +/–

> Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд.
Если бы это было так, то директория $HOME/.config/ была бы пустой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #36

35. Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:56 +/–

> Передовые структуры данных и алгоритмы.
Можно примеры?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #37

36. Сообщение от Витюшка (?), 18-Фев-24, 20:04 +/–

Я не говорю что полностью не используют. Но помимо этой директории появляется куча своих. Даже у neovim свои директории, у VS Code, у кучи консольных утилит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #38

37. Сообщение от Витюшка (?), 18-Фев-24, 20:12 +1 +/–

Я всё не знаю, но видел их презентации и исследования немного.
Например Partitioned Attributes Across (PAX) формат хранения данных. Такой гибрид row-store и column-store.
В классических column-store базах данных каждая колонка хранится в отдельном файле. И чтобы собрать строчку из 20-30 столбцов, нужно прочитать отдельно все эти 20-30 столбцов.
Многое у них в блоге можно посмотреть. Performance у них очень хороший.
Читал про адаптивные индексы (деталей не помню и не могу сказать имплементировы они или нет).
Но это целая научная группа, эксперты в базах данных. Альтернатив особо нет. У sqlite выигрывает вчистую (column-store позволяет сжимать данные одного типа хорошо, например, там много интересных оптимизаций в отличии от row-store (sqlite), тот же SIMD и т.п.)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

38. Сообщение от Аноним (16), 18-Фев-24, 20:18 +/–

> кучи помойных утилит
исправил

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

39. Сообщение от Аноним (39), 18-Фев-24, 21:39 +/–

У нас был redshift на aws проекте, было норм как data lake

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

40. Сообщение от Баба Ванга (?), 18-Фев-24, 21:57 +/–

Для тебя — MS Access.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #64

41. Сообщение от Аноним (41), 19-Фев-24, 00:55 –1 +/–

Интересно, он сам код писал или припахал студентов "за оценки" чтобы нагло стырить результаты их работы и выдать за своё?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #51

42. Сообщение от Аноним (39), 19-Фев-24, 05:37 +/–

Дак ты сравнил тоже. Российские вузы в среднем неплохо обучают фундаменталке, что не мешает им быть рассадником профнепригодного технического персонала, сроду не имевшего опыта работы в коммерческих IT-компаниях, в силу чего уровень администрирования чего-либо в вузах чудовищно убог.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #45

43. Сообщение от Витюшка (?), 19-Фев-24, 08:15 +/–

OLAP кубы - это древняя технология. Попытка добавить аналитику в OLTP (row-store) базы данных. Нужно заранее их готовить, на конкретные запросы.
Сейчас хотят из коробки иметь аналитические запросы. Для этого и создали OLAP (column-store) базы данных.
Там на индексы пофиг, на транзакции пофиг (в целом). Главное иметь быстрый table scan - сканирование всей таблицы с диска. И читать только несколько колонок (для этого и сделали column-store хранилище).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

44. Сообщение от Аноним (44), 19-Фев-24, 08:57 –1 +/–

текстовый файл

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

45. Сообщение от Аноним (-), 19-Фев-24, 10:06 +1 +/–

>Дак ты сравнил тоже. Российские вузы в среднем неплохо обучают фундаменталке
В среднем по России образование отсталое. И обучают фундаменталке плохо.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #47, #50

46. Сообщение от Аноним (-), 19-Фев-24, 10:09 Скрыто ботом-модератором –1 +/–

>Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил базу данных?
Дурачок здесь ты, причём тёмный и дикий. Это просто стандартизации расположения файлов кеша, конфигураций и пользовательских файлов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

47. Сообщение от Аноним (39), 19-Фев-24, 10:24 +1 +/–

Дискретке и алгоритмам обучают нормально, всякие нейросети студенты сами осилят

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #48

48. Сообщение от Витюшка (?), 19-Фев-24, 10:48 +/–

Нейросетям обучают офигенно.
Особенно в ВШЭ, я сам туда как-то планировал поступать на Machine Learning в магистратуру. Но потом передумал (уже специалист).
В МФТИ скорее всего очень хорошо обучают, в МГУ.
Есть офигенный курс по Deep Learning от НГУ, кажется. Его читал мужчина прямо из Кремниевой Долины (наш, русский).
А так... в каком-нибудь Арканзасском Университете ничерта не обучают нейронкам нормально тоже.
Более того смотрел лекции и слайды от топовых мировых университетов американских. Там там просто ужас и кошмар, разобраться в этом невозможно. В общем зависит от курса к курсу.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #49

49. Сообщение от Бывалый Смузихлёб (ok), 19-Фев-24, 11:44 +/–

> А так... в каком-нибудь Арканзасском Университете ничерта не обучают нейронкам нормально
> тоже.
> Более того смотрел лекции и слайды от топовых мировых университетов американских. Там
> там просто ужас и кошмар, разобраться в этом невозможно. В общем
> зависит от курса к курсу.
А зачем им это с махрово-платным образованием ?
Чем лучше открытые курсы и лекции - тем меньше смысла студенту брать кредит( который не спишут при банкротстве ) и дарить деньги ВУЗу

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #52

50. Сообщение от Бывалый Смузихлёб (ok), 19-Фев-24, 11:53 +/–

> В среднем по России образование отсталое. И обучают фундаменталке плохо.
Это смотря кто и как считает
Некоторые любят рассказывать сказки про американское супер-образование, но, почему-то огромное количество идей и достижений получается за счёт приезжих 1-2 поколения( бСССР / азия )
Тогда как итогом чисто американского образования( 2+ поколение жителей штатов ) является исчезающе-малое количество открытый, наработок и прочего

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #54

51. Сообщение от Аноним (-), 19-Фев-24, 15:01 Скрыто ботом-модератором +1 +/–

Расскажи историю, а кто из русских преподователей так делает? Ты ведь с непроста так написал.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

52. Сообщение от Витюшка (?), 19-Фев-24, 15:22 +/–

Не знаю, но образование ты таким образом не получишь. Как минимум нет экзаменов (проверка усвоенного материала) в конце курса, часто выложены только слайды, видео нет. Или нет проверок заданий (где ручкой нужно что-то писать).
Думаю в основном это инициатива самого лектора. Есть буквально самый лучший в мире курс лекций по базам данных от Andy Pavlo. Там есть всё. Включая возможность писать код и прогонять через их систему тестов.
Но для Advanced Database Systems уже в основном только лекции.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

54. Сообщение от Аноним (-), 19-Фев-24, 18:34 +1 +/–

В твоём сообщении смешаны времена, люди и кони.
1. Советское/Российское образование самое лучшее в мире - это ложь.
2. Вклад Русских эимгрантов в американское образование и науку ничтожен, там лидируют китайцы и индусы.
3. Американское образование лучшее в мире - это тоже ложь. Разрекламированные и богатые коллежди типа Гарвард, МТИ, Принстон, это уже другая история.
В СССР был массовый отбор одарённых детей по всей стране. Эти дети сначала учились в математических классах, потом поступали в МФТИ или МГУ, потом они должны были трудится в советских НИИ, где они осваивали ворованные иностранные технологии. Самим им государство не разрешала разрабатывать технологии. Эти дети были с приобретёнными психическими расстройствами. Получил двойку - опозорил родителей, подвёл Родину. Разрушительный "культ отличника". Некоторые дети умели читать и писать с двух лет, с трёх сочиняли стихи - передаю привет их родителям, если они ещё живы.
США. В обществе презирают наку, если эта наука не приносит доход. Причём американцу нужны быстрые деньги. Ну и, компьютеры это святое, да и  монетизация в сфере IT неплохая, поэтому среди американцев и много лауреатов премии Тьюринга.
Сейчас происходит глобализация, если вам важны качественные знания а не корочка, то ищите преподователей а не учебные заведения. Как ни странно есть отличные преподователи среди индусов, да-да они разговаривают по английски с индусским акцентом. Есть замечательные учителя математики среди китайских эммигрантов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

55. Сообщение от Аноним (55), 19-Фев-24, 18:42 +/–

Звездеть — не мешки ворочать.
>We also provide a SQLite API wrapper which means that if your applications is programmed against the SQLite C API, you can re‑link to DuckDB and it should continue working. See the sqlite_api_wrapper folder in our source repository for more information.
Можно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #56

56. Сообщение от Аноним (16), 19-Фев-24, 18:55 +/–

Если у плюсов нет аби (до сих пор!), так о чём можно говорить? Замена уже никак не получится.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #57

57. Сообщение от Аноним (57), 19-Фев-24, 19:14 +/–

libsqlite - это сишная биба, не плюсовая.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #58

58. Сообщение от Аноним (16), 19-Фев-24, 19:29 +/–

> libsqlite - это сишная биба, не плюсовая.
Ты всё правильно понял.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57 Ответы: #61

59. Сообщение от Аноним (59), 19-Фев-24, 21:33 +/–

CH мало чего умеет из списка. Это сильно специализированная СУБД, не подходит для многих видов работ

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

60. Сообщение от Аноним (60), 20-Фев-24, 00:31 +/–

Сначала подумал, что кто-то сделал форк с обвесами. Смотрю, а вот на гитхабе и вебсайте у них нет ни единой отсылки на скулайт. Всё своё, видимо.
Должен заметить, что их релизная либа .so занимает толстенные 49MiB, в то время как старый добрый sqlite довлеет только на полторушку, так что я бы десять раз подумал о том, что а зачем оно мне.

Ответить | Правка | Наверх | Cообщить модератору

61. Сообщение от Аноним (61), 20-Фев-24, 03:18 +/–

Что сказать-то хотел, сишник ты наш? Любая плюсовая обычная функция может быть экспортирована как сишная через extern "C".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #62

62. Сообщение от Аноним (-), 20-Фев-24, 06:28 –1 +/–

Вот поэтому плюсы не нужны.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61

64. Сообщение от Anonim (??), 21-Фев-24, 11:05 +/–

В Access можно искать семантические циклы, но ... только до семи вложений. Не имею опыта - в других SQL системах есть такая опция как "копия таблицы"?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

65. Сообщение от nc (ok), 22-Фев-24, 09:23 –1 +/–

Интересный проект. Я вот сейчас пишу на Go свой проект для исследования социального графа соцсетей, база на sqlite. При размере базы в несколько гигов уже стало подтормаживать, а ведь это не предел, по идее база может  быть и больше.
Но обертка для Go к этому вряд ли в ближайшее время появится.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #67

66. Сообщение от Аноним (66), 27-Фев-24, 01:52 +/–

Прочитал доку. Вердикт — мусор, написанный в процессе детской игры разраба, когда он в рот тащит всё, что видит, включая кака. Разъясню поподробнее.
1. Субд реализует кучу синтаксисов, когда несколько синтаксисов делаютодно и то же, при этом на самом деле ни один из них не совместим с другими субд, а просто один немного напоминает синтаксис одной субд, а второй — синтаксис другой субд.
2. идиотские никому не нужные на практике свистоперделки, вроде рекурсивных подзапросов. Да, они позволяют обходить графы .... в ширину ... генерируя все пути ... и храня их. Для маленького игрушечного дэйтасета сойдёт. Для дейтасета того размера, что для его хранения нужна база ... просто потратит ресурс SSD/HDD, и в конце навернёт систему по OOM. Вообще не понятно, зачем заморочились с реализацией этой фичи.
3. система расширений .... качающая их из инета ... и ставящая в локальную папку ... и система проверки цифровых подписей на расширениях. Всё триггерится через SQL. Разрабу невдомёк, что установкой расширений должен заниматься пакетный менеджер, ставиться они должны в систему, проверка подписи на so-файлах — должна делаться не субд, а пакетным же менеджером, загрузка расширений из SQL-кода - это дыра в безопасности, а установка — тем более. И что вообще подписывание расширений — это хрень какая-то, особенно учитывая то, что можно поменять настройки и грузить и неподписанные. А вот отключить возможность загрузки подписанных вообще никак нельзя. Тянет на бэкдор.
4. из SQL-кода можно писать и читать произвольные файлы. Что сразу делает исполнение SQL-кода опасным.
5. для работы со всякими Amazon s3  используется своё расширение вместо того, чтобы сказать, что всё это out of scope и юзайте fuse.
6. питоньи биндинги имеют целых 3 альтернативных интерфейса, причём один из них прямо берёт и воспринимает локальные переменные как базы. Ещё одна дыра.
7. судя по тому, что в руководстве по сборке из либ требуется только openssl, все остальные либы пшхоже что инлайнятся на уровне исходников.
В общем: свистелок и перделок много, а вот  общая адекватность отсутствует напрочь.

Ответить | Правка | Наверх | Cообщить модератору

67. Сообщение от ibnteo (ok), 06-Мрт-24, 00:06 +/–

https://duckdb.org/docs/api/go

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (-), 18-Фев-24, 12:54	–1 +/–
Разработчики из поисковика DuckDuckGo?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #2

2. Сообщение от Аноним (2), 18-Фев-24, 13:17	+1 +/–
Нет. "DuckDB is maintained by Dr. Mark Raasveldt & Prof. Dr. Hannes Mühleisen. DuckDB’s initial development took place at the Database Architectures Group at the Centrum Wiskunde & Informatica (CWI) in Amsterdam, The Netherland"
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #7, #41

4. Сообщение от михаилка (?), 18-Фев-24, 13:38	+1 +/–
И зачем это нужно, когда есть clickhouse-local, который 1) умеет примерно все (без шуток) 2) делает это с несравнимо более хорошей производительностью
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #5, #13, #19, #59

5. Сообщение от Аноним (5), 18-Фев-24, 13:49	+1 +/–
...Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо склайта?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #16, #28

6. Сообщение от Аноним (6), 18-Фев-24, 14:13	+1 +/–
А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб? Чтобы в системе просто заменить — и всё её юзало, в том числе все питоньи приложения через обычный import sqlite3, с дополнительными фичами — через SQL-запросы.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #17

7. Сообщение от Аноним (7), 18-Фев-24, 14:26	–3 +/–
>Prof. Dr. Hannes Mühleisen. Интересно конечно и профессор и доктор сразу.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #22

8. Сообщение от Аноним (7), 18-Фев-24, 14:28	+/–
Так и не понял в чем уникальное торговое предложение (УТП) сабжа.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #14

9. Сообщение от Аноним (7), 18-Фев-24, 14:29	–1 +/–
Какая база данных лучше всего, почему, какую выбрать?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #33, #40, #44

10. Сообщение от penetrator (?), 18-Фев-24, 14:50	+/–
> DuckDB is a fast in-process analytical database кто-нибудь может объяснить это как? олап кубы это же подготовили в фоне для будущего массивного чтения а что делать если это в пределах моего процесса? т.е. скрыть наличие еще одной базы? и стучаться к локальному файлу? а зачем? что я не понял?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #23, #43

13. Сообщение от Аноним (13), 18-Фев-24, 15:49	–2 +/–
Кликхаус проприетарь, сабж нет
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #26

14. Сообщение от Аноним (13), 18-Фев-24, 15:50	+1 +/–
Встраемавая бд для аналитических запросов
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8

15. Сообщение от Аноним (13), 18-Фев-24, 15:51	–2 +/–
Проблема у неё та же, что и у склайт: может только в один процесс.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #21

16. Сообщение от Аноним (16), 18-Фев-24, 15:52	+1 +/–
Т.е. не подходит для хранения сотен терабайт данных, как скулайт? Вообще, я заметил, что мало кто может конкурировать со скулайтом в этом, в том числе, это касается большинства проприетарных бд.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5

17. Сообщение от Аноним (16), 18-Фев-24, 16:33	–1 +/–
Нет надежды, для начала пришлось бы переписать её с плюсов на си.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #55

18. Сообщение от Аноним (18), 18-Фев-24, 17:00	–1 +/–
> Учётные данные сохраняются в файле ~/.duckdb/stored_secrets Расскажите им кто-нибудь про XDG Base Directory Specification.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #32

19. Сообщение от похъ (?), 18-Фев-24, 17:11	+/–
он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте. Или просто не работать. Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #27

21. Сообщение от swarus (ok), 18-Фев-24, 17:20	+/–
уточняй insert update в один процесс (да и то если один закрыл файл-базу, то другой может продолжить), чтение в сколько хочешь
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15

22. Сообщение от ы (?), 18-Фев-24, 17:29	+3 +/–
А для вас докто - это врач, да?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7 Ответы: #30

23. Сообщение от Аноним (-), 18-Фев-24, 17:45	+/–
>олап кубы это же подготовили Ты где-нибудь рабочие olap-системы вживую видел? У меня вот в вузе одна такая была, сервер насиловали одновременно 30 человек и было проще стянуть базу и сделать дома, чем насиловать в 30 рыл один сервер за 40 минут, когда запрос проходил за 20. Дома этот запрос на sqlite проходил за пять - никто не насиловал диск в 30 рыл.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10 Ответы: #31, #39, #42

24. Сообщение от голос из леса (?), 18-Фев-24, 17:59	–1 +/–
>> формат хранилища пока не стабилизирован и меняется от версии к версии. Ну то есть кроме идеи самого главного еще и нет. даю 95% что не взлетит.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #25

25. Сообщение от похъ (?), 18-Фев-24, 18:06	+/–
оно изначально затевалось для работы с чужими данными (внезапно - один из форматов - csv) выгружаемыми откуда-то где нельзя трахать сервер аналитикой за полтора квартала. Внутренний формат можно при этом переделывать для лучшей оптимизации сколько угодно.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #24

26. Сообщение от михаилка (?), 18-Фев-24, 18:18	+1 +/–
Эмм, кликхаус под apache, сабж под mit
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #13

27. Сообщение от михаилка (?), 18-Фев-24, 18:21	+/–
> он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте. > Или просто не работать. ога, конечно > Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет а где вы увидели time-value записей? и то, и другое - OLAP
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

28. Сообщение от михаилка (?), 18-Фев-24, 18:25	+2 +/–
кликхаус - это не только БД для хранения гигабайтов данных. это еще и инструмент (который может работать без сервера в clickhouse-local), который позволяет делать сложные запросы читать (да и писать) примерно из любого формата в данных (от файла с CSV до postgresql и parquet на s3) и делать это в общем случае быстрее любых других инструментов.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5

29. Сообщение от Витюшка (?), 18-Фев-24, 18:33	–1 +/–
Шикарная передовая база данных. Очень интересная. Передовые структуры данных и алгоритмы. База данных нового поколения.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #35

30. Сообщение от Аноним (30), 18-Фев-24, 18:36	+2 +/–
Да.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22

31. Сообщение от penetrator (?), 18-Фев-24, 19:27	+/–
так может это не OLAP? а OLTP? странная оптимизация под запросы, если он потом выполняется 20 минут
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23

32. Сообщение от Витюшка (?), 18-Фев-24, 19:28	+/–
Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил базу данных? Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд. И сегодня твоя $XDG_DATA_HOME выставлена, а завтра нет (или по дефолту указывает на другую директорию, или просто указывает на другую директорию). И тютю твоя база данных. Удачи тебе собрать все компоненты теперь (файлы таблиц, файлы индексов, write-ahead log, и ещё кучу всего). А также удачи упаковать всё в один архив (для бэкапа) и т.п. Snap и Flatpak тоже так не работают.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #34, #46

33. Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:53	+/–
От задачи зависит. Универсальных нет. Пойми свой workload, потом выбирай.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9

34. Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:54	+/–
> Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд. Если бы это было так, то директория $HOME/.config/ была бы пустой.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #32 Ответы: #36