forum.opennet.ru

"Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS "

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Опрос: Оцените размер шрифта на форуме: ( Нормальный | слишком мелкий | слишком крупный )

. "Применение асинхронной буферизированной записи на базе io_ur..."	+3 +/–
Сообщение от Аноним (23), 27-Июн-22, 00:43
Беда в том что по умолчанию линукс задает размер дискового кэша в % от всей доступной памяти. Когда в ядре это прописывали память измерялась мегабайтами... Сейчаас памяти много, намного больше, кэш получается огромен. В итоге перед реальной записью на диск куча данных пишется в память а потом система пытается всю эту память скинуть на диск... кэш размерами в пару гигабайт... на медленный диск с приоритетом ядра... естественно все начинает тормозить.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS , opennews, 26-Июн-22, 22:47 [смотреть все]

Оказывается, если данные на диск не записывать, то запись будет быстрее А что, Аноним, 26-Июн-22, 22:47 (1) //
- XFS - это не про надежность, Catwoolfii, 26-Июн-22, 22:57 (4) //
  - Твои варианты А, да, их нет , microsoft, 26-Июн-22, 22:59 (5) //
    - ZFS, Аноним, 27-Июн-22, 00:20 (19)
      - Только не допускайте этого онанима до прода , d, 27-Июн-22, 02:51 (27)
        
        Уже допустили Начиная с 2020 года ZFS работает очень даже неплохо Особенно пос, Аноним, 27-Июн-22, 11:09 (64)
        
        О а вот еще один фикситиль багов на проде , Аноним, 27-Июн-22, 11:12 (65)
        Ну всё, теперь можно в прод , d, 27-Июн-22, 11:32 (69)
        
        5 лет в проде , Аноним, 27-Июн-22, 19:01 (111)
        
        только оперативы нужо 30 от размера хранилища, zfsixpert, 27-Июн-22, 17:32 (97)
        
        Нет не нужно Размер ARC-кеша настраивается А вы, батенька, как я вижу - экспер, Аноним, 27-Июн-22, 19:01 (110)
        
        С 2017 года, полёт нормальный А критики могут и дальше ничего не использовать , keydon, 28-Июн-22, 05:39 (145)
        
        Сочувствую компаниям которых плюсующие этого поста админят , bOOster, 28-Июн-22, 18:39 (165)
        
        Вообще-то прод - это не место, где резвятся обезьянки Обычно там настроили, зап, tty0, 28-Июн-22, 23:00 (168)
      - Ты бы ещё BtrFS посоветовал , pda, 28-Июн-22, 11:46 (152)
        
        бтрфс кстати очень годна для Пакует опять же, нет танцев с монтированием импорт, Аноним, 01-Июл-22, 21:23 (194)
        
        Один из здешних завсегдатаев упоминал http lore kernel org linux-btrfs 2020052, Michael Shigorin, 03-Июл-22, 22:05 (198)
        
        BRTFS - рулёз , rationalseed, 03-Июл-22, 20:57 (196)
- Ну как с надежностью - буфер пролюбили и ВСЁ , Dzen Python, 26-Июн-22, 23:46 (12) //
  - Да, с этим вечно сталкивался , Alladin, 27-Июн-22, 00:14 (17)
- Я еще под досом ставил SmartDrv в режим кэширования записи Девачка, чето хотевш, Аноним, 27-Июн-22, 12:12 (70) //
  - Сейчас видите ли журналирование научились делать немного лучше, а юзеров - строи, Аноним, 27-Июн-22, 18:19 (101)
  - Так дискеты дергать с горящей лампочкой нельзя Дефачке видимо это никто не объя, commiethebeastie, 27-Июн-22, 20:19 (115) //
    - Так со smartdrv лампочка, то и не горит Она потом, через несколько секунд загори, Аноним, 27-Июн-22, 21:11 (117)
  - А на кой хер ты на дисководы кеширование записи разрешал В этом же не было ника, pda, 28-Июн-22, 11:49 (153) //
    - Над девочкой постебаться же Что за админ, если над юзером не поизмывался , Аноним, 28-Июн-22, 19:14 (166)
      - Крайне хреновый админ, очевидно Юзеров надо любить, беречь и всячески упрощать , Аноним, 29-Июн-22, 01:59 (170)
      - Здравствуйте, Наш BOFH , pda, 29-Июн-22, 12:32 (175)
      - Сейчас флешки и получше стебаться умеют Вынули без размонтирования А вот вам с, Аноним, 29-Июн-22, 17:52 (182)
- udp же, anonymous, 27-Июн-22, 18:37 (108)
Ничего не понятно за счет чего получаются такие результаты Автор новости пиши д, achtosluchilos, 26-Июн-22, 22:47 (2) //
- в Шотландии леприконы, а в Англии рептилоиды, запомни , Аноним, 26-Июн-22, 23:10 (8) //
  - Лепр е коны же ИЧСХ, в Ирландии https www google com url sa t rct j q esrc s, PnD, 27-Июн-22, 11:21 (68) //
    - Для тех кто не понял Лох в переводе с шотладского означает озеро , Аноним, 28-Июн-22, 10:53 (151)
      - Да поняли мы, поняли - те, другие лохи - они в Несси, а не наоборот , другие анонимы, 28-Июн-22, 14:42 (157)
- Блин, чувак, в чем твоя проблема Пролистать гримуар Иртегова по ОС - не так уж с, Dzen Python, 26-Июн-22, 23:51 (13) //
  - Конечно не будет Сожрет его демон А защитное построение из трех золотых не сдел, пох., 27-Июн-22, 09:09 (50)
  - Ты читал резюме Иртегова Хрен с горы, который программированием занимался после, Аноним, 27-Июн-22, 23:28 (121) //
    - Во-воу, полехче У нас тут и так глобальное потепление намечается, так ты еще и , Dzen Python, 27-Июн-22, 23:52 (124)
      - Ну так и в чем принципиальная разница Ну не бывает, не бывает бюджетной магии К, пох., 28-Июн-22, 09:39 (147)
        
        От осины не родятся апельсины, а от дуба - армяны Принципиальная разница Легки, Dzen Python, 28-Июн-22, 23:11 (169)
        
        Арпачи-Дюссо, Операционные системы 3 простых элемента Книга Кометы тоже д, tmplsr, 01-Июл-22, 18:49 (193)
- Реально глупый каммент, сказано же начали использовать асинхронные вычисления вм, Alladin, 27-Июн-22, 00:04 (15) //
  - со стороны линукса , Alladin, 27-Июн-22, 00:14 (18)
  - Это как Вместо a b 2 , распердоливают на три проца a 2, 2ab и b 2 и потом два, pavlinux, 28-Июн-22, 01:58 (132) //
    - а учитывая что речь о записи на носитель, у которого проц ровно один, очередь , пох., 28-Июн-22, 09:42 (148)
Лучше 12309 почините Позавчера словил при копировании с одного ssd на другой С, Шарп, 26-Июн-22, 22:48 (3) //
- так ты, поди, и на репозитарных ядрах сидишь , Аноним, 26-Июн-22, 23:04 (6) //
  - Так в рекламных целях Windows устроено 128522 , Аноним, 27-Июн-22, 09:24 (55) //
    - Только реклама это ты Потому что для рекламы не важен контекст, важно постоянно, Аноним, 27-Июн-22, 15:24 (87)
- Так 12309 это не зависание а жуткие тормоза с дерганьем мышки ,заикаием звука и , maximnik0, 26-Июн-22, 23:09 (7) //
  - Что-то у вас накручено и перекручено Если у вас глючит аппарат то ищите обновле, Alladin, 27-Июн-22, 00:13 (16) //
    - Этот баг поправили-теперь если нет активности на внешнем диске -отсылает команду, maximnik0, 27-Июн-22, 04:41 (33)
      - для NT4 где-то были такие драйвера для SATA тоже но пользоваться ими я не риск, john_erohin, 27-Июн-22, 06:05 (35)
        
        Ну драйвер к pci-e это скорее затычка,потому что ставилась задача что бы на прог, maximnik0, 27-Июн-22, 10:18 (59)
      - Назат удевлялся биуса оказываеться Заканьчиваться пужалуста , X86, 27-Июн-22, 07:41 (43)
  - добавь это в etc sysctl conf и 12309 больше тебя не побеспокоит This fix enoum, Аноним, 27-Июн-22, 00:35 (22) //
    - Два чаю этому анониму Ещё можно вот это добавить чтобы данные НЕ терялись в бол, leap42, 27-Июн-22, 03:46 (28)
      - У многих ФС еще настраивается время барьеров записи Это время когда форсирова, Аноним, 28-Июн-22, 01:59 (133)
    - А почему дистростроители так не поставляют изначально , Аноним, 27-Июн-22, 14:21 (80)
      - Во-первых, дистростроители имеют в виду серверы, где производительность дисковой, leap42, 28-Июн-22, 03:06 (142)
    - А вы, часом, не перепутали значения для dirty_bytes с dirty_background_bytes , Аноним, 27-Июн-22, 16:27 (93)
      - Я вот тоже думаю, у меняvm dirty_ratio 10vm dirty_background_ratio 5ну и ker, Аноним, 27-Июн-22, 17:38 (98)
    - Предлагаю за копипасту баянов 10-летней давности вводить пожизненный расстрел , pavlinux, 28-Июн-22, 02:02 (134)
      - Что, ты тоже в курсе что у них эвристика для тормозных сторажей это сама уже дав, Аноним, 29-Июн-22, 22:13 (186)
  - Беда в том что по умолчанию линукс задает размер дискового кэша в от всей дост , Аноним, 27-Июн-22, 00:43 (23) //
    - Чому во фре таких пооблем нет и не было Вся память под кеш юзается тоже , борланд, 27-Июн-22, 06:53 (39)
      - Вам про кэш записи точнее dirty buffers , а в про кэш чтения Под чтение и в л, Анонимленьлогиниться, 27-Июн-22, 08:58 (49)
      - тому что у нее вообще нет толком кэширования на запись vmstat -z и убедись Тоже , пох., 27-Июн-22, 09:12 (51)
      - Ее юзеры для десктопных задач в винду дуалбутятся, вот у них и нет проблем , Аноним, 29-Июн-22, 17:48 (181)
    - Чем-то напомнило досовский смартдрайв, который начинал безбожно тормозить, если , another_one, 27-Июн-22, 10:51 (60)
    - Беда в том, что с 2 6 13 проблемы не было А с 2 6 32 на той же, с-ка доступной , пох., 27-Июн-22, 13:08 (71)
      - Всё это сказки про кэши Ошибка в архитектуре Если бы ядро с X11 дружили бы кре, Ананоним, 27-Июн-22, 23:30 (122)
        
        Могу ещё добавить, что и механизм повышения приоретета для процесса активного ок, Ананоним, 27-Июн-22, 23:33 (123)
        
        Странно, что не на 146 , pavlinux, 28-Июн-22, 02:14 (139)
        
        Если на load average смотреть, там и 500 можно получить при достаточном рвении , Аноним, 29-Июн-22, 17:53 (183)
    - В Linux НЕТ ДИСКОВОГО КЭША Да и дисков уже нет у нормальных , pavlinux, 28-Июн-22, 02:11 (138)
  - Даже пуповину не обрезаем , Аноним, 27-Июн-22, 09:26 (57)
- я так на usb2 флэшку копирую данные со скоростью в пару гигабит Потом еще еще 2, Анончик, 27-Июн-22, 01:17 (25) //
  - Открой для себя команду sync Может не придётся 2 часа ждать , Ананоним, 28-Июн-22, 13:07 (155) //
    - волшебная комманда которая заставит флэшку быстро работать, супер, спасибо , Анончик, 28-Июн-22, 18:36 (163)
    - Никогда не видел sync отвисший на 15 минут в именно вот том сисколе А надо было, Аноним, 29-Июн-22, 22:17 (187)
- Попробуй https www linux org ru forum general 16334308 page6, Аноним, 27-Июн-22, 03:47 (29)
- Не хочешь 12309 тогда переходи если это убунта на пониженную версию стабле , а и, Фальсификатор, 27-Июн-22, 06:59 (40)
- Уверен, что это был именно 12309 У нас регулярно были ситуации, когда по SFTP п, topin89, 28-Июн-22, 02:14 (140)
90 просадок в скорости на ФС дают транзакции и журналирование записи - вообще в, Dzen Python, 26-Июн-22, 23:45 (11) //
- Из буфера памяти Никак Иначе какой в нём вообще смысл , Аноним, 27-Июн-22, 00:04 (14)
- как глубока твоя нора, крол , Аноним, 27-Июн-22, 06:07 (36)
- Этим должен заниматься рейд контроллер в одно лицо , Аноним, 27-Июн-22, 13:38 (76)
Пояснительная бригада, теперь XFS лучшая ФС или еще нет , Аноним, 27-Июн-22, 00:28 (20) //
- нет Ну там же написано даже по русский асинхронная, далее по тексту тесты привед, Анончик, 27-Июн-22, 01:12 (24) //
  - Xfs и до этого лучшая фс , Аноним, 27-Июн-22, 04:02 (31) //
    - а если опять выкатят новую версию, несовместимую со старой 1 раз уже было , john_erohin, 27-Июн-22, 06:08 (37)
      - Тогда освободится место на диске, X86, 27-Июн-22, 07:42 (44)
    - зацените по списку https cdn kernel org pub linux kernel v5 x ChangeLog-5 10 1, john_erohin, 02-Июл-22, 20:31 (195)
- Нет, у тебя выбор между ext4, f2fs и btrfs сегодня , Аноним, 27-Июн-22, 01:29 (26) //
  - lol ext4 в 2022, leap42, 27-Июн-22, 03:48 (30) //
    - Ну в винде до сих пор NTFS и ничо, живут же люди как-то с ней Зачем чинить то, Аноним, 27-Июн-22, 16:38 (94)
  - Выбор сейчас между xfs и f2fs Причём f2fs сейчас актуальна и для hdd с smr , Аноним, 27-Июн-22, 04:04 (32) //
    - Заяем вам фс для флешек на хдд,ссд , Попандопала, 27-Июн-22, 05:03 (34)
      - The motive for F2FS was to build a file system that, from the start, takes into, Аноним, 27-Июн-22, 06:27 (38)
      - Для _самсунговских_ флэшек, ты забыл уточнить Поскольку оно taking in account , пох., 27-Июн-22, 09:22 (53)
        
        Че сказать то хотел , Аноним, 27-Июн-22, 11:04 (62)
        
        Короче он так боится фрагментации, что кладёт винчестеры на полку от греха Ещё , Аноним, 27-Июн-22, 17:07 (95)
        
        Флешки все более-менее одинаковые И у самсуня их так то много разных есть Самс, Аноним, 27-Июн-22, 18:31 (105)
        
        А более-менее тут не работает Либо ты попал в segment size, либо write amplif, пох., 28-Июн-22, 00:14 (125)
        
        У NAND так то есть eraseblock, и page Первое юнит erase и довольно жирное, а , Аноним, 28-Июн-22, 01:56 (131)
        
        по дефолтным настройкам самсунь-fs - они целились в page size И, вероятно, попа, пох., 28-Июн-22, 09:56 (149)
        
        Самсунь производит чертову кучу флешек, всех мастей и направлений, которым из он, Аноним, 29-Июн-22, 18:18 (184)
        
        нее, smr ремапят на лету, куда голову ближе подогнать, туда и пишут, поэтому даж, Аноним, 28-Июн-22, 08:57 (146)
    - в f2fs есть квоты или как вы предлагаете рулить местом , Анончик, 27-Июн-22, 08:25 (47)
      - Вообще-то есть, но они тоже удивительные С другой стороны - у меня нет никаки, пох., 27-Июн-22, 09:24 (54)
        
        Так смысл их раскладывать для других, а не для себя , Аноним, 27-Июн-22, 13:36 (75)
        
        Я вот кроме как для шаред хостингов не могу придумать зачем оно по факту надо - , Роман, 27-Июн-22, 13:40 (77)
        
        VDI же ж Но там, как ты понимаешь, не linoops не совсем во всяком случае , и ли, пох., 27-Июн-22, 15:21 (85)
        
        Для каких 171 других 187 На моём ПК нет никаких 171 других 187 , Аноним, 28-Июн-22, 00:16 (126)
    - Это хорошо, когда люди сообщают такое, сразу можно оценить степень их адекватнос, Аноним, 27-Июн-22, 11:05 (63)
- Ненужный УГ кусов, который проталкивает Бизнес Машина, чтобы было не как у всех , Аноним, 27-Июн-22, 11:13 (66) //
  - А что делать, другие уже конкуренты расхватали И это таки именно редгадчики, пр, Аноним, 27-Июн-22, 18:24 (103)
- Если нет необходимости в компрессии, xfs - по совокупности пот характеристик, лу, Аноним, 27-Июн-22, 15:47 (90) //
  - Чего в нем хорошего Кроме того что у редгада просто ничего другого не осталось,, Аноним, 27-Июн-22, 18:26 (104)
- монговцы её уже много лет самой быстрой считают а уж они-то не могут ошибаться, лютый жабби___, 27-Июн-22, 19:27 (112)
- Ещё нет Отрицательный ресайз ещё не сделали, хранение мелких файлов прямо в нод, Аноним, 27-Июн-22, 20:19 (114) //
  - Настолько нишевая штука, что может быть вообще никогда не появится, если только , Аноним, 28-Июн-22, 00:57 (127) //
    - Вынуть диск, в случае если столько стало уже не надо, например И более того - н, Аноним, 28-Июн-22, 02:02 (135)
      - цена вопроса - безумная деградация производительности, пока твое не надо освоб, пох., 28-Июн-22, 10:02 (150)
        
        1 Не хуже ребилдов райда и проч 2 Оно удвигает только реально используемое 3 , Аноним, 29-Июн-22, 22:28 (188)
        
        рейд в 2k22 немодно ребилды raidz или storage space ТАК не жрут, поскольку затр, пох., 29-Июн-22, 23:01 (191)
      - Я просил кейс для прода, а не из, кхм, пальца высосанный , Аноним, 29-Июн-22, 02:15 (171)
        
        Вполне нормальный кейс, расщирить имеющуюся хранилку под какую-то разовую пикову, Аноним, 29-Июн-22, 18:24 (185)
        
        с риском потерять всю хранилку если что-то пойдет не так Ну ок, нормальный кей, пох., 29-Июн-22, 23:03 (192)
и сделало 80 каких-нить уязвимостей которые найдут через пять лет, Аноним, 27-Июн-22, 09:17 (52) //
- Вот видишь - целых пять лет твоя дыра - в безопастности , пох., 27-Июн-22, 09:24 (56)
Херасе они кэш изобрели Срочная новость Виндекапец близко , Аноним, 27-Июн-22, 11:01 (61) //
- Ты тормоз, Вася , Аноним, 27-Июн-22, 18:33 (106)
Ну если это всё правда, то тогда надо сделать новые бенчмарки для сравнения с ex, freehck, 27-Июн-22, 13:15 (72) //
- XFS итак дефолтная файловая система кое-где , Аноним, 27-Июн-22, 13:35 (73)
- Ext4 вроде на очереди на поддержку io_uring, Роман, 27-Июн-22, 13:41 (78) //
  - Btrfs, ананоша, 27-Июн-22, 14:51 (82)
  - Всех живых на него наверное перетянут А кто не перелезет станет постепенно счит, Аноним, 27-Июн-22, 18:34 (107) //
    - Reiser5 с большой вероятностью это io_uring задействует А в ядро она и так не п, Аноним, 27-Июн-22, 20:25 (116)
      - Агаблин, зная их методики - они это сделают когда в ядре дропнут к хренам легаси, Аноним, 28-Июн-22, 01:43 (129)
        
        Тебе мысли излагать научиться бы , Аноним, 29-Июн-22, 12:51 (176)
        
        А где тут видна мысль Какой-то шум дождя , rationalseed, 03-Июл-22, 21:04 (197)
- У ext4 проблемы иного характера - с масштабирование , Аноним, 27-Июн-22, 15:34 (89)
А на чём проверяли Cкорости которые описаны похожи на скорсти от NVMe Это рам , Аноним, 27-Июн-22, 14:52 (83) //
- Забыл у KDiskMark ограничение в настройках для SEQ, нет варианта для SEQ ниже 1М, Аноним, 27-Июн-22, 15:56 (91)
- 1333МHz, Аноним, 27-Июн-22, 22:36 (118)
- Я не правильно написал Не 1333Мгц, а 667Мгц Стандартное название 124 Частот, Аноним, 27-Июн-22, 22:50 (119) //
  - Пропустил название Частота шины, МГц для400 533 667 800 933 , Аноним, 27-Июн-22, 22:55 (120)
  - Посмотрим как это в виртуальной машине будет работать с хостом Windows Я посмот, Анонним, 28-Июн-22, 18:21 (162)
Я правильно понимаю, они sync-write делают async , Аноним, 27-Июн-22, 15:32 (88) //
- Нет, просто добавили поддерку API io_uring В этом API есть средства синхронизац, zensey, 28-Июн-22, 16:09 (158)
XFS же deprecated Разве нет , Аноним, 27-Июн-22, 18:49 (109) //
- хороший наброс, годный, anonymous, 27-Июн-22, 19:49 (113) //
  - Вообще, есть и deprecated версия оного Они новую версию запилили, при том - не , Аноним, 28-Июн-22, 01:46 (130) //
    - Если до 2030, то и конвертацию могут запилить , pda, 28-Июн-22, 11:57 (154)
      - Никто этого не будет теперь делать и никто не оплатит энтузиастов если такие най, Попандопала, 28-Июн-22, 14:10 (156)
Новость из серии учёный изнасиловал журналиста Поддержка асинхронной буферизир, vitalif, 29-Июн-22, 02:21 (172)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру