The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Facebook выпустил модуль Flashcache 3.0 для организации кэширования на SSD-накопителях

11.10.2013 12:23

Социальная сеть Facebook анонсировала новую значительную версию Flashcache 3.0, системы для прозрачного кэширования данных на быстрых SSD-накопителях, оформленной в виде модуля для ядра Linux, использующего фреймворк Device Mapper (DM). Поддерживается как кэширование чтения с блочных устройств, так и ускорение записи за счёт предварительного сохранения данных на SSD-накопитель с последующим сбросом данных на диск. Код проекта распространяется под лицензией GPLv2.

На базе новой версии Flashcache в Facebook уже развёрнута система массового кэширования данных, охватывающая тысячи серверов. По сравнению с прошлым выпуском переход на Flashcache 3.0 позволил на 40% снизить число операций чтения при обращении к жестким дискам и на 75% сократить интенсивность ввода/вывода при записи. Благодаря использованию более изощрённого алгоритма для принятия решения по помещению данных в кэш эффективность кэширования удалось поднять с 60 до 80%, в среднем 80% всех обращений обрабатывается из кэша. Одновременно минимизировано появление невостребованных данных в кэше и осуществлён переход к более равномерному распределению по кэшу часто обновляемых данных, что уменьшило нагрузку по записи данных на SSD-накопители.

Отмечается три ключевых улучшения в Flashcache 3.0:

  • Изменён алгоритм заполнения кэша, который позволил обеспечить более равномерное распределение данных. Анализ нагрузки на серверах с MySQL (InnoDB) показал, что большинство операций записи концентрируются в нескольких регионах диска, операции чтения также распределяются по диску неравномерно. В этой ситуации используемая ранее схема линейного сопоставления 2 Мб блоков на диске с 2 Мб блоками в кэше приводила к тому, что определённые области SSD-накопителей использовались излишне интенсивно, в то время как другие области простаивали. Для решения проблемы вместо линейной схемы задействован метод случайного хэширования, а также изменён размер блоков - блок на диске был уменьшен до 256 Кб, а блок в кэше увеличен до 16 Мб. В итоге, если раньше 80% всех дисковых операций концентрировались в 50% кэша, то теперь 50% кэша охватывает 50% дисковых операций.
  • Переработана организация вытеснения неактуальных данных из кэша. Вместо ранее используемого алгоритма FIFO, подразумевающего вытеснение записей по времени их добавления, задействован алгоритм LRU, при котором записи вытесняются на основании давности обращения к ним. При использовании FIFO были нередки случаи когда единичные неактуальные данные замещали собой активно используемые записи, которые попали в кэш достаточно давно. Теперь в первую очередь из кэша вытесняются давно не используемые записи, независимо от порядка добавления данных в кэш. Задействована реализация LRU-2Q, подразумевающая помещение новых записей не в самый конец очереди на удаление, что позволяет сохранить 25% старых записей и исключить вытеснение старых записей в результате нетипичной пиковой активности, например при перестроении или миграции узла.
  • Увеличение эффективности сброса данных на диск при кэшировании в режиме отложенной записи (write-back). Ранее сброс на диск осуществлялся при накоплении порции готовой для записи данных в привязке к сегментам кэша и активности в них, что приводило к неравномерной производительности частей кэша (некоторые данные сбрасывались периодически, а некоторые могли достаточно долго ожидать сброса на диск). В новой версии чистка и сброс данных отделены от кэширования на чтение и производятся независимо от активности в кэше, что позволило сгладить производительность кэширования записи и выделить больше места на кэширование чтения.


  1. Главная ссылка к новости (https://www.facebook.com/notes...)
  2. OpenNews: Первый стабильный выпуск BTIER, блочного устройства для агрегирования накопителей в Linux
  3. OpenNews: Для Linux представлен TIER, блочное устройство для агрегирования накопителей
  4. OpenNews: Facebook открыл модуль Flashcache для организации кэширования на SSD-накопителях
  5. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
  6. OpenNews: Доступен dm-writeboost, Linux-модуль для кэширования на SSD-накопителях
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/38133-flashcache
Ключевые слова: flashcache, ssd, cache
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (16) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, vitalif (ok), 12:55, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Куда ещё-то один, когда bcache уже аж в ядро принят и кроме него есть ещё и dm-cache, dm-writeboost и BTIER, как справедливо отмечено в похожих новостях?
     
     
  • 2.3, linux must _RIP_ (?), 13:02, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    dm-cache - это bcache вид с боку. flashcache - это версия bcache c оптимизацией для использования на ssd. остальное сырое..
     
  • 2.5, Nick Knutov (?), 13:33, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    bacache пока нельзя совместить с OpenVZ, например, а flashcache можно.
     

  • 1.2, Аноним (2), 13:01, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    мы изобрели файловую систему, которая использует другую файловую систему, которая ...
    в линуксе можно придумать контейнер с произвольным уровнем вложенности для любых обьектов

     
     
  • 2.4, linux must _RIP_ (?), 13:03, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    > мы изобрели файловую систему, которая использует другую файловую систему, которая ...
    > в линуксе можно придумать контейнер с произвольным уровнем вложенности для любых обьектов

    нельзя :) это не фревый GEOM - тут все гвоздями прибито :)

     
     
  • 3.8, ананим (?), 14:02, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Пиндабол. Лишь бы срaчь развести.

    Зыж
    А нормальный (не брехлo) в первую очередь бы сказал — сабж вообще не fs, за такое в своё время можно было сессию провалить.

     
  • 3.12, Crazy Alex (ok), 15:15, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Лехко - через DM.
     

  • 1.7, YetAnotherOnanym (ok), 13:57, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > схема линейного сопоставления 2 Мб блоков на диске с 2 Мб блоками в кэше

    Это как? Получается, размер кэша равен размеру хранилища за кэшем?
    > изменён размер блоков - блок на диске был уменьшен до 256 Кб, а блок в кэше увеличен до 16 Мб

    Молодцы, открыли для себя твикинг, который любой вменяемый админ выполняет сразу после установки.
    И кстати, из текста никак не следует, что пространство внутри блока 16MB будет использоваться равномерно. Не удивлюсь, если SSD будет изношен полосками - 2MB изношено, 14MB свежие.

     
     
  • 2.10, all_glory_to_the_hypnotoad (ok), 14:28, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    да не будет SSD изношен, внутри он сам обеспечивает равномерное использование всех блоков.  Тем более юзерспейс обычно не знает какой физический размер блока внтури девайса (обычно несколько мб) и, следовательно, не может правильно выбрать стратегию распределения. Это древняя проблема из-за которой зафейлились некоторые flash-fs
     

  • 1.11, Аноним (-), 14:46, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Какой это по счету кэшь на ССД?
     
  • 1.13, Аноним (-), 15:15, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Посдкажите: я могу на десктопе использовать китайскую флешку, для ускорения операций с HDD? что для этого лучше настроить? dm-cache?
     
     
  • 2.15, Аноним (-), 15:18, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    2. какой объем флешки необходим? чем больше тем лучше? (допустим у меня винт 256ГБ, флешка 2ГБ)
    3. в каком режиме можно не бояться за данные, если флешка выйдет из строя?
     
  • 2.16, Аноним (-), 15:42, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если китайская флешка - это SSD-диск нормального производителя, то да, можешь.

    Ещё лучше если твоя китайская флешка имеет надпись "Fusion-IO" и подключается сразу в PCI-Express. Можно даже с другими надписями, но с PCI-Express. На крайний случай пойдёт и SATA.

    Чтобы было "лучше" также важно определится со своими запросами и протестировать все имеющиеся реализации кеша именно на твоих задачах. Реализаций пока всего 3 ( три ).
    Точного ответа какая реализация лучше пока нет, т.к. они все появились относительно недавно, а две из них, включенные в ядро, в нём оказались только в этом году. Да и задачи у людей различаются.

     

  • 1.21, renton (??), 22:26, 11/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На github до сих пор 2-ая версия лежит. Кто-нибудь знает, где скачать 3-ю?
     
     
  • 2.22, Serge (??), 22:36, 11/10/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    я вот тоже решил попроовать - а кода-то и нет. просто не успели выложить? Но победная реляция была 2 дня назад  ( October 9, 2013 at 10:01am ). Странно как-то...
     

  • 1.25, медведдд (ok), 05:37, 14/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Грустно. Такие титанические полеты мысли и траты ресурсов планеты, а всё ради того чтобы у хомячков какой-нибудь "музончик с инета" не тормозил.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру