The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Создать новую тему
 - Свернуть нити
Пометить прочитанным
Архив | Избранное | Мое | Новое | | |  
Форум Оптимизация и Промышленные системы
Поиск возможных решений по хранению данных, !*! Проходил мимо, 11-Фев-19, 09:49  [ | | | ] [линейный вид] [смотреть все] [раскрыть новое]
  • gt оверквотинг удален cron, find, mv, ln Ключи по вкусу , !*! anonymous (??), 04:08 , 12-Фев-19 (1)
    >[оверквотинг удален]
    > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
    > дешевые средства хранения данных (в частности на ленточный накопитель)?
    > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
    > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
    > или в иное медленное но дешевое хранилище, при этом где-то должна
    > оставаться информация о том, что этот файл переместился и где его
    > теперь искать. При попытке же обратится к перемещенному файлу он должен
    > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
    > каким-то иным способом.
    > Заранее спасибо.

    cron, find, mv, ln. Ключи по вкусу.

    сообщить модератору +/ответить
  • Вы цены на ленточные библиотеки когда последний раз видели Кто вам сказал, что , !*! DeerFriend (?), 13:53 , 12-Фев-19 (3) +1
    Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?

    Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.

    сообщить модератору +1 +/ответить
  • gt оверквотинг удален В LVM cache можно сделать и к разделу прицепить , !*! fantom (??), 10:57 , 15-Фев-19 (4)
    >[оверквотинг удален]
    > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
    > дешевые средства хранения данных (в частности на ленточный накопитель)?
    > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
    > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
    > или в иное медленное но дешевое хранилище, при этом где-то должна
    > оставаться информация о том, что этот файл переместился и где его
    > теперь искать. При попытке же обратится к перемещенному файлу он должен
    > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
    > каким-то иным способом.
    > Заранее спасибо.

    В LVM cache можно сделать и к разделу "прицепить"

    сообщить модератору +/ответить
  • https blog sedicomm com 2018 07 22 14-utilit-rezervnogo-kopirovaniya-dlya-linu, !*! Брат Анон (ok), 09:32 , 19-Ноя-20 (5)
    > Здравствуйте.
    > Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего
    > хранения больших объемов данных, т.е. хранения, при котором старые и/или мало
    > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
    > дешевые средства хранения данных (в частности на ленточный накопитель)?
    > ....
    > Заранее спасибо.

    https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../
    Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.

    сообщить модератору +/ответить
  • gt оверквотинг удален Легко - GPFS LTFS EE оно же, по современному, Spectrum , !*! Мимо проходил (?), 02:09 , 11-Дек-20 (6)
    >[оверквотинг удален]
    > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
    > дешевые средства хранения данных (в частности на ленточный накопитель)?
    > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
    > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
    > или в иное медленное но дешевое хранилище, при этом где-то должна
    > оставаться информация о том, что этот файл переместился и где его
    > теперь искать. При попытке же обратится к перемещенному файлу он должен
    > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
    > каким-то иным способом.
    > Заранее спасибо.

    Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)

    сообщить модератору +/ответить
  • По идее любая СХД умеет что-то подобное Вот с перемещением на ленту и прозрачны, !*! Аноним (7), 15:31 , 11-Дек-20 (7)
    По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.

    У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.

    сообщить модератору +/ответить
 
Пометить прочитанным Создать тему
Архив | Избранное | Мое | Новое | | |



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру