Здравствуйте.Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)?
В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом.
Заранее спасибо.
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.cron, find, mv, ln. Ключи по вкусу.
>[оверквотинг удален]
>> дешевые средства хранения данных (в частности на ленточный накопитель)?
>> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
>> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
>> или в иное медленное но дешевое хранилище, при этом где-то должна
>> оставаться информация о том, что этот файл переместился и где его
>> теперь искать. При попытке же обратится к перемещенному файлу он должен
>> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
>> каким-то иным способом.
>> Заранее спасибо.
> cron, find, mv, ln. Ключи по вкусу.очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?
Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.В LVM cache можно сделать и к разделу "прицепить"
> Здравствуйте.
> Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего
> хранения больших объемов данных, т.е. хранения, при котором старые и/или мало
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> ....
> Заранее спасибо.https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../
Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)
По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.