https://www.opennet.ru/openforum/vsluhforumID13/981.html Здравствуйте.<br><br>Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)?<br><br>В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом.<br><br>Заранее спасибо.<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#7 Fri, 11 Dec 2020 12:31:12 GMT По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.<br><br>У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#6 Thu, 10 Dec 2020 23:09:57 GMT &gt;[оверквотинг удален]<br>&gt; используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно <br>&gt; дешевые средства хранения данных (в частности на ленточный накопитель)?<br>&gt; В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то <br>&gt; времени не использования файл с быстрого хранилища автоматически перемещается на ленточку <br>&gt; или в иное медленное но дешевое хранилище, при этом где-то должна <br>&gt; оставаться информация о том, что этот файл переместился и где его <br>&gt; теперь искать. При попытке же обратится к перемещенному файлу он должен <br>&gt; прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя <br>&gt; каким-то иным способом.<br>&gt; Заранее спасибо.<br><br>Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#5 Thu, 19 Nov 2020 06:32:32 GMT &gt; Здравствуйте.<br>&gt; Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего <br>&gt; хранения больших объемов данных, т.е. хранения, при котором старые и/или мало <br>&gt; используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно <br>&gt; дешевые средства хранения данных (в частности на ленточный накопитель)?<br>&gt; ....<br>&gt; Заранее спасибо.<br><br>https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-kopirovaniya-dlya-linux-sistem/<br>Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#4 Fri, 15 Feb 2019 07:57:56 GMT &gt;[оверквотинг удален]<br>&gt; используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно <br>&gt; дешевые средства хранения данных (в частности на ленточный накопитель)?<br>&gt; В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то <br>&gt; времени не использования файл с быстрого хранилища автоматически перемещается на ленточку <br>&gt; или в иное медленное но дешевое хранилище, при этом где-то должна <br>&gt; оставаться информация о том, что этот файл переместился и где его <br>&gt; теперь искать. При попытке же обратится к перемещенному файлу он должен <br>&gt; прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя <br>&gt; каким-то иным способом.<br>&gt; Заранее спасибо.<br><br>В LVM cache можно сделать и к разделу "прицепить"<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#3 Tue, 12 Feb 2019 10:53:03 GMT Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?<br><br>Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.<br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#2 Tue, 12 Feb 2019 09:52:44 GMT &gt;[оверквотинг удален]<br>&gt;&gt; дешевые средства хранения данных (в частности на ленточный накопитель)?<br>&gt;&gt; В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то <br>&gt;&gt; времени не использования файл с быстрого хранилища автоматически перемещается на ленточку <br>&gt;&gt; или в иное медленное но дешевое хранилище, при этом где-то должна <br>&gt;&gt; оставаться информация о том, что этот файл переместился и где его <br>&gt;&gt; теперь искать. При попытке же обратится к перемещенному файлу он должен <br>&gt;&gt; прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя <br>&gt;&gt; каким-то иным способом.<br>&gt;&gt; Заранее спасибо.<br>&gt; cron, find, mv, ln. Ключи по вкусу.<br><br>очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?<br><br> https://www.opennet.ru/openforum/vsluhforumID13/981.html#1 Tue, 12 Feb 2019 01:08:54 GMT &gt;[оверквотинг удален]<br>&gt; используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно <br>&gt; дешевые средства хранения данных (в частности на ленточный накопитель)?<br>&gt; В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то <br>&gt; времени не использования файл с быстрого хранилища автоматически перемещается на ленточку <br>&gt; или в иное медленное но дешевое хранилище, при этом где-то должна <br>&gt; оставаться информация о том, что этот файл переместился и где его <br>&gt; теперь искать. При попытке же обратится к перемещенному файлу он должен <br>&gt; прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя <br>&gt; каким-то иным способом.<br>&gt; Заранее спасибо.<br><br>cron, find, mv, ln. Ключи по вкусу.<br>