URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 114937
[ Назад ]
Исходное сообщение
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено opennews , 29-Июл-18 09:28 
Компания Google опубликовала новую утилиту embiggen-disk (https://github.com/google/embiggen-disk) (не является официальным проектом Google), предназначенную для изменения размера файловой системы после изменения размера дисковых разделов, например, после увеличения размера виртуального диска для систем виртуализации. Поддерживаются файловые системы ext2, ext3, ext4, xfs и btrfs, логические и физические тома LVM (LV и PV), а также таблицы разделов  MBR и GPT. Код написан на языке Go и распространяется (https://github.com/google/embiggen-disk) под лицензией Apache 2.0.

Утилита представляет собой обвязку вокруг штатных утилит resize2fs, xfs_growfs и btrfs, автоматизирующую изменение размера раздела (достаточно просто запустить утилиту и она автоматически определит необходимость модификации ФС без необходимости ручной настройки (https://www.opennet.me/tips/info/2590.shtml) смещений). Из планов на будущее упоминается поддержки шифрованных разделов LUKS и работа в режиме фонового процесса, анализирующего появление в логе dmesg сообщений ядра об изменении размера блочных устройств.


URL: https://github.com/google/embiggen-disk
Новость: https://www.opennet.me/opennews/art.shtml?num=49043

Содержание
Сообщения в этом обсуждении
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 09:28 
GNU parted все это умеет.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 15:33 
да но ему нужен не монтированый раздел.
а на рабочем разделе он отказивается изменить размер.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено null , 30-Июл-18 06:57 
Увеличить размер ФС ext* в условиях, когда раздел увеличился в сторону начала диска - не умеет.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 30-Июл-18 08:09 
А сабж умеет что ли?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Fedor , 30-Июл-18 09:08 
То есть он умеет вызывать btrfs resize +max после изменения размера раздела? По моему вы что-то путаете.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 09:31 
а число инодов на ехт4 оно увеличивает?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено vitalif , 29-Июл-18 14:34 
А у меня есть resize2fs патченый, который умеет) - умеет и увеличивать, и уменьшать таблицы инодов.

Пытался патч отправить в список рассылки - меня, кажется, просто проигнорировали...

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Зеленый Аноним , 29-Июл-18 22:31 
Ссылку плиз на патч горячей замены размера можно? Журналировать умеет если во время переразметки свет мигнет в UPS?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Грусть , 29-Июл-18 09:36 
Гугл совсем ку-ку.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Отражение луны , 29-Июл-18 10:08 
Спасибо, что поделился с нами своим экспертным мнением.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено аа , 29-Июл-18 15:35 
Учитывая, что некоторые фс не умеют уменьшаться, учитывая, как сказано ниже, что надо уменьшать фс, а потом раздел, эта поделка выглядит как очередное поделие из разряда чтобы еще написать на го, коих гугл пладит который год, и о коих никогда не появляется второй новости, потому, что есть как есть из-за объективных фактов.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Отражение луны , 29-Июл-18 21:14 
Конечно не появляется. Читай надпись: не является официальным проектом Гугл.
Вероятнее всего, утилита является побочным продуктом разработки совершенно другого проекта, и, вероятно, уже даже и не используется.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 23:35 
Так и в чем смысл?

Бомж Виталий, написал скрипт который нафиг никому не нужен, кроме трех инвалидов, которые не в состоянии оформить аналог под свои нужды.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Андрей , 29-Июл-18 10:40 
Когда будете менять HDD десятками в день на своих системах - с удовольствием выслушаем Ваше «куку» :)
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено ананим.orig , 29-Июл-18 10:57 
man fsadm
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 29-Июл-18 12:27 
не, ну если хочется потрахаться - то man fsadm.
сперва вручную поправить таблицу разделов (и не перепутай fake mbr с настоящим)
потом вручную расширить lvm, если был
потом можешь и fsadm, только зачем? - из тех двух поддерживаемых им фс, которые сегодня еще актуальны, обе снабжены штатными ресайзилками.

а гуглю совсем не это надо, ему надо разом на десятке тыщ нод увеличить диски, причем ноды эти крутятся в виртуалке, диски берутся с хранилки и размер у них в общем-то тоже виртуальный.

докинули в хранилку петабайтов, дали одну команду на отращивание экспортируемых дисков, и второй прошлись по нодам, увеличив доступное для их fs.

почему они этот функционал не добавили в fsamd? ну так не на go жеж

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Грусть , 29-Июл-18 11:30 
Менять диски - это понятно, но зачем на старых изменять разделы? ;)
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 13:46 
Выглядит как остро стоящая проблема пользователя зфс: они там целыми днями что-то изменяют.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено tipa_admin , 30-Июл-18 14:35 
Рабинович напел?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено нах , 30-Июл-18 16:08 
да это обычная песнь опеннетовских хейтеров, которые, как обычно, совершенно не в курсе того о чем поют, а каникулы в разгаре.
(у владельцев zfs обычно ровно обратная  проблема - вовремя спохватиться отключить эту фичу на пуле - потому что оно, вот сюрприз-то - by default on. И никаких тебе, разумеется, проблем с недостачей inodes)

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Вареник , 29-Июл-18 17:26 
Так втыкаешь диск целиком как раздел в btrfs - и он живет в системе, пока физически не накроется.

Какие проблемы???

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено _ , 30-Июл-18 05:56 
>Так втыкаешь диск целиком как раздел в btrfs - и он живет в системе, пока физически не накроется.

В этом нет нужды -  бтрка сама сё угрохает :-)

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 30-Июл-18 08:22 
ну так диск-то и дальше живет себе в системе - просто пересоздашь на нем btrfs ;-)
Я, кстати, нашел ей прекраснейшее применение - вполне в духе линукса, модных технологий и общего маразма it-индустрии, и активно перевожу на нее сервера.

догадаешься, какое и почему?

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено funny.falcon , 30-Июл-18 09:52 
Логи хранишь? Она единственная из стандартной поставки ядра умеет компрессию.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 30-Июл-18 23:36 
не, докеров развожу. Они все равно рано или поздно разнесут себе свои оверлеи, если их запустить поверх ext4, и свалятся в kernel panic - поэтому если вместо этого развалится btr - тоже нифига не жалко, mkfs, и всех дел - образы заново из репы подтянет, а ничего ценного там и так держать нельзя.

компрессию у меня умеет zfs, но я ее боюсь - поскольку примерно знаю, сколько и чего в погоне за ней испортили в коде.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено SysA , 01-Авг-18 13:21 
A multipath'ing на БТРе ты уже научился делать? Или это не в духе "модных технологий и общего маразма it-индустрии"?.. :)
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 01-Авг-18 21:48 
ну да, "зачем же вам холодильник, если у вас -- еды нет?!"
докерные тома и вся fs под ними - write only и doomed to die, даже если бы я сумел запустить btrfs поверх маппера  - кому бы от этого полегчало?

развалится - тазик в ребут, пока второй поработает.

не хватает iops - третий склонируем, да и хоть десятый туда же.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено QuAzI , 29-Июл-18 10:45 
А это не тот же скрипт, что на всяких armbian при разворачивании на флешку выполняется, чтобы занять всё её место?
Ну и уменьшать свой размер оно конечно не умеет, только расти же?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено X86 , 29-Июл-18 11:13 
А Google только растет.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 29-Июл-18 12:30 
даже если что-то уменьшается - диски ж вируальные, им незачем уменьшать логический размер, хватит и discard.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено rm1 , 29-Июл-18 12:06 
При уменьшении надо СНАЧАЛА уменьшить ФС а потом раздел, судя по всему что скрипт реагирует на изменение размера раздела, он этого уметь не будет, т.к. уменьшать надо не после, а до этого.

Из перечисленных ФС уменьшаться без каких-либо вопросов и ньюансов умеет только Btrfs; XFS не умеет вообще, ext* вроде как умеет, но на практике часто (или всегда?) требует офлайнить ФС для этого. То есть если ФС корневая, то только грузиться с другого носителя, или нести диск с нею на другую машину.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено VecH , 29-Июл-18 12:05 
А уменьшать оно может?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Специалистам по всему , 29-Июл-18 12:30 
есть какие подводные у сабжа? Ну, там, нечитаемые сектора и прочие прелести кривого изменения размеров руками
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено s10 , 29-Июл-18 13:04 
Наверное, это лучше, чем bash-скриптик growpart из cloud-guest-utils с хуком cloud-initramfs-growroot из cloud-init.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено vitalif , 29-Июл-18 14:35 
Эээ. Каких ещё смещений?

Просто команда resize2fs /dev/sda1 по дефолту увеличивает ФС до текущего размера раздела. Никакие смещения там настраивать не надо.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 15:58 
> Утилита представляет собой обвязку вокруг штатных утилит resize2fs, xfs_growfs и btrfs

П-ф-ф-, читеры.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Старый одмин , 29-Июл-18 17:57 
Да, такие "чудеса" мы и на bash видали. Без всякого go, компиляции и т.д.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Andrey Mitrofanov , 29-Июл-18 20:26 
> Да, такие "чудеса" мы и на bash видали. Без всякого go, компиляции
> и т.д.

О, точно. То-то я думаю, видел же где-то.

Точно в баше.

Вот прямо в "консольке" сам набирал "lvextend -L xxxG vgN/lvMM", потом "xfs_growfs /mnt/diskMM", точно-точно!

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено _ , 30-Июл-18 06:13 
:-)
Андрейка, а чего XFS?
На кровавую ынрепрайзную шапку седьмого размера перешли или почему?
Я вот думаю ... ехать или нет ... :)
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 30-Июл-18 08:32 
учитывая "проверенную временем надежность" как самой xfs, так и лежащей под ней lvm, удивительную "эффективность" этого бутерброда, особенно если поверх оказывается еще и база данных с блоком не кратным этим двум, а то еще и улегшимся невыровненным на 4k диск, ехать туда есть смысл только если ты уже давно душой и телом продался редхату (то есть у тебя законченное решение на базе rh, именно законченное, а не свое на базе el)

в остальном еще лет на пять хватит ext4 nojournal для системы, и zfs для хранилища.
(и заметь, что никаки "утилиты для автоматизации" ей нафиг не упали - пишу письмо електрицское в отдел, отвечающий за san, и, вау, у меня все нужные диски волшебным образом отрастают.)

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено J.L. , 30-Июл-18 13:39 
> и заметь, что никаки "утилиты для автоматизации" ей нафиг не упали - пишу письмо електрицское в отдел, отвечающий за san, и, вау, у меня все нужные диски волшебным образом отрастают

я оценил, да ))

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Andrey Mitrofanov , 30-Июл-18 12:38 
> :-)
> Андрейка, а чего XFS?
> На кровавую ынрепрайзную шапку седьмого размера перешли

Да.

>или почему?

Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ... обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".  Да и на upstart и el6 до того почему-то был xfs на lvm, а до того xfs на drbd.

"Промышленное" костылестроение, оно такое -- кто строил, зачем строил...  не упало бы, держаться!.

И да, мои три-четыре "локалхоста" совершенно не показатель ни Передового Стиля, ни какого-то там Успеха.  Вот опять падать начинает -- перестройка и новые ценности по кругу опять.

> Я вот думаю ... ехать или нет ... :)

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено нах , 30-Июл-18 16:13 
> Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ...
> обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".

ну а куда ты еще перейдешь с el6? Вариантов-то ровно два - сидеть по прежнему на ней, потихоньку превращаясь в ретро-свалку, либо 7 и все что она с собой принесет.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Andrey Mitrofanov , 30-Июл-18 16:55 
>> Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ...
>> обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".
> ну а куда ты еще перейдешь

Ну, с dеbian 7.x wheezy на devuan 2.0 ascii тихо-тихо перехожу.

И да, там я тож lvextend/xfs_growfs и тож в баше нажимал. Ну, то есть, когда тот диск под reiserfs3 сдох слегка и поехал лечиться badblocks-ами с -w и тд и тпр.

>с el6? Вариантов-то ровно два -
> сидеть по прежнему на ней, потихоньку превращаясь в ретро-свалку, либо 7

Ну, расскажите мне больше про ретрО.  " Эт-т-дело я люблю. "(ц)

> и все что она с собой принесет.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 16:37 
Только ФС ещё и уменьшать бывает необходимо.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено 123 , 29-Июл-18 19:58 
Особенно xfs
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 02-Авг-18 10:20 
Вот поэтому, кто производит изменение размеров ФС её не использует.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 30-Июл-18 09:30 
Потому что ты не умеешь планировать дисковое пространство?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 02-Авг-18 10:18 
Потому, что часть дискового пространства может использоваться для разного рода тестирования, виртаульных машин и т.д.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Вареник , 29-Июл-18 17:29 
Проблема какая-то надуманная (типично для Гугла).

Какой-то сумашедший админ, на массиве в десятки дисков - разбивает разделы не на весь диск???

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 17:32 
man raid
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 29-Июл-18 18:43 
там скорее google:san, google:vm, google:saas...

очень вряд ли у гугля где-то будет "просто рейд". В таких масштабах - заманаешься диски менять.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 30-Июл-18 09:29 
>No manual entry for raid
>мамо, чому я кукарекою?
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 18:06 
>Какой-то сумашедший админ, на массиве в десятки дисков, вообще создаёт на дисках разделы???

меня такой вопрос больше впечатляет

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 29-Июл-18 20:38 
Это не проект гугла, её сделал Brad Fitzpatrick для собственных нужд -  https://twitter.com/bradfitz/status/1022929326520430592
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 30-Июл-18 11:45 
еще лучше. Щас бы каждый одмен выкладывал свои велосипеды на баше в опенсорц
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено vasia911 , 30-Июл-18 14:23 
Все конечно клево, решил проверить тулзу. В результате, мало того, что нужно за собой тянуть golang, так оно еще и не работает :)
# embiggen-disk /
error preparing to enlarge /: unsupported filesystem type "rootfs"
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 30-Июл-18 15:45 
Golang через пару лет будет везде, заменяя и python, и C++.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено нах , 30-Июл-18 16:14 
к сожалению, да.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Аноним , 02-Авг-18 10:37 
Python он вряд ли заменит, для наколенного программирования он менее приспособлен.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Homak , 31-Июл-18 23:15 
lol no generics
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено й , 30-Июл-18 22:18 
да не нужно его за собой тянуть. есть кросс-компиляция, это очень просто. собрал один раз на чём угодно и тянешь только статический исполняемый файл программы.
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено Инна Друзь , 31-Июл-18 14:45 
А я как дурочка lvresize --resizefs делаю...
"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено пох , 01-Авг-18 21:56 
а оно тебе такое - "обломись, бабка, ты еще vgextend забыла предварительно!"

а чуваку с гугля, вишь, надоело набирать эти бессмысленные заклинания вручную, и он запилил на игогошеньке (ибо модно) универсальную затычку, с перспективой что она вообще будет парсить syslog и без его участия отращивать, причем независимо, есть там lvm, или fs создана поверх rdma диска, например.

местные кукаретики тут, правда, пели, что они точно такое же на баше тридцать лет назад написали, но, видимо, перфокарты столько не жили, и показать свою писанину они постеснялись.

"Google опубликовал утилиту для автоматизации изменения разме..."
Отправлено vasia911 , 02-Авг-18 17:08 
Так вот же
https://github.com/alpacacode/Homebrewn-Scripts/blob/master/...