Опубликован релиз Proxmox Virtual Environment 9.0, специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix Hypervisor. Размер установочного iso-образа 1.6 ГБ...Подробнее: https://www.opennet.me/opennews/art.shtml?num=63688
> на базе Debian GNU/LinuxХм... Это многое говорит о качестве сабжа. Недавно тут выяснилось, что процесса ревью в дебиане нет вообще, и любой Ксиао Шенг Вэн может накоммитить такое!..
Офигенная штука! Отличные новости о релизе!
Кстати, ядро 6.14 у них давно в репе, пару недель юзаю - вполне всё хорошо.
Если честно, то к ядру 6.14 у части народа были вопросы. В основном, переставал корректно работать проброс реального железа через PCIe.
В общем, кто пользуется этой фишкой - не торопитесь.
какой ты честный, респект
ну мы же не на двачах - тут все мои друзья!
Очень важное замечание
Спасибо
Повременим теперь с апгрейдами
Просто интересно, крупные облачники что используют? Сабж реально настолько "промышленного уровня" как о нем написано?
Нет. СОХО-решение.
Для СОХО не чересчур ли функционал?
Да нет - базовый, для запуска кластера из нескольких год.
То что они называют sdn - не sdn, а так... Костыль.
А чего не хватает? Мне просто любопытно. Никогда не сталкивался с таким спектром задач.
> Да нет - базовый, для запуска кластера из нескольких год.
> То что они называют sdn - не sdn, а так... Костыль.другого sdn у меня для вас (страдальцев с линуксом) больше нет. Все понамногообещавшие решения уже проплыли кверху вздувшимся брюхом по реке мимо. Используйте нормальную СХД, а не этовот. (только убедитесь что ваше "6.14" не встает колом при переключении путей)
Кстати, кто в теме - пресловутый zVirt уже слез с дохлого гластера или все как было?
Ты sdn и sds часом не перепутал?
он тупенький, ему простительно
Да не только он перепутал.А расскажите, зачем вам SDN в небольших масштабах?
дык - за свитчи нормальные чтоб не платить!(они ж называют "sdn" пяток вланов на ovs, а не этовотвсьо с bgp-peering с девятитонниками)
а, точно. С snd (почти) все в порядке - они вроде бы даже научились через менюшки с окошком настраивать вланы на ovs а не "редактируйте вручную interfaces на всех двадцати хостах"
Нет не почти. Почти это когда ты тупо подключаешь физические интерфейсы Надя к ovs и далее - рулишь только им. Но это так не работает. До сих пор.
SDN это 3.14ц, если честно. Одни ребята собрали - радовались-не нарадовались, пока при блэкауте не легли пара ДЦ разом. А потом плакали, потому что оно легло целиком, а время развёртывания бэкапа в таких объёмах получилось кошмарное.
SDS, то есть, сорян, я тут SDN с SDS перепутал.
у кого чего болит, да
С sds в линаксе совсем беда - нет нижнего уровня. Совсем.
Zfs не кошерен, в ядро нельзя и вообще беда.
Btrfs нестабилен и судя по всему - никогда и не будет.
LVM2 - жутко неэффективный костылинг поверх которого многие нужные фичи реализуется как в анекдоте - удаляем гланды, электродом, ректально.То есть собирать диски в массивы и разбивать их на логические тома - линуксе как бы есть, но реально нечем.
Но и это не все... Синхронизация буферов... Вообще никак - быстрого и стандартного решения нет. Вообще. Двух головую схд - не сделать. Стандартными методами - никак.
Работа с nvme. Ну да-да, все заскрепели зубами. Но решается потихоньку - факт.
Кластерные фс - боль. Все - боль. Все требуют бородатого гуру с немытым хайром в свитере с аленями и большим бубном. И то рано или поздно вы прое...те свои данные - с гарантией.
iscsi target да-да, все в курсе. Есть, но как обычно в черезректальной реализации и с большими проблемами в производительности.
RDMA - требуется бубен. Очень большой бубен. И не факт что заработает.
Продолжение нужно?
Не нужно. Так-то всё описанное к SDS отношения почти не имеет :) SDS - это не о кошерности и синхронизации буферов.Что за кластерные FS - ну, OCFS2 требует куда меньшего уровня бородатости-свитерности, используем.
Ну если берём нетаппы, цепляет их по фс к нодам цепша, презентует им луны с массивов и называем эту конструкцию SDS... То таки да - тогда не имеет
Конечно!
Напишите как со всем этим в винде.
Windows Storage - отлично работает.
RDMA - просто работает
nVME - никаких проблем.
Ну а все остальное - реализуется не линаксом разумеется, а нормальными коммерческими решениями.
Ну, тут главное - внимательно смотреть, чтобы унутре "мамой клянус, нормальной!" СХД вот ОНО не оказалось. Или даже совсем ОВНО, ага - глянь на aerodisk, у них там имопортозамещенная гиперковергентная софтваребейзед распределенная аналоговнета ARDFS
А с нормальными СХД proxmox только только работать научился, вон прям в новости написано.
zVirt это ж oVirt, который уже все. Слабо верится, что они там сами что-то пишут.
А почему овирт все?
"главный сказал - всьо!"(ты же знаешь, кто тут главный)
Нимишайти продавать впопенштифт (да, согласно последней разнарядке обкома - именно это почему-то теперь объявлено новым окончательным решением виртуализационного вопроса)
а где тут - "научился"? Он вроде кое-как научился видеть схдшные снапшоты (в принципе, мог бы и не видеть, какая печаль... они ж от него вообще никак не зависят, стоп вм, ролбэк, старт, он даже не заметит, висел блок дивайс на конце fc, он и остался, главное не на ходу чтобы) - отличное достижение к аж девятой версии, не?> zVirt это ж oVirt, который уже все. Слабо верится, что они там сами что-то пишут.
Вон, пишутЪ что запилили аж лайв мигрейшн. Шта? Нет, не померещилось. У оригинала ее... нетЪ!
https://www.ovirt.org/develop/release-management/features/st...
(В смысле - это было такое вот планов громадье, но что-то помешало им осуществиться. Вероятно - то что планировщиков уволили нахрен.)Там другое смешно - sds у овирта был основан на (тогдашнем окончательном ит д) гластере. Гластер полетел в окошко еще впереди овирта. И? Ииииии?! И ничего. В смысле, ТАКОЕ болгеносерам разумеется не потянуть.
И из работающего внезапно остается... nfs. Здрасьте, приехали.
А потом аерофлот чем-то недоволен... да им молиться на тех хакеров надо, что на них все свалить можно, а не само паламалася и никто не знает с какого конца подойти.
Там сейчас новое подкатывают - устор. Отечественный вариант, но за лицензии платить отдельно.
Пользую как раз и для дома и для малого офиса: Есть все для удобной работы в браузере, но без сугубо жнтерпрайзных штук.Часто пользуют для хомлаб, когда на стареньком ПК или современном миниПк ставят PVE, а в нем уже всякие хомфассистанты, расы, среды разработки и торрентокачалки. И все это с минимальнызюм погоном вхождения.
Для офиса с парой-тройкой серверов удобно раздавать доступы и мигрировать виртуалки с сервера на сервер
Можешь рассказать о железе узла виртуализации?
Сравнивал с чем либо из российских продуктов?
> Можешь рассказать о железе узла виртуализации?- В офисе серваки 15 летней давности (часть померла уже) и mac mini 12 года
- Дома на мини ПК от intel N4000 до Ryzen 5825U> Сравнивал с чем либо из российских продуктов?
Очень бегло, с учетом того, что поднималось все еще до начала активного импортозамещения и бюджеты примерно околонулевые, то приходится работать с бесплатным опенсорсом
> - В офисе серваки 15 летней давности (часть померла уже) и mac mini 12 годавсе что надо знать о целевой аудитории...
>> - В офисе серваки 15 летней давности (часть померла уже) и mac mini 12 года
> все что надо знать о целевой аудитории...Я рад за вас, что Вы крутой спец, обслуживающий фермы серверов в выделенном датацентре, но
1. Изначально говорилось про SOHO сегмент
2. Пишу про старые сервера
3. Указываю, что коллегам удобней работать в браузере т.к. они не являются крутыми сетевыми инженерамиМожно сколько угодно пассивно агрессировать, но SOHO это Small Office/Home Office, это далеко не Enterprise и даже не SMB сегменты. 90% СОХО сегменту с головой хватит БУшного оборудования, которое закупалось за десятки 1000 баксов, а сейчас продается на авито по 40-60 тыс. рублей
Поэтому не вижу противоречия в треде: как заявлялось, так и обсуждается в рамках целевой аудитории.
>>> - В офисе серваки 15 летней давности (часть померла уже) и mac mini 12 года
>> все что надо знать о целевой аудитории...
> 1. Изначально говорилось про SOHO сегментдык ничего личного, это наезд на проксмокс и авторов новости копипастящих ту унылую саморекламу, а не тех кто его использует за неимением альтернативы.
(наколенные развертывания пир... трофейной вмвари - без обновлений и техподдержки - будут как бы не еще хуже, и не забываем про ее hcl)
> Можно сколько угодно пассивно агрессировать, но SOHO это Small Office/Home Office, это
ну как бы моя позапрошлая бывшая - как бы вполне себе small. Пара сотен сотрудников, пара десятков серверов (может чуть больше - не все в моем ведомстве) - вроде не энтерпрайз ни разу.
А на предыдущей вообще vmware ws поверх найденных на помойке серверов по пять тыщ ржублей (какая уж там миграция, куда и чего...) Кстати, на восемь лет хватило.
> 3. Указываю, что коллегам удобней работать в браузере т.к. они не являются крутыми сетевыми инженерамиЗдесь не требуется каких-то особых знаний и навыков. Если базиса у пользователя нет, то ему вообще опасно приближаться к устройству.
ну вот ты и звиздуй к устройству из где ты там в отпуске шляешься. Юзеру надо нажать кнопку ресет!
> ну вот ты и звиздуй к устройству из где ты там в отпуске шляешься. Юзеру надо нажать кнопку ресет!Когда я в отпуске, работают другие админы. Кнопку "Reset" пользователю нужно уметь нажимать, да.
> Когда я в отпуске, работают другие админы.классная работа. Много денег поди плотют?
> Кнопку "Reset" пользователю нужно уметь нажимать, да.
а мы вот бездельничаем. Кнопку ресет пользователю доверено нажимать самостоятельно.
Можно даже из отпуска.
>> Когда я в отпуске, работают другие админы.
> классная работа. Много денег поди плотют?Все относительно. По рынку и мне достаточно. Пытаешься как-то мой ответ обесценить?
>> Кнопку "Reset" пользователю нужно уметь нажимать, да.
> а мы вот бездельничаем. Кнопку ресет пользователю доверено нажимать самостоятельно.
> Можно даже из отпуска.Да пожалуйста. У меня тоже с этим проблем нет.
А у нас около полутора сотен железных серверов, половина набита видюхами, которые отлично проксипасятся в виртуалки, чистый прокмокс всем этим управляет и никаких проблем.
а какую крипту майните?
Вот, например, один из наших узлов...
Gigabyte R262-ZA2
AMD EPYC 7643 48-Core (96vCPU)
1Tb RAM
2x3.84Tb SSD + 2x7.68Tb SSD - под виртуалки
2x18Tb - под локальные бэкапы и прочий хламПроблем нет. Всё работает ровно так, как нам и надо.
Крутится что-то около 50-70 виртуалок (когда как).В комплекте с Proxmox Backup Server (несколько штук на других машинах) получается очень приятная система.
2x3.84Tb SSD + 2x7.68Tb SSD - под виртуалкиТо есть миграция невозможна? А если нода ляжет?
К сожалению, это не нода, а отдельный сервер. Хотя я давно говорил начальству, чтобы докупили ещё парочку машин под нормальный кластер, но тянут резину.К счастью, там не те виртуалки, которые в отключенном на 5 минут состоянии приведут к убытку во много денег. Так что я просто разверну их бэкапы на другом, более мощном сервере. Время развёртывания пару-тройку часов, если восстанавливать все виртуалки оптом (опыт имеется :) ).
Не, так-то есть и кластер, где виртуалки туда-сюда мигрируют влёт.
P.S. Правда, я недопонял, почему исходя из моей конфигурации миграция невозможна. Так-то там два (точнее, даже больше) самостоятельных пула под виртуалки. Если на другом узле кластера есть аналогичные пулы, то всё нормально должно мигрировать.
Ну как почему, общей хранилки нет.
Возможна миграция с переносом хранилища - но это явно не для случая упавшей ноды.
Ну либо физическая миграция вида вынул-воткнул :D
Для случая упавшей ноды там есть другой вариант.
Когда, грубо говоря, просто раз в N минут ещё живая нода шлёт инкрементальный дамп своего экземпляра VM на резервную ноду. И, если первая нода вдруг отдала концы, то автоматом подымается резервная копия из второй ноды. Изврат, но в качестве решения для бедных вполне работает :)CEPH я пробовал подымать на экспериментальном стенде из трёх нод - мне не понравилось. Как-то оно там ненадёжно работало, особенно после падения одной из нод. Плюс, сложность выше ПТУшника, а у меня задача была сделать так, чтобы и "племянник директора" после двухнедельных курсов мог мышкой клацать.
Впрочем, CEPH проверял давно, возможно, всё пофиксили.
>[оверквотинг удален]
> Когда, грубо говоря, просто раз в N минут ещё живая нода шлёт
> инкрементальный дамп своего экземпляра VM на резервную ноду. И, если первая
> нода вдруг отдала концы, то автоматом подымается резервная копия из второй
> ноды. Изврат, но в качестве решения для бедных вполне работает :)
> CEPH я пробовал подымать на экспериментальном стенде из трёх нод - мне
> не понравилось. Как-то оно там ненадёжно работало, особенно после падения одной
> из нод. Плюс, сложность выше ПТУшника, а у меня задача была
> сделать так, чтобы и "племянник директора" после двухнедельных курсов мог мышкой
> клацать.
> Впрочем, CEPH проверял давно, возможно, всё пофиксили.В идеале делать отказостойчивость на L7 надо, но это ресурсы.
В PVE есть репликация с ZFS, когда диск периодически реплицируется на другие ноды и при падении рабочей ноды виртуалка запускается на резервных, но есть даунтайм и шанс потери данных, которые не успели сброситься на диск и реплицироваться, поэтому, я за L7 для критически важных систем, там, кстати, в PVE 9 для этого что-то как раз и добавили
Нам пока оно не требовалось, но, надеюсь, когда-нибудь сделаем всё по-взрослому :)
> Пользую как раз и для дома и для малого офиса: Есть все
> для удобной работы в браузере, но без сугубо жнтерпрайзных штук.а зачем тебе - БРАУЗЕР для работы - с системой виртуализации?
Он тут вообще-то совершенно лишний. Сугубо ентер-прайсная штука (впрочем, тоже так себе).Вам же дали нахаляву vmware WS - казалось бы, можно жить а не страдать.
А твоя ws умеет между нодами онлайн миграцию ВМ делать?
там вон выше расписано про "онлайнмиграции" для типичного потребителя этой шв@60дкиной технологии.
С инкрементальными бэкапами на коленке и подобной ересью.(ну собственно, он-то все правильно сделал - из того что было. Про трехнодовый ceph совершенно верно - забыть как страшный сон)
> Про трехнодовый ceph совершенно верно - забыть как страшный сон)А можно поподробней? Я как раз ждал выхода 9 версии PVE и думал поднять 3 нодовый ceph кластер для легкого HA
В теории, на будущее 4 ноду еще может быть смогу, но там вроде нечетное количество должно быть
оно сдохнет. Не экспериментируй ни с тремя, ни с четырьмя.
Ну то есть туда можно положить только то, что не жалко потом поднять с бэкапа на ДРУГОЙ сторадж - пока ты наивно пытаешься еще оживить этот. Причем бэкап будет хорошо если вчерашний. И тот другой сторадж у тебя должен в этот момент найтись и быть рабочим.Там вопрос не "если", а "когда". Ни один человек в мире толком не знает что внутри этой хрени происходит и почему внезапно становится колом и ой осдшечка отвалилась и не приваливается. Есть лишь наборы заклинаний и колдовские книги, которые иногда срабатывают, а иногда нет.
(причем тут девятая версия не совсем понятно, с ceph там все примерно одинаково печально с шестой что-ли начиная. То есть как bluestore стал дефолтным. А до этого было совсем ужасно.)
Те у кого это работает (долго) - во-первых не делают конвергентную структуру (сторадж отдельно, вычисление отдельно, сети отдельные физически), во-вторых у них не три ноды и главное - главное - crush-failure-domain=rack
Навернулось - гори вот оно синим пламенем всей стойкой. У них еще есть.
При этом оно все равно очень медленное - в отличие от трехнодовых решений которые просто п-ц как медленные.В таком виде - ну, как-то, работает. (уныло глядя на мэйлру) А если перестанет - "перечитайте, пожалуйста, наш service agreement".
А, да - "на будущее" бесплатно не получится, потому что крашмап ты поменять уже не можешь.
Полностью двачую. После нескольких заходов на цеф осознал, что повех цефа нужен ещё один цеф.
не поверх а рядом. Чтоб было на что бэкап раскидывать. Ну когда у тебя единица ресайленса - "rack" - у тебя их найдется. А если еще не дорос - то и нехрен пробовать.С ним происходит ровно та же бодяга что шесть-восемь лет назад с гластером - хвостатые коллективы индусских разработчиков не успевают за хотелками менеджеров, и никто уже не помнит что было два года назад, и тем более уже никто не понимает как оно вообще работает.
При этом оно десятикратно сложнее (в гластере нарочно отказались от всего вот этого чтобы проект был целиком понятен и подконтролен, но и так не смогли) и самому починить не получится.
Ну или ты потратишь всю жизнь на расхлебывание одного глюка.
онлайн миграция отличный маркетинговый булшит для виртуализированных продаванова в реальности оно и без миграции тупит, а во время миграции так вообще не пригодно для сколь-нибудь массивного прода
так и смысл? миграцию между серверами я лучше через балансировку буду делать и репликацию
а не на уровне блочных устройств
> онлайн миграция отличный маркетинговый булшит для виртуализированных продавановСмотрите, смотрите - эксперт пожаловал!
Мы с феликс эдмундовичем вот вчерась прям в разгар рабочего дня (не одобряется, но лень было ждать и потом ночью возиться) хостик с полусотней виртуалочек пнули в офлайн - ну типа нужен был сильно в другом месте. И ничего, никто даже не заметил что они куда-то там автопереехали на ходу. И не жужжим.
Понятно, что цена вопроса не для конторы с тремя серверами и те б/у. Но ей, как тебе уже сообщил владелец сервиса, и мигрировать-то нечего и некуда, свободных ресурсов нет.
Причем тут "блочные устройства" - вообще непонятно. Переезжает computing node а не сторадж (но он тоже умеет. В том числе и в автоматическую балансировку.)
> онлайн миграция отличный маркетинговый булшит для виртуализированных продаванов
> а в реальности оно и без миграции тупит, а во время миграции
> так вообще не пригодно для сколь-нибудь массивного прода
> так и смысл? миграцию между серверами я лучше через балансировку буду делать
> и репликацию
> а не на уровне блочных устройствНе надо путать высокую доступность и миграции, даже онлайн.
Я согласен, что миграцию через балансировку и выше описывал вариант с L7 кластеризацией аля K8S
В PVE можно настроить маппинг оборудования, каталогов и при необходимости перенести виртуалку или контейнер на другой сервер онлайн или оффлайн, но надо понимать, что даже при онлайн переносе уходит время на копирование оперативной памяти по сети и у меня при тестировании этой фишки в PVE было такое,что перенесенная виртуалка не запустилась и пришлось делать ручной холодный старт, поэтому гарантии 0 даунтайма тут никто не даст, с другой стороны, произвести ручную балансировку нагрузки с простоем до пары минут никто не отменял (даже дома сейчас понял, что frigate NVR плохо работает на N150 и перенес на другой миник, потеря даже 1 минуты видео с камеры домофона для меня вообще не критична)
Не знаю, нам live migration столько времени и волос на опе спасла, что просто без неё никуда. Нет, если у вас полторы апликухи и все ваши - всё норм. Но у нас спектр от DNS до хостингов и войса и смесь OSS с проприетарью.
у них - серверов полторы. Некуда мигрировать. Было б куда - и оно бы уже тоже оказалось занято.
Сдохнет - значит будут жить без части сервиса, пока в ларьке за углом собирают новый сервер.
Как будто ты никогда в подвале не работал. Там час-два-день простоя не стоят столько.Для того чтоб иметь резервы для лайвмигрейшнов - надо совсем другими деньгами ворочать.
я не понимаю в унылых терминах про "полторы апликухи"спрячься за балансировщик с пачкой инстансов внутри, получишь HA (с резервированием балансировщика конечно)
а если у тебя приложения которые в процессе переноса могут тупить и тем самым не выполнять свою функцию - то ОК, только это не HA, а упрощение менеджмента, так что в нем "онлайн"??? чтобы десяток запросов от Васи Иванов выполнились пока переносится? я ж говорю маркетинговая шляпа
с тем же успехом можно было шатдаунить и переносить по одной, подумаешь даунтайм полминуты
Всё просто: если у тебя все апликухи умеют в L7-балансировку по двум нодам или ты можешь все их адаптировать - это очень хорошо. Но мир куда более суров, и очень многие апликухи так не умеют, и переписать их - надо очень много ресурсов.А если у тебя сторонние VPS, то тут и вообще шляпа - понимаешь, ты ничего с ними не сделаешь. И не погасишь тоже. Секунда пропадания на время миграции - не фатально.
> Всё просто: если у тебя все апликухи умеют в L7-балансировку по двум
> нодам или ты можешь все их адаптировать - это очень хорошо.
> Но мир куда более суров, и очень многие апликухи так не
> умеют, и переписать их - надо очень много ресурсов.
> А если у тебя сторонние VPS, то тут и вообще шляпа -
> понимаешь, ты ничего с ними не сделаешь. И не погасишь тоже.
> Секунда пропадания на время миграции - не фатально.можно и L4, зависит от приложения, но от апликух ничего экстраординарного не требуется - только быть stateless, что в принципе полезно даже если не прицеливаться на балансировку
в целом я понимаю о чем ты и не противоречу тому что ты пишешь, но прикол в том, что ты как провайдер, предлагая онлайн миграцию, посредством своих маркетологов называешь это бесшовной миграцией, онлайн миграцией, масштабируемостью или еще каким-то красивым словом, но это на самом деле этим не является, вот я и писал про маркетинговый булшит, это конечно все еще лучше, чем ничего, но не то чем называется и как преподносится
>> Пользую как раз и для дома и для малого офиса: Есть все
>> для удобной работы в браузере, но без сугубо жнтерпрайзных штук.
> а зачем тебе - БРАУЗЕР для работы - с системой виртуализации?
> Он тут вообще-то совершенно лишний. Сугубо ентер-прайсная штука (впрочем, тоже так себе).Ну как минимум для удобного и быстрого доступа к консоли виртуалки. На одном объекте был kvm через libvirt c которым работал через virt-manager и консоль, в момент переезда 1С не запустилась, потратил 2 часа на попытки подключится к консоли с макбука, в итоге в браузере в proxmox поставил ubuntu c virt-manager и там увидел, что внешний диск не удалось подмонтировать
Ну и можно спорить много о браузере для работы с системой виртуализации, но в SOHO сегменте браузер преобладает: Для проектов самохостинга чем доступней - тем проще и даже с веб мордой у пользователей возникают проблемы т.к. часто это не сетевые инженеры.
В рамках малого офиса не всегда есть выделенный отдел системных администраторов, бывает, что пользователи сами работают с системой и написать инструкцию вида перейди по этой ссылке,нажми сюда, введи вот это, получи результат намного проще, чем пускать в консоль или заставлять устанавливать десктопное ПО, а сегменте малого офиса с ПО вообще проблемы т.к. если в ентерпрайзе можно как-то систематизировать, то в SO приходится писать инструкцию под 3-4 операционки + мобилки, искать варианты ПО под все платформы, мрак в общем.
> Вам же дали нахаляву vmware WS - казалось бы, можно жить а
> не страдать.Ну во первых, я не страдаю
А во вторых, судя по ИИ от Гугла нам дали нахаляву в ноябре 2024, разворачивал PVE я в 20 или 21 году, и как-бы мне никто не заплатил за переезд на новую систему виртуализации, а без даунтайма в рабочее время, то это вообще развлечение на вечер, с плавным перетеканием в ночь и надеждой, что все получится вернуть к утру, когда пользователи выйдут на работу (я тут радуюсь, что не требуется работа 24/7 сервисов), а утром уже надо заниматься основной работой.
затем что это удобно и просто. В консоль любой виртуалки можно зайти потыкать.
это настолько удобно и просто что я всюду таскаю за собой ЭТО вот:
function start-vmrc($vmname) {
$vm = Get-VM -Name $vmname
$sessionMgr= Get-View $DefaultViserver.ExtensionData.Client.ServiceContent.SessionManager
$url = "vmrc://clone:{0}@{1}/?moid={2}" -f $sessionMgr.AcquireCloneTicket(), $DefaultVIServer.serviceuri.Host, $vm.ExtensionData.moref.value
&"\Program Files (x86)\VMware\VMware Remote Console\vmrc.exe" $url
}
(попячено с серверфолта, не благодарите. И да, знаю что криво, не пайплайнится)
- уверяю тебя, я уже все свои чорные дела сделаю и домой уйду пока ты будешь мышиком клац-клац-клац до нужной вмки (особенно когда их побольше одной и ищешь ты ее через поиск, потому что иначе хрен найдешь)
Даже с учетом того что у меня там будет не "безопастная vnc консоль" а еще одно окошко браузера без надобности вручную устанавливать угадай-как-мы-его-назвали пакет со SPICE, а скриптлетом стартует совсем отдельный тормоз на J#.Отдельно прикольно будет понатыкать что-то в консоли с могильника и немножко промахнуться по буковке.
Ну в этом релизе наконец-то нормальная поддержка FiberChannel SAN со снапшотами. А это уже не SOHO.
Ну, она там условно нормальная, ближе к начальной. Но лучше, чем было, это да.
Смотря какая у вас промышленность, и какая задача ставится. Если 10 виртуалочек на нём поднять и делать вид, что он в кластере, то сгодиться.
> Сабж реально настолько "промышленного уровня" как о нем написано?думаю, имеется ввиду, что его используют только эникейщики на российских заводах, что полностью соответствует действительности
там, скорее всего, альт виртуализация :-)
> там, скорее всего, альт виртуализация :-)это не для завода. Завод денег ЭТИМ не даст.
Там астра.
Эээээ... ни на одном не видел. Там или (теперь) трофейная vmware (Hyper-V не прижился) или вот уже чего-то импортозамещенно-сертифицированное навроде Бреста, хоста, zсквирта или еще какой нечисти - а уот это уот... Не, не видел. И не слышал даже.
В своё время я работал на удалёнке в стартапе из Кремниевой Долины, у них был Proxmox (я сам удивился тогда). Не для всего правда, только для внутренней инфраструктуры. Клиентские сервисы все были в облаках.
для стартапа в режиме быстро-быстро что-то выкатить и свалить в закат - ничего удивительного в общем-то. Денег платить за вмварь надо у инвестора клянчить, а он - жяяяядный."за эти деньжищи я могу еще одного хорошего инженера нанять, или полтора не очень" (c) как раз инвестор.
Ммм, ты мне "эникейщику" хочешь предложить кусок говна под названием OpenNebula, который так и не умеет в нормальные снапшоты с FC SAN? Теперь уверен, что OpenStack такая же переоцененная параша, требующая серьезных программистов для допиливания.
извини, в сортах говна не разбираюсь. с требованиями о предложениях обратись к начальнику смены
В смысле? Открыл америку. опенстек всегда и был набором кубиков (точнее разной кривизны очень сложных деталей с произвольным количеством и качеством граней) которые без напильника и клея друг к другу подогнать невозможно, и к внешней среде приспособить получившееся тем более.
Но поскольку у очень-больших все равно стоит задача как-то это все допилить до связности с той самой внешней средой - им проще решение из кубиков чем готовый проект в котором просто все работает из коробки, но не так как им вписывается в корпоративный дизигн. При этом одинаковые кубики таки масштабируются до бесконечности или во всяком случае около того.nebula ему не нравится, блин. ты еще nova не видел. И никаких тебе "fc san" - те кто размером с типичного потребителя опенстеков - разорятся на них и их поддержке. На те cinder, и п3рд0лься с ЕГО снапшотами как хошь.
А рабы, которые соберут всю эту кучу во что-то работающее - они, в перспективе - дешовые.
Понятно что "кубики", но из реально рабочего на Linux только Proxmox. ИМХО, я приветствую нормальные продукты, более-менее похожие на коммерческие. Допилы до корпоративного уровня - это уже совсем другие бюджеты и единичные конторы, которые могут себе это позволить. Что-то я сомневаюсь, что вы один из таких программеров, а иначе копаться в них смысла нет - гробить свое время ни на что.
> Понятно что "кубики", но из реально рабочего на Linux только Proxmox.ну если тебе из коробки, больше чем один сервер, и чтоб бесплатно ass in free bear - то да.
А вот если ты уже дорос со своим ass a service до состояния когда "а давайте подключать коммерческих юзеров к нашей инфре за малую мзду, ресуры-то есть" - то опаньки... чо, вот так и высунешь вебморду проксы на улицу? Вот именно - придется пилить.
То же самое если станет ясно что возможности бухгалтерии по апгрейду твоей хранилки исчерпались и дальше начинаются какие-то астрономические ценники. (а проксин цеф таки не является готовым надежным решением)В общем, в какой-то момент орава таких пильщиков в растущей конторе таки набирается и уже может запилить и нечто более сложное чем обертки над коммерческим решением забесплатно. Ну или деньги падают с неба и ораву приводит очередной интегратор (а ты останешься за ними выгребать).
Копаться самому смысл только посмотреть не получится ли продаться этим большим в розницу и хочешь ли ты быть таким рабом в принципе. У себя дома под столом ты точно этого не хочешь, да и денег не напасешься (питоноподелки прожорливы).
Ну вот айерофлот (слыхал о таком?) использовал zVirt. Не помогло. Думали что проклятые хакеры придут в ужас от интерфейса на русском (вперемешку с командным и матерным), и пойдут искать другую цель, но те, видимо, китайским переводчиком как-то справились.Наверное в названии еще букву О надо было где-то разместить, тогда б точно сработало.
А сабж... настолько промышленного уровня, что перечитывание новостей этого релиза вызывает очередной приступ тягостного недоумения - как они вообще без этих вот вещей претендовали на какую-то там замену чему-то кроме windows virtual PC.
(причем ощущение повторяется из релиза в релиз, хотя казалось бы...)Зато у них теперь вот - "безопасТный vnc" (логично, ведь SPICE предан анафеме и скоро доломают совсем)
И блочные снапшотики! (а кто знает - это ведь в qemu чего-то наконец сделали? Не сами же ж они?)
Зато, вон, гляди - вебмордочка для телефона! Теперь ты можешь прямо в метро одним пальчиком урони... починить аэрофлот!
С виндой в корпоративной сети и украинскими подрядчиками с доступами вообще без разницы, что использовалось в этом эрофлоте. Чтобы "помогло" надо менять кадры и строить процессы принципиально по-другому. Корпоративная модель условно мирного времени (и растущего рынка) принципиально не способна защищаться от настоящих угроз. Даже против мамкиных хакеров с бюджетом в 1000 долларов не способна. Против поддерживаемых спецслужбами вообще без шансов.
>>>без этих вот вещей претендовалиЭтих это каких этих?
вот прямо по списку:
Добавлена поддержка нового механизма создания снапшотов виртуальных машин
(как у взрослых, то есть, а не то куемовое недоразумение непонятно для чего нужное)Предложен новый механизм "HA affinity rules", позволяющий управлять распределением
ну это вообще с добрым утром.
В стеке программно определяемых сетей (SDN, Software-Defined Networking) появилась функция SDN Fabric, упрощающая настройку и управление сложными маршрутизируемыми сетями из соединённых между собой узлов. Для повышения надёжности SDN Fabric может направлять межузловой трафик по разным маршрутам и автоматически обрабатывать сбои сетевых карт.
ну охренеть, достижение. (да, понятно, что бондинг наше всьо, но если карт недофига что делать-то будим? Перемешаем управление, ха и юзерский сегмент в один транк, конечно же! (и недо-sds туда же)
Ну и это только девятая версия. Восьмая тоже была с богатым списком умений наконец-то удалять гланды - и с такой же рекламой что мы де почти как вмваря и хуперве только шв.... ass in free beer!
Я думал Вы конкретное что то хотите, сильно ентерпрайзное, а у вас сарказм.Такое ощущение что Вы им грузовик денег отвезли а они демоноиды Вам не сделали что то! Ребята вообще ни на что не претендуют, просто пилят что могут и за что им клиенты отвалили денек.
Я согласен что данный проект не совершенен, но и в таком виде не плох.
> Я думал Вы конкретное что то хотите, сильно ентерпрайзноеда какое там сильно энтерпрайзное если у тебя host affinity - уот, в свежайшей недо-бете появился.
> Такое ощущение что Вы им грузовик денег отвезли а они демоноиды Вам
> не сделали что то! Ребята вообще ни на что не претендуют,дратути. А кто ж это вот написал - "способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix Hypervisor", кто это сделал?!
> Я согласен что данный проект не совершенен, но и в таком виде
> не плох.это ты четвертую версию не видел просто ;-)
Мне оно больше кажется похожим не на "клиенты отвалили", а скорее на хобби-проект. В качестве которого вполне в общем и ничего - "вот, взяли набор шв... бесплатного софта и приделали к нему вебморду и еще нескучный рест апи" (что там помимо морды - учоные спорят).
"вышло внешне даже похожее на как у больших, и даже можно иногда пользоваться, аккуратно обходя грабли"Ну а что он еще и спонсируемый - повезло ребятам.
>>> А кто ж это вот написалДык, кто новость написал. Сами то они пишут что им перестала нравится вари и они запилили свой KVM с LXC и не скошной webкой.
>>>это ты четвертую версию не видел просто ;-)
Угумс, только с 5ки счупать начал.
>>>а скорее на хобби-проект.
Так и было, сами на сайте и пишут
>>>Ну а что он еще и спонсируемый - повезло ребятам.
Ну как повезло, когда варю штормит, то за CPU то за хост то за ядро денег хотят (а давайте вот возьмём и разорвём все контракты и заново подпишем, афигеть идея). Любой начинает смотреть по сторонам в поисках более тёплой норы.
Ну и да, ребята взяли стандартный софт и над ним сделали просто webку. Мне кажется что есть смысл.
> Угумс, только с 5ки счупать начал."поставиться на zfs mirror мы можем, но загрузиться уже не" ;-) И другие забавные приключения.
В пятой таки да.> Ну как повезло, когда варю штормит, то за CPU то за хост то за ядро денег хотят
мы считали - даже чуть дешевле стало, на радостях прибили два ставших лишними кластера (приходилось хитрым образом делить лицензии чтоб всем хватило, о подробностях умолчу). Но блин паспорт не того цвета все портит, а открыть филиальчик в Кобулети наша контора так и не согласилась.
> Ну и да, ребята взяли стандартный софт и над ним сделали просто webку.
cli тоже сделали. Там в целом все правильно - вцентер тоже не боги делали. Но был бы у них под этим всем esxi а не набор ужасных поделок...
esxi - так это и есть ужасная поделка.
Да хрен бы с ним, с аффинити, там дрс все равно нет, виртуалки сами никуда не ездят. Но они запилили конвертер для вари, а поддержки схд не было и не понятно, что вмварщики со своими хранилками должны были делать, на помойку нести или через блокбридж подключать.
там evc нет, что хужее. Любая live-migration может обернуться not-so-live если соседний хост не точно такой же. Ну или вовсе не включиться выключенная вм, если включается не на точно том же хосте.> Но они запилили конвертер для вари
ну это ж конвертер для васянского "бесплатного" esxi сервера в единственном экземпляре или пары с краден.... нелицензированным центром. Без всех этих вот сложных ходов.
Вы все же слишком много ждете от хобби-проекта.
Используют. Например: мангохост, хосткей, хостингер, каматера и целая куча других. Вроде бы, облако аэрофлота полностью или частично на proxmox.
Крупные в основном используют openstack. Но для него нужен масштаб (два датацентра из 10 серверов не покатят) + его рехнёшься поддерживать.
openstack/KVM, если точнееAmazon модифицированный Xen использует - но Amazon это особая тема.
openstack/KVM на домашних серверах не получится запустить?
> openstack/KVM на домашних серверах не получится запустить?Почему, получится, но чтобы что-то работоспособное получить (не лабу) - вам их потребуется достаточно много
> Amazon модифицированный Xen использует - но Amazon это особая тема.Это было давно и неправда ;)
Гамазон уже давно почти всю виртуализацию воплотил в железячных решениях, что бы накладные расходы прцессора на виртуализацию уменьшить и больше хомячков упаковать на один хост.
(Kurwa, я написал это предложение не использовав ни одного слова - кальки с англосакского!)кому интересно - читайте их технопоп материалы про Nitro.
А live migration у aws до сих пор не просматривается.
> А live migration у aws до сих пор не просматривается.одноразовым инстансам оно как-то и не очень надо.
Неодноразовые принято держать у себя под столом, на амазоне обойдется дороже и будет всем хуже.> ни одного слова
"хост" - пересдача. Написал бы "коробка", почти и не соврал бы.
> Неодноразовые принято держать у себя под столом, на амазоне обойдется дороже и будет всем хужеэто понятно уже давно, но к сожалению "не только лишь всем"
кроме того хасты имеют тенденцию из одноразовых становиться многоразовыми, если очень хочеться что бы хоть как-то (прямо как резинотехнические изделия), пока девляпсы как всегда все пролюбили и пайплайн не арбайтен.> "хост" - пересдача
да, бегу учить уроки
> Неодноразовые принято держать у себя под столом, на амазоне обойдется дороже и будет всем хуже.Геораспределённый стол с зонами доступности и избыточным подключением к магистралям. Куплю дорого.
А чтобы не было дорого на амазоне надо уметь им пользоваться.
некоторые вещи, не поверишь, до сих пор не геораспределяются. Вообще. Никак.Не все в мире можно уложить в одноразовые микросервисы.
> некоторые вещи, не поверишь, до сих пор не геораспределяются. Вообще. Никак.К моему великому сожалению. В июле домигрировали такую вот нераспределяемую хтонь в ажур вместе со всеми 700 тб /dev/random^wфинансовых данных.
> Не все в мире можно уложить в одноразовые микросервисы.
Не всё. Какие-то сервисы могут быть и одноразовыми макросервисами, ладно уж.
так было все.
стойки в датацентрах на разных континентах, забитые серверами, с подключением к 2-3 tier1 интернет провайдерам, напрямую к fiber ring не воткнулись только потому что не было достаточно шарящего в BGP человека.
нет, lift and shift в облако, оборудование на свалку.
а потом "а че это xlarge сервер такой дорогой?" а там всего 2 ядра
Я как раз lift and shift занимаюсь. Пока ещё не было случая, чтобы aws/gcp/azure оказался дороже владения датацентром.> "а че это xlarge сервер такой дорогой?"
Потому что, повторюсь, надо уметь пользоваться (и договариваться), а не платить по прейскуранту за on-demand и думать, что все так делают. Прейскурант — это чтобы чернь с впс за доллар ковры не пачкала в парадной.
уже давно нетподелие их для EC2 называется AWS Nitro и основана на KVM
Xen был лет 10 назад
P.S. не забуду добавить, что AWS и прочие гиперскейлеры - тормознутое оверпрайснутое ражно
Amazon EC2 supports the following hypervisors: Xen and Nitro.Nitro-based instances
General purpose: M5 | M5a | M5ad | M5d | M5dn | M5n | M5zn | M6a | M6g | M6gd | M6i | M6id | M6idn | M6in | M7a | M7g | M7gd | M7i | M7i-flex | M8g | M8gd | T3 | T3a | T4g
Compute optimized: C5 | C5a | C5ad | C5d | C5n | C6a | C6g | C6gd | C6gn | C6i | C6id | C6in | C7a | C7g | C7gd | C7gn | C7i | C7i-flex | C8g | C8gd | C8gn
Memory optimized: R5 | R5a | R5ad | R5b | R5d | R5dn | R5n | R6a | R6g | R6gd | R6i | R6idn | R6in | R6id | R7a | R7g | R7gd | R7i | R7iz | R8g | R8gd | U-3tb1 | U-6tb1 | U-9tb1 | U-12tb1 | U-18tb1 | U-24tb1 | U7i-6tb | U7i-8tb | U7i-12tb | U7in-16tb | U7in-24tb | U7in-32tb | U7inh-32tb | X2gd | X2idn | X2iedn | X2iezn | X8g | z1d
Storage optimized: D3 | D3en | I3en | I4g | I4i | I7i | I7ie | I8g | Im4gn | Is4gen
Accelerated computing: DL1 | DL2q | F2 | G4ad | G4dn | G5 | G5g | G6 | G6e | G6f | Gr6 | Gr6f | Inf1 | Inf2 | P3dn | P4d | P4de | P5 | P5e | P5en | P6-B200 | P6e-GB200 | Trn1 | Trn1n | Trn2 | Trn2u | VT1
High-performance computing: Hpc6a | Hpc6id | Hpc7a | Hpc7g
Previous generation: A1For more information about the supported versions of Nitro hypervisor, see Network feature support in the Amazon EC2 Instance Types Guide.
Xen-based instancesGeneral purpose: M1 | M2 | M3 | M4 | T1 | T2
Compute optimized: C1 | C3 | C4
Memory optimized: R3 | R4 | X1 | X1e
Storage optimized: D2 | H1 | I2 | I3
Accelerated computing: F1 | G3 | P2 | P3
там есть волшебные слова "current generation instances"
Но да, судя по всему, уходят на Nitro.
Про облачников хз, корпы в основном на вмвари. Те, кого видел на проксмоксе из разряда "решили сэкономить на виртуализации и пытаются как-то на этом ехать"
Мы на XenServer (ISP, можно считать корпом). Просто вот реально всё посмотрели - и ничего кроме VMWare и XenServer не зашло, но VMWare в нашем применении - это слишком дорого.
Крупное или мелкое не знаю, отель 5 звезд на одном из курортов, на прошлой работе, запустили на сабже новые виртуалки, старые остались на Hyper-V,
В то время как тут разные умники пыхтарят разную чушь:
У меня прод среды с 2014 ( версия 3.x )
19 хостов и 350 виртуалок в самой большой, тз тех, что я обслуживаю.Из шероховатостей текущей версии:
Рюшики в виде отчётов и перформанс каунтеров из коробки отсутствуют.Через доп.софт/родная функциональность в разработке.
Синхронизация виртуалок между хостами/кластерами специфическая (У конкурентов она реализуется только дополнительным не дешевым софтом).
CEPH уступает VSAN по производительности и эффективной ёмкости.(Raid 1 vs Raid 5)Крупные облачники используют OpenStack - он как раз и придуман для Больших и Очень больших сред. Среднюю там даже не выгодно поднимать.
вот изумительно - как можно "прод среды с 2014", и не знать про ceph osd pool create <pool> erasure ? Хотя бы в теории. Мышиком клик-клик-клик?(осторожно, в именно таком виде эта команда создаcт при314зднутую конфигуру непригодную ни для какого мыслимого практического применения, да еще и фс на ней создать нельзя - но это обычно для ceph, пользуемые им должны гордиться умением преодолевать трудности)
Прекрасно себя зарекомендовал даже в довольно крупных кластерах(5к машин)
Кстати, только-только зарелизился и Proxmox Backup Server 4.xx
Оно уже научилось не прибивать OOM киллером виртуалки в дефолтной конфигурации?
просто выключи оверкомит. И наслаждайся невозможностью запустить даже третью виртуалку.
(как ты себе технически представляешь отсутствие оом-киллера при оверкомите - я даже предположить боюсь)
Всего на сервере 32GB RAM, на нём запущено 3 VM: 16, 8 и 4 GB RAM соответственно. Всем трём лимит памяти задан статически, balloning отключен. Время от времени OOM убивает одну из виртуалок. Я понимаю, что система там может что-то очень важное делает и ей не хватает гигабайтов, вопрос почему OOM не настроен не трогать critical path для работы vm. Ей-богу, пусть лучше sshd убьёт, ребут ноды запланировать куда проще — два клика и готово.
ну а ЧТО у тебя в системе управляющей виртуалками - не "critical"?Собственно, отключай оверкомит (в чем проблема-то) и убедись - даже не запустится у тебя третья. А может и вторая тоже.
Можно вместо этого руками расставлять oom-scores, ну у тебя и навернется все управление - так что и консоль не откроешь.
> Ей-богу, пусть лучше sshd убьёт
не лучше, потому что того ssh'а у тебя... где он там:
4 0 1319 1 20 0 72304 1452 - Ss ? 1:52 /usr/sbin/sshd -D
ну и чем тебе помогут полтора килобайта? (и даже все 72 виртуальных)> Ей-богу, пусть лучше sshd убьёт, ребут ноды запланировать куда проще — два клика и готово.
Куда ты кликать-то собрался? sshа нет, вебмордочку тоже убили (еще килобайт аж шесть сэкономили), а памяти как не было свободной, так и нет ее. Тут только по кнопке reset кликнуть можно, физической, если в твоем подкроватном сервере предусмотрена. Хорошо если еще к самой виртуалке для шатдауна подключишься, там в общем нет ничего в userspace кроме самого kvm.
Ну нету у тебя памяти на три таких прожорливых. Либо докупай эту самую память, либо занимайся кроиловом с baloon (оно в квм так себе работает, так что вряд ли поможет) либо за новым "сервером" в ларек. Ну сколько такое недоразумение у тебя может стоить - тыщ 20 наверное? Если виртуалка не ценнее разовой выплаты такой суммы - ну выключи ее к чертям.
> Куда ты кликать-то собрался?В pdu на иконку с розеткой, куда ж ещё, ssh-то лежит.
> Ну нету у тебя памяти на три таких прожорливых.
4ГБ свободно. Дисковый кэш системы вмки не юзают, грузятся с жёстких дисков напрямую (sdb/sdc/sdd). Какие должны быть накладные расходы на ядро и сетевой мост, чтобы такое происходило?
> за новым "сервером" в ларек
Не, проще выкинуть. Пока кроме электричества ничего не жрёт, то как стенд для лабы пусть трудится, иначе — в шреддер.
> Дисковый кэш системы вмки не юзают, грузятся с жёстких дисков напрямую (sdb/sdc/sdd).я не уверен что это ТАК работает. В теории могло бы но вот не факт что тут получилось.
> Какие должны быть накладные расходы на ядро и сетевой мост, чтобы такое происходило?
top запустить да и посмотреть, что, никак?
Помимо ядра и сетевого моста у тебя нескучный вебсервер с нескучным rest api, и еще пачка интересных вещей (кстати, совершенно непонятно, зачем они в твоей схеме нужны. И что мешало без всяких проксмоксов запустить три раза команду kvm прямо из шелла.)А в свете современный технологий кодинга - 4g под систему управления в общем-то и ниочем.
Name cpudemand guest mem host mem
---- --------- --------- --------
vCenter 1262 6615 19552и это ночью, когда к нему и обращений-то нет.
> я не уверен что это ТАК работает. В теории могло бы но вот не факт что тут получилось.Я уверен, что именно так — любой иной способ был бы полной локалхостной лажей. Какая-то дополнительная буферизация может и есть на пути, но точно не в размере гигабайтов.
> top запустить да и посмотреть, что, никак?
Это ж кого-то надо посадить смотреть, а у меня лишних людей нет чтобы от работы оторвать стенд в лабе чинить. Раз в сутки кроном проверяет и на том спасибо.
> Помимо ядра и сетевого моста у тебя нескучный вебсервер с нескучным rest api, и еще пачка интересных вещей
Ну вот пусть бы их oom и убивал.
> (кстати, совершенно непонятно, зачем они в твоей схеме нужны. И что мешало без всяких проксмоксов запустить три раза команду kvm прямо из шелла.)
Потому что написано на заборе: готовое решение бесплатно. Кто ж знал, что там васянство такое что у qemu oom score надо вручную крутить или кроном подпирать. Ну и так, команду писать всегда дольше, чем в готовом интерфейсе мышкой кликнуть.
Небось на zfs работает, а настройки потребления памяти по умолчанию?
у него прямое подключение физических драйвов. Если zfs не пользоваться - то ее настройки потребления памятью ни на что не влияют, нет ножек, нет варенья. Нет обращений к фс - память не выделяется (и ту что выделена потихоньку освободят).У него 4g всей памяти вместе с дисковыми буферами на весь проксмокс остается после запуска вмок. Что реально ниочем.
На zfs околонулевой i/o, там только сам проксмокс и исошка на 300 мег с которой вм разворачиваются.
Ой, смотрите чё нашел:
https://mylemans.online/posts/Ceph-Upgrade-Reef-to-Squid/
https://mylemans.online/posts/Proxmox-Upgrade-8-to-9/слабоумие и отв... и слабоумие.
(правда, он говорит что это хомлаба и ее типа видимо не очень жалко)