Доступен (https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-4) релиз Proxmox Virtual Environment 5.4 (http://www.proxmox.com), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://download.proxmox.com/iso/) 640 Мб.Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса: поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
В новом выпуске (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.4):
- Пакетная база обновлена до Debian 9.8, задействовано ядро Linux 4.15.18. Обновлены версии QEMU 2.12.1, LXC 3.1.0, ZFS 0.7.13 и Ceph 12.2.11;
- Добавлена возможность установки Ceph через GUI (предложен новый мастер установки хранилищ Ceph);
- Добавлена поддержка перевода виртуальных машин в спящий режим c сохранением дампа памяти на диск (для QEMU/KVM) ;
- Реализована возможность входа в WebUI с использованием универсальной двухфакторной аутентифиации
(U2F (https://en.wikipedia.org/wiki/Universal_2nd_Factor);
- Добавлены новые политики обеспечения отказоустойчивости, применяемые к гостевым системам при перезагрузке или завершении работы сервера: freeze (заморозка гостевых машин), fail-over (перенос на другой узел) и default (заморозка при перезагрузке и перенос при завершении работы);
- Улучшена работа инсталлятора, добавлена возможность возвращения к прошлым экранам без перезапуска процесса установки;
- Добавлены новые опции в мастер создания гостевых систем, выполняемых на базе QEMU;
- Добавлена поддержка "Wake On Lan" для автоматизации включения запасных PVE-узлов;
- GUI с мастером создания контейнеров переведён по умолчанию на использование непривилегированных контейнеров;
URL: https://forum.proxmox.com/threads/proxmox-ve-5-4-released.53297/
Новость: https://www.opennet.me/opennews/art.shtml?num=50496
Сейчас конечно набегут админы датацентров и скажут что это жалкая поделка. Но вот стоят у меня 3 ноды с 2013 года, еще версии 2.3. Крутятся на них 12-18 виртуалок (в основном виндовых) и вот ну совсем никаких проблем.
А где-нибудь есть вообще сколько-нибудь адекватное сравнение этих платформ для виртуализации? Плюсы? Минусы? Сильные стороны каждой? Фирменные фишечки. Можно даже без учёта коммерческих, чисто свободные. Потому что если будут в сравнении коммерческие, то стопудово будет какая-нибудь заангажированность. А так... там свободно, тут свободно... никакой заангажированности.
Это очень годная надстройка над kvm. Самый главный плюс - бесплатность.
Самый главный плюс это kmv+lxc и простая настройка
да, главное - ХАЛЯЯЯЯЯЯВААА!любой навоз это комьюнити схавает не жуя, лишь бы бесплатно.
Топ-топ манагеры одобряют, кстате.
Такая бесплатность, о которой сказано выше, очень дорогого стоит.
Посудите: Продукт делается бесплатным, так как это рабочий инструмент, в развитии которого заинтересованы, и, в итоге, развивают и добавляют и отлажывают самое нужное и критичное. В отличае от коммерческого (за все не говорю, но многие примеры прям вот сейчас на глазах), где важно именно срубить боббла а чо за этим стоит вааще не интересно, и в итоге продают не нужное.
если вы, о незамутненный, не в курсе, продукт под названием pve делается за денежку немалую, получаемую от купивших подписку, а нате-на-лопате вам выкидывают, потому что в основе лежит gpl-код и дистрибутив debian, который, хошь не хошь, приходится предоставлять на шару.ну попутно еще используя вас как бесплатных бетатестеров, поэтому версия у вас может быть либо распоследняя, либо без апдейтов (c gpl по их мнению все в порядке).
А чтобы продать что-то ненужное - надо сперва найти кого-то, кому оно хотя бы покажется нужным, иначе бабла не будет.
вы правы.
Основных минусов в сравнении с той же варью, на мой взгляд, два: 1) крайне кривая и неудобная реализация сети, заставляющая заниматься нетрадиционным секасом в консоли и править текстовые конфиги даже для того, чтобы банально рассадить виртуалки по разным вланам; 2) крайне куцая статистика, низкая детальность, очень сложно вести отчетность по нагрузке и что-то планировать.
Сюда же можно добавить несколько менее существенные моменты, вроде достаточно низких возможностей по автоматизации, как встроенными средствами, так и с помощью скриптов. Плюс, не очень удобно управлять ресурсами, ограничивать их, настраивать приоритезацию, и т.п.
Опять же, присущи некие общие проблемы линукса, типа того, что что-то может отвалиться при обновлении, или конфиг не подхватиться (что довольно вероятно с учетом количества конфигов, которые надо писать вручную).В принципе, для небольших инсталляций, где редко что-то меняется и нет каких-то специфичных требований - система вполне годная. Работает. Жрать не просит. Из всех опенсорцных аналогов, пожалуй, самая простая в развертывании и настройке.
> крайне кривая и неудобная реализация сети, заставляющая заниматься нетрадиционным секасом в консоли и править текстовые конфиги даже для того, чтобы банально рассадить виртуалки по разным вланамВраньё. Минимум с 3.X такого нет, даже в "дефолтном" режиме с tap+bridge.
> крайне куцая статистика
Встроенная-то? На мой вкус она даже избыточна. Админу локалхоста с одной нодой этого хватит, а при большем количестве нод это всё равно будет мониториться внешними средствами, тем же заббиксом.
> Враньё. Минимум с 3.X такого нет, даже в "дефолтном" режиме с tap+bridge.Вот именно там и пришлось это делать. В чем вранье-то? Может, ткнешь носом в документацию, где показано как это сделать через гуя даже в самой распоследней версии? В смысле, как указать к какому влану подключается виртуалка без предварительной правки вручную сетевых конфигов, причем на каждом хосте? Потому что ясен пень, что когда уже руками разрисовал конфиг в несколько десятков строк, где все это расписал, потом раскидал его по хостам - потом уже да, все из гуев дальше конфигурится. Но это именно что - потом, а я говорил про другое.
Я, конечно, понимаю, что невежество - это такой стиль общения на Опеннете, но когда кого-то упрекаешь во вранье - пруфы давай.> Встроенная-то? На мой вкус она даже избыточна.
А причем тут твой вкус? Сравнивается не твой вкус, а некие требования по статистике, которые наличествуют в разных компаниях.
> Админу локалхоста с одной нодой этого хватит
Понятно. Сказал бы сразу, чтобы я зря не распинался.
Может я не уловил кейс с вланами, но уже достаточно давно через гуи в настройках сети виртуалки ставится галочка влан и указывается номер. Все, виртуалка в указанном влане.
> в настройках сети виртуалки ставится галочка влан и указывается номера на интерфейсе _самого_ хоста (всех шестидесяти в большом кластере) - этот влан сам собой, конечно же, появляется?
нет бл;;; сантаклаус принесет, а свитчи ты тоже Proxmoxом настроишь ? ГеНИЙ!
Ну и автомитизировать "через проксмокс" вообще маловероятна в этих вещах, плавал знаю.
Берешь конфиг манагер ( ансибл например ) - И РИСУЕШЬ КАК ХОЧЕШЬ
и эти люди будут нам петь про ужасы вмвари, где эту нереально сложную задачу решили этак лет десять назад (а может и больше).
И никаких костылей и подпорок в виде "менеджеров конфигураций" (с установкой либо агента вручную на каждый хост, либо с вручную же раскладыванием по хостам ключей от всего) им для этого не понадобилось, что характерно.И да, свитчи (виртуальные) вмварь тоже настраивает за меня автоматически. А невиртуальный он один, и не требует вручную шариться по всем 60 коробкам для великой задачи добавления вланов.
Вмварь на какой-то линь ставится или баре метал (готовое решение все в себе)? Просто во втором случае сложно что-то покрутить руками в конфигах, а в дебиане что есть проксмокс еще можно служб понаставить и поднастроить...
> Вмварь на какой-то линь ставится или баре метал (готовое решение все вготовое решение. Врут что линукс только эмулируют (и недавно вон суд выиграли).
Впрочем, vcenter - это tomcat'овская приложуха, бывает в виде как линуксной, так и виндовой виртуалок. Виндовая жрет больше и ничем не хороша.> себе)? Просто во втором случае сложно что-то покрутить руками в конфигах,
крутить ручками в конфигах в энтерпрайзе немодно - потому что об твое кручение потом обломается автоматика вцентра, или ансибль его просто снесет, не заметив, если ты любитель опенсорсия. А хостов бывают не штуки, а сотни или тысячи.
А так - конфиги доступны, и, в отличие от, _документированы_. Что иногда позволяет сделать неведомую хрень, например, у меня есть занятная комбинация вцентра внутри изолированной сети за натом, общающегося с esxi через виртуальный файрвол с этим самым натом - формально конфигурация неподдерживаемая и гуевых ручек для нее нет.
(не делайте так, глюков не оберетесь, это не production)> а в дебиане что есть проксмокс еще можно служб понаставить и
> поднастроить...и вот зачем нам левые службы на кластере хостов виртуализации, весь смысл которого в предсказуемости работы и отсутствии лишних деталей?
Ну да, написатьint Po100 - 160
switchport trunk allowed vlan add 666это такая неподъемная задача...
> 1) крайне кривая и неудобная реализация сети, заставляющая заниматься нетрадиционным секасом в консоли и править текстовые конфиги даже для того, чтобы банально рассадить виртуалки по разным вланам;Серьёзно?!
Стандартный дебиан и /etc/network/interfaces..
vs.. что?
Берем решения от мс, вмваре, цатрикс,... что ещё?
И офигеваем, сабж на порядки проще.
> Стандартный дебиан и /etc/network/interfacesсорок-шестьдесят стандартных дебианов и этой хрени.
> Берем решения от мс, вмваре, цатрикс,... что ещё?
> И офигеваем, сабж на порядки проще.и офигеваем - добавить влан разом на все хосты, хоть их десятки, хоть сотни, хоть десятки тысяч - можно двумя кликами мыши или одной строчкой ps - это, конечно, куда сложнее чем шестьдесят interfaces отредактировать.
А ты иди пили ансибляплейпук - кстати, сам ансипль тоже себя не установит, и ключи сами не разложатся, вперед на полсотни хостов ручками, ведь других занятий у админов затобесплатного не бывает. А, нет, еще они иногда вещают про "на порядки проще", хотя ни одной из охаиваемых систем не видели даже на скриншотах.
https://pve.proxmox.com/wiki/Cloud-Init_Support
"навыки быстрого гугления вместо умения настраивать большие системы?"
Ты похоже вообще не понял ни единого слова, но влез с ценным знанием?Дружище, нам низачем не нужна кривая скриптовая обвязка для автоудаления ssh-ключей при перезагрузке (основное что умеет делать этот cloud-shit).
Нам нужно уметь подключать вланы, пришедшие транком с физической сети к виртуальным машинам внутри кластера виртуализации - где-то в access, где-то тоже транком. Для этого надо чтобы об их существовании как-то узнала система на host-машинах - остальное кое-как уже умеет делать прекрасный веб-интерфейс, и, вероятно, для этого есть неудобный rest api.Причем единым для всего кластера способом, желательно не требующим ручных подготовительных работ, типа установки вручную по всему кластеру ключей или непредусмотренного проксей софта.
Да не надо ничего в /etc/network/interfaces писать, прекращайте уже бред обсуждать.
> Да не надо ничего в /etc/network/interfaces писать, прекращайте уже бред обсуждать.ну так просвятил бы нас, темных - Celsion вон использовал третью ветку, я ковырялся в четвертой - там надо.
В пятерке, похоже, и впрямь добавили в гуевую настройку хостов загадочную галочку "vlan aware" (как говорится, угадай что это значить - использовать общепринятую терминологию у них не принято) - вероятнее всего, сей подвиг свершили не столько авторы проксы, сколько авторы дебиана, запилив таки в interfaces почти нормальную поддержку транков, не требующую создавать по недоинтерфейсу на каждый влан - чорт, все приходится выяснять самостоятельно.Правда, опять не обошлось без ложки дерьма в этой бочечке меда - после подобной настройки надо еще и перезагружать хост. ifup дернуть чудо-интерфейс не в силах (полагаю, можно зайти на хост и сделать именно это, и ничего не перезагружать).
Дружище, Vlan-Aware это и есть общепринятая терминологияПочитай:
https://help.ubnt.com/hc/en-us/articles/115012700967-EdgeRou...
https://www.cisco.com/assets/sol/sb/Switches_Emulators_v2_3_...
https://access.redhat.com/documentation/en-us/red_hat_openst...
>1) крайне кривая и неудобная реализация сети, заставляющая заниматься нетрадиционным секасом в консоли и править текстовые конфиги даже для того, чтобы банально рассадить виртуалки по разным вланам;Есть немного. Причина в дебиановском легаси конфиге, которые не умеет нормально в бридж плюс вилан. Используй OVS, с ним всё прямее и проще, чем с вмварьским vSwitch. И дебианский /etc/network/interfaces c OVS корректно интегрирован, в отличие от ядерных мостов и виланов.
> 2) крайне куцая статистикаИспользуй Graphite https://pve.proxmox.com/wiki/External_Metric_Server
> бридж плюс вилан. Используй OVS, с ним всё прямее и проще,
> чем с вмварьским vSwitch. И дебианский /etc/network/interfaces c OVS корректно интегрирован,ему не network/interfaces на ста хостах вручную "интегрировать с OVS", а интеграцию самого OVS с api прокскмоксы и ее вебмордой (второе вообще-то вторично). И как у вас с этим? (и что там вы ниасилили "сложного" с vswitch? Его главный минус, что он простой как палка, а цискин vNexus вмварь запретила. Впрочем, OVS тоже.)
>> 2) крайне куцая статистика
> Используй Graphite https://pve.proxmox.com/wiki/External_Metric_Serverтоварищу не хватает метрик и их явного отображения в интерфейсе, а не отдельной cобиралки, насколько я понимаю.
graphite еще и ничем ему не поможет увидеть при заведении очередной пачки виртуалок, что вот на том, том и вон том хосте уже нельзя ничего нового заводить, и вообще надо по возможности быстро раскидать часть того что уже завелось, пока не лопнуло. (это фишка, _отдельная_ от алармов - потому что нужна в другой момент и другому человеку)
И интеграция с OVS и распределение ресурсов с цветными диаграмками есть в вэб гуе.
> товарищу не хватает метрик и их явного отображения в интерфейсе, а не отдельной cобиралки, насколько я понимаю.Не только. У меня во многих конторах руководители хотели странного и приходилось им собирать статистику, допустим, по активной области памяти (т.е., какое количество памяти реально для работы используется, а не хомячится по буферам), или эффективности дедупликации памяти, или сколько иопсов жрет каждая виртуалка в определенные моменты времени.
У меня на многие из этих запросов были подготовлены скрипты, которые стату мне сразу в ёксель выплевывали, а там уже готовая сводная табличка с графиками, которую можно в два клика копипастнуть в аутглюк и отослать руководству.
Это экономило очень много времени. Опять же, во многих случаях помогало выявить ситуации, когда прикладники в очередной раз что-то накосячили. Да много еще для чего можно использовать сотни метрик мониторинга.> graphite еще и ничем ему не поможет
Для моих задач - он мне вообще ничем не поможет, потому что такого же простого и удобного способа все эти данные собирать и репортить там не будет. Ну, или мне просто пришлось бы потратить огромное количество времени на то, чтобы слепить достаточно приблизительный аналог, а потом это еще и в рабочем состоянии его поддерживать, мало ли что там в новой версии графита сломают, или в прохмохе после обновления отвалится.
Мои варовские скрипты переживали и минорные и мажорные обновления вЦентра и даже править ничего не приходилось.
>собирать статистику, допустим, по активной области памяти (т.е., какое количество памяти реально для работы используется, а не хомячится по буферам), или эффективности дедупликации памяти, или сколько иопсов жрет каждая виртуалка в определенные моменты времениНу ваще рокетсаенс и предмет для гордости. )
>Для моих задач - он мне вообще ничем не поможет, потому что такого же простого и удобного способа все эти данные собирать и репортить там не будет.
Если твоя задача демонстрировать бурную деятельность, тогда безусловно и VMware и эксель и портянки на пауршеле незаменимы.
У нас в 2019 директор сам заходит в подготовленный дашборд с яблофона, смотрит всё что необходимо и не отвлекает никого от их непосредственных задач при этом.
> Ну ваще рокетсаенс и предмет для гордости. )Разница между банальным удобством и попыткой на публику повыделываться - хорошо ли понятна? Мне удобно когда я могу задачу по выгрузке любого кастомизированного репорта сделать простым скриптом, не разворачивая при этом еще кучу каких-то кривых костылей.
И то, что мне при этом действительно не приходится заниматься "рокетсаенсом" - вполне можно считать предметом для гордости.> Если твоя задача демонстрировать бурную деятельность, тогда безусловно и VMware и эксель и портянки на пауршеле незаменимы.
А зачем мне занимать своё время решением тривиальных задач, который в той же вари уже давным давно решены и прекрасно работают?
> У нас в 2019 директор сам заходит в подготовленный дашборд с яблофона
Ну а у нас никто никуда заходить не хочет, просят подготовить отчет и выслать в почту. К тому же, на такие дашборды повесить можно лишь всякую беспонтовую среднюю температуру по больнице, которая как раз и нужна для того, чтобы демонстрировать бурную деятельность вывешивающих такие отчеты.
В дашборды вообще мониторинг должен смотреть, а не директор. Или у вас настолько мелкая конторка, что директор заодно и мониторингом подрабатывает?
> вполне можно считать предметом для гордости.Ну начале 00-х можно наверно было гордиться такими костыликами. Но только попонтоваться. Практического смысла в статистике с одних только гипервизоров не много. Собери метрики по трафику, цпу и дропам с гипервизоров, с указанных виртуальных интерфейсов, изнутри соответствующих вм-ок и с сетевых железяк на одном экране за последние пол года. Своим пауршелом. Хочу прикинуть где у нас расширение потребуется для одного сервиса.
> А зачем мне занимать своё время решением тривиальных задач, который в той
> же вари уже давным давно решены и прекрасно работают?Зачем? Я не знаю зачем ты этим занимаешься. Предположу, что за денежку можно даже из Вари метрики выгружать в нормальную систему вроде Графаны. У Линукса с kvm такой проблемы никогда не было.
>> У нас в 2019 директор сам заходит в подготовленный дашборд с яблофона
> Ну а у нас никто никуда заходить не хочет, просят подготовить отчет
> и выслать в почту. К тому же, на такие дашборды повесить
> можно лишь всякую беспонтовую среднюю температуру по больнице, которая как раз
> и нужна для того, чтобы демонстрировать бурную деятельность вывешивающих такие отчеты.Когда-нибудь и до вас автоматизация дойдёт. Но для тебя и других комсомольцев в противогазах это будет печальное известие.
> В дашборды вообще мониторинг должен смотреть, а не директор.Вот сравни, я один раз за 5 минут собрал и сохранил дашборд, а директор один раз нажимает на ссылку видет актуальную стату за любой период. И из любого гольфклуба или леса может похвастаться графиками и диаграмками. И с другой стороны ваши потуги со скриптами и екселями в электронной почте.
> Практического смысла в статистике с одних только гипервизоров не много.А почему ты решил, что стата собирается только с них?
> Собери метрики по трафику, цпу и дропам с гипервизоров, с указанных виртуальных интерфейсов, изнутри соответствующих вм-ок и с сетевых железяк на одном экране за последние пол года. Своим пауршелом.
А зачем мне собирать что-то изнутри машин, которые могли бродить по разным хостам и испытывать влияние политик ограничения ресурсов, толкаться жопами с другими виртуалками, и так далее, при этом, сопоставляя это с мониторингом аппаратных ресурсов? Какая-то глупость...
> Когда-нибудь и до вас автоматизация дойдёт. Но для тебя и других комсомольцев в противогазах это будет печальное известие.
Опеннет такой опеннет...
> Вот сравни, я один раз за 5 минут собрал и сохранил дашборд, а директор один раз нажимает на ссылку видет актуальную стату за любой период.
Чувак, ты понимаешь, что отчетов может быть сотня разных, по сотням метрик и по их комбинациям за разный период, так что ты либо выгружаешь тысячи отчетов, превращающихся в мешанину, либо среднюю температуру по больнице.
> И из любого гольфклуба или леса может похвастаться графиками и диаграмками. И с другой стороны ваши потуги со скриптами и екселями в электронной почте.
Ну дык, понимаешь, это ты собираешь данные, чтобы твой директор перед кем-то там хвастался в гольклубе, пока клюшки биг-боссу подносит и шарики протирает, а у нас собираются для работы, рассчетов и принятия определенных решений.
> А почему ты решил, что стата собирается только с них?А откуда ещё ты своим пауршелом тянешь релевантные метрики? С рутёров, схд, линуксовых вм и монг вытащишь?
> А зачем мне собирать что-то изнутри машин, которые могли бродить по разным
> хостам и испытывать влияние политик ограничения ресурсов, толкаться жопами с другими
> виртуалками, и так далее, при этом, сопоставляя это с мониторингом аппаратных
> ресурсов? Какая-то глупость...Ога, ещё какая глупость. Но смешно. А зачем бизнесу твоя Варь сама по себе без сервисов внутри виртуалок?
> Чувак, ты понимаешь, что отчетов может быть сотня разных, по сотням метрик
> и по их комбинациям за разный период, так что ты либо
> выгружаешь тысячи отчетов, превращающихся в мешанину, либо среднюю температуру по больнице.Если пауршелом и в ексель, так и получится. Не пробовал, но верю.
> А где-нибудь есть вообще сколько-нибудь адекватное сравнение
> этих платформ для виртуализации? Плюсы? Минусы? Сильные стороны
> каждой? Фирменные фишечки.Со слов нашего главвиртуализатора -- у OpenNebula есть интересная для [вынужденно] слезающих с VMware фишечка: возможность плавной миграции добавлением вмварных виртуалок в местную рулилку. Её же хвалил Лёня Кантер: http://0x1.tv/201610014
Про PVE могу спросить человека, который его под альт адаптировал и довольно неплохо знает вплоть до потрохов. У нас несколько кластеров под ним работает и после развала самого первого стенда со "старым" ещё ceph вроде бы заметных проблем не было (но я могу плохо знать, т.к. практически не пользуюсь).
А так внятных сравнений _сходу_ ни припомнить не смог, ни найти.
> Её же хвалил Лёня Кантер: http://0x1.tv/201610014Когда смотришь и слушаешь такие презентации - создается навязчивое впечатление, что перенесся лет так на 15 тому назад и слушаешь презентации про варь, которая тогда еще активно развивалась и имела схожие с описанными в видео проблемы.
А еще ловишь себя на мысли, что про похожие проблемы на этих презентациях про открытые платформы виртуализации ты слышал год назад. И два года назад. И три года назад. И четыре... И пять...
> что перенесся лет так на 15 тому назадну нет, 15 - это 2004й, вмварь в этот момент еще толком ничего не умела, да и зачем она нужна никто еще не понимал - мощности типового ящика не всегда и на один хост хватало.
Скорее 2008. Когда уже умела почти все то же что и современная, но, действительно, все плохо.
К 2010 это все осталось далеко в прошлом.
осилил (с отвращением, да) посмотреть запись - мде-с... нет, ну вы что хотите от людей, которые proxmox отбросили со словами "поставляется в виде дистрибутива", и, самое главное, чем им, оказывается не подошел "дистрибутив" - "а мы умеем апдейты ставить только в centos".
Собственно, дальнейшие страдания можно было уже не слушать - там и дальше типичный подход людей, не желающих ничему учиться и ни в чем разбираться - поэтому у них и проблемы с disk throughput, полагаю - ceph штука сильно замороченная и разбираться в нем, если за тебя это не сделал дистрибутив - придется (нет, ну если у тебя есть деньги на самосвал ssd, то можно отложить разбирательство до упирания в производительность уже ssd)
Тем более это 2016й, ставили видимо в 15м, когда как раз на ceph с какой стороны ни глянь - чудище обло, озорно, стозевно и тyпopыло.
> осилил (с отвращением, да) посмотреть запись - мде-с... нет, ну вы что
> хотите от людей, которые proxmox отбросили со словами "поставляется в виде
> дистрибутива"Так они сами дистрибутив делают. И, что характерно, шляпообразный (CloudLinux).
> поэтому у них и проблемы с disk throughput, полагаю
> - ceph штука сильно замороченная и разбираться в нем,
> если за тебя это не сделал дистрибутив - придетсяЛёня с Сашей во времена оны делали Black Cat, затем без них как-то всё не могли сделать ASPLinux. Стареем, конечно, все -- но разобрались бы и они.
>> осилил (с отвращением, да) посмотреть запись - мде-с... нет, ну вы что
>> хотите от людей, которые proxmox отбросили со словами "поставляется в виде
>> дистрибутива"
> Так они сами дистрибутив делают. И, что характерно, шляпообразный (CloudLinux).это не повод на этапе выбора систем не понять, что proxmox - это самопальный установщик обычного дебиана с десятком нестандартных пакетов из собственного репо.
Которые и пересобрать можно, что характерно.
Это повод сделать выводы что этап выбора был пропущен. Либо по причине неосиляторства, либо потому что вообще был перенесен на послерелиза, посмотреть что еще вообще-то было доступно и придумать, почему оно не подходит.> Лёня с Сашей во времена оны делали Black Cat, затем без них
> как-то всё не могли сделать ASPLinux. Стареем, конечно, все --
> но разобрались бы и они.для этого нужно желание, а его, видимо, уже нет.
- ВмШмара, от которой так сильно обтекает nox и прочие местные pussy.exe - требует минимум - адобовского плеша или даже, некрософт-вантуза для запуска своей поделки. Очень плохая изоляция по IO, хуже даже, чем у контейнеров. Если на одной физ-ноде стоят дженкинц и бинт - ждите периодических падений сети из-за отвала ДНСа, например. Проприетарная и платная, хотя не совсем понятно за что здесь платить. Нестабильная по сравнению с решениями на основе KVM.
API - есть 2 проекта, дико кривые. Один ещё мёртв, другой - уже. Чтобы как-то развернуться, нужны оба.
- Proxmox - KVM+LXC, раньше было KVM+OpenVZ. С огромным удовольствием юзал оба. Хранилища - local, свой CEPH, NFS. Очень стабильное и достаточно простое. Релиз-версии - платны, понятно почему. Вроде до 300 нод имеет смысл использовать.
- Hyper-v - проприетарно, бесплатно(на уже купленом вантузе), завязка на некрософт, криво, без скедулинга и управляторов, стабильнее вмшмары.
- Openstack - может всё, достаточно стабилен, для некоторых - переусложнён(надо понимать как работает). На моих мелких 300-нодовых инсталляциях показал себя хорошо. Легко ремонтируется, тяжело апдейтится.
- Opennebula - попроще опенстека, ставится легко, поддерживает основные хранилища и гипервизоры, обещали LXC добавить пару лет назад. Удобная веб-морда. Легко обновлять. Когда-то я переустановил "голову" кластера, под названием Sunstone, мигрировал базу между мажорными версиями, и запущеные виртуалки просто переподхватились. То есть - полчаса небула проработала без веб-морды и XML-RPC-API.Но сейчас я полностью занят решениями на основе доцкера, а именно кубернетесом и композом. Должен заметить, что на большинстве нагрузок они работают лучше аппаратной виртуализации. Лучше управление ресурсами, в т.ч. и лимитирование, логгинг, мониторинг.
> ВмШмара, от которой так сильно обтекает nox и прочие местные pussy.exe - требует минимум -
> адобовского плеша или даже, некрософт-вантузакакой ужас, лап4атый бубунтенок не в состоянии установить себе флэш и падает в обморок от необходимости пользоваться windows. Увольняем припадочного, нанимаем вменяемого, нет проблемы. (там похуже есть ньюансы, но в принципе это совсем не та проблема, которая на самом деле должна волновать админа)
Кстати, на самом деле она требует powershell (именно ps, а не .net, то есть лап4атым, да, no way), а то очень быстро обратно прохмохя получится, где любая ерунда требует либо ручного писания скриптов под неведомую хрень, либо клик-клик-клик-клик (и еще вот тут не кликабельно, поэтому идем на хост и редактируем конфиг вручную, и так каждую виртуалку на всех хостах).
> Очень плохая изоляция по IO, хуже даже, чем у контейнеров.
лолшта?
> Если на одной физ-ноде стоят дженкинц и бинт - ждите периодических падений сети из-за отвала
> ДНСа, например.ахренеть, это то для чего требуется "изоляция по io" (на самом деле он имел в виду, видимо, net interface rate throttle), оказывается.
признайся честно, ниасилятор, ты ее даже по телевизору не видел, тебе рабинович напел?
> Hyper-v - проприетарно, бесплатно(на уже купленом вантузе), завязка на некрософт, криво, без
> скедулинга и управляторовопять полное невладение темой, тут уже даже не рабинович пел, а перепев рабиновича таджикским дворником.
> Но сейчас я полностью занят решениями на основе доцкера, а именно кубернетесом и композом.
там ты тоже ничего толком делать не умеешь, как всегда?
Клик-клик-клик?Вот тебе привет от твоего компотера, хлебай, не обляпайся:
https://github.com/docker/docker-credential-helpers/issues/103
> признайся честно, ниасилятор, ты ее даже по телевизору не видел, тебе рабинович напел?Ну что ты пристал к человеку? Ну не купили ему варь в конторе. Как же при этом не занять позу "не очень-то и хотелось"?
>> признайся честно, ниасилятор, ты ее даже по телевизору не видел, тебе рабинович напел?
> Ну что ты пристал к человеку? Ну не купили ему варь в
> конторе. Как же при этом не занять позу "не очень-то и
> хотелось"?Купили вмшмару, потом оказалось проще на aws переехать. Дешевле даже с учётом уже заплаченых за шмару и аренду железа денег. Спасибо за вопрос. А ещё, я смог выкинуть хромого с плешём и вернуться на хромиум.
> какой ужас, лап4атый бубунтенок не в состоянии установить себе флэш и падает в обморок от необходимости пользоваться windows.
Ну, я в grub'y видал вашу вантузомакось. Благодарю за комплимент.
> Увольняем припадочного, нанимаем вменяемого, нет проблемы. (там похуже есть ньюансы, но в принципе это совсем не та проблема, которая на самом деле должна волновать админа)
У нас таких набирают в Chennai, ибо в Бангалорцы чуть более денег требуют. А вообще - в таких вакансиях надо прямо указывать: "Pakistani only", тогда точно не прогадаешь. И таки снова спасибо за комплимент.
> не та проблема, которая на самом деле должна волновать админа
дададад, мой копчёный друк. Тебя же это не волнует?
> там ты тоже ничего толком делать не умеешь, как всегда?
> Клик-клик-клик?ой. Без комментариев...
> Вот тебе привет от твоего компотера, хлебай, не обляпайся:
> https://github.com/docker/docker-credential-helpers/issues/103Ну, ты же её помог исправить? А почему она всё ещё открыта? У меня с бинарной инсталляцией композа не проявляется, кстати, на той же кубунте 18.04.
> Ну, я в grub'y видал вашу вантузомакось. Благодарю за комплимент.я и говорю, проблемы припадочных - видимо, лавка пилит какие-то очень лакомые инвесторские бабки, раз позволяет себе поддерживать подобную придурь.
Потому что услышав такое "я в гробу видал" - я человека уволю нахрен. Это не технический специалист, это невменько.
> У нас таких набирают в Chennai, ибо в Бангалорцы чуть более денег
> требуют. А вообще - в таких вакансиях надо прямо указывать: "Pakistaniа на должность пилить докеры в бубунточке взяли русского, потому что даже бангалорцы отказались в это вляпываться, карму портит, да?
>> не та проблема, которая на самом деле должна волновать админа
> дададад, мой копчёный друк. Тебя же это не волнует?совершенно, я сумею с ней справиться, поскольку это надо сделать обычно один раз - на той виртуалке, с которой управляется vcenter, и не буду плакаться что это заняло пол-рабочего дня - потому что не займет.
>> Вот тебе привет от твоего компотера, хлебай, не обляпайся:
>> https://github.com/docker/docker-credential-helpers/issues/103
> Ну, ты же её помог исправить? А почему она всё ещё открыта?а я тут причем? Ты же у нас девляпс, твой инструмент, ты и исправляй (или хотя бы разбирайся в этих нагромождениях, а не впервые узнавай из чужой ссылки). А открыта она вот почему:
https://bugs.launchpad.net/ubuntu/+source/docker-compose/+bu...
такие у нас вот "разработчики дистрибутива".> У меня с бинарной инсталляцией композа не проявляется, кстати, на той
версию golang-docker-credential-helpers проверяй - вообще-то ее авторы обещались исправить - но не факт что она попала в эту убунту.
При этом она совершенно не нужна для работы ни композера, ни тем более build, но, разумеется, просто так ее снести чтоб после этого apt работал - не выйдет, это вам не редхат какой.и вот да - это - а не "I can't stand windows" (с instant karma в итоге - http://bash.org/?163301 ) - вполне себе _обоснование_ почему я не люблю ни убунту, ни доскеров, ни их пропагандистов.
Ну да, знаем. Увольняй... Кто не хочет ж.р.а.т овно - невменько. Так и запишем.
Кстати, а на чьи бабки ты pussy.exe запускаешь?> а на должность пилить докеры в бубунточке взяли русского, потому что даже бангалорцы отказались в это вляпываться, карму портит, да?
Тебе виндее.. А я возьму доцкер. Ради этого меня и брали на эту галеру. И доцкеры с кубернетцами у меня в Шляпе и Чентоси в основном, но на моём компе - бубунтачька. И клиенты галеры нашей - это кровавый ЪЫнтырпрайз с кубернетец-кластерами от 3-х до 1000 нод, которые хотят именно кубернетец. И разработка у нас в доцкере. И air-gapped environment практически у всех. Это имена, известные даже самому непосвящённому, далёкому от ойти человеку.
А компот, как для демонстраций и лаб - вообще идеален. Некоторые из клиентов даже в прод пустили.
В проде - обычно свой, клиентский кубернетец-кластер. У нас в проде - Опеншифт, когда-то попробовали и остались довольны.
> Кстати, а на чьи бабки ты pussy.exe запускаешь?хочется верить что дорогих клиентов - мы им нужные и полезные бумажки продаем, и, в принципе, вполне себе неплохо смотримся на фоне конкурентов. Нет, мы не IT компания.
> Тебе виндее.. А я возьму доцкер. Ради этого меня и брали на эту галеру.
осталось невыясненным, что именно ты лично умеешь делать, кроме docker run. А то пацанчики с Хайдерабада чтой-та удивлены - зачем на эту-то работу белого человека взяли?
вон в историю с компостером не вляпался - значит, даже это, скорее всего, не используешь на своей бубунточке. А кондитер, который не ест своих пирожных, всегда вызывает определенные сомнения.
что бизнесы там чегойта требуют - ну вот про нас кто-то своим друзьям тоже вешает лапшу что мы там требовали. А мы ничего не требовали - что аусорсер притащил, то и запускаем. Пришел с докером - запускаем докер. Пришел с компостером - запускаем компостером. Припрется с k8s - тьфу-тьфу-тьфу, пока Б-г миловал. С впопенштифтом, к сожалению, приперлись - тоже теперь будут в числе побед новой модной технологии упоминать. Что кластер развернут в вмвари и мы уже предвкушаем прелести его и вмвари драчки за ресурсы - они, разумеется, вряд ли даже узнают.
Пока, к счастью, оно в разработке, и вряд ли взлетит, судя по состоянию дел в том отделе.
> вон в историю с компостером не вляпался - значит, даже это, скорее всего, не используешь на своей бубунточке.Раз в неделю не использую.
> А кондитер, который не ест своих пирожных, всегда вызывает определенные сомнения.
Вот! Хорошая самокритика. Ты случайно не тот nox, что pussy.exe?
> Пока, к счастью, оно в разработке, и вряд ли взлетит, судя по состоянию дел в том отделе.
А вот у нас - в проде. Аппаратную виртуализацию посчитали нецелесообразной, и перешли на кубернетец. Кстати, стараемся поддерживать все возможные дистрибутивы.
> Вот! Хорошая самокритика. Ты случайно не тот nox, что pussy.exe?это совершенно не мешает мне использовать иногда докер для решения своих текущих задач.
раз уж я все равно вынужден пользоваться этим недоделком для работы.
Твои жалобы приняты. Держи меня в курске и жди ответного гудка.
> ахренеть, это то для чего требуется "изоляция по io" (на самом деле
> он имел в виду, видимо, net interface rate throttle), оказывается.Дисковое IO. Не сеть. И я о падении днс-сервера писал.
и в каком месте у вас dns-сервер упирается в дисковое io, да еще так что падает ?А то может мне бежать-бояться, у нас тут этих женкинсов понаставлено разными отделами куда больше одного.
Да уже не в каком. Нет вмшмары - нет проблем. Ни на опенстеке, ни на гклауде, ни на авс этих проблем нет. И речь шла не об упирании, а о торможении соседей.
понятно. то есть разобраться в проблеме "специалист" ниасилил, но виновата, конечно же, vmware, а не его кривые руки. Поскольку после переноса в гклауд и амазон этой проблемой наконец занялись нормальные инженеры гугля и амазона, пусть даже и из бангалора - зато без пустых фобий.Если у тебя high disk io каким-то образом тормозит соседа с _dns_ - у тебя очень, очень кривые конечности, которыми ты держишь свою верную мышь.
> Если у тебя high disk io каким-то образом тормозит соседа с _dns_ - у тебя очень, очень кривые конечности, которыми ты держишь свою верную мышь.Дайте угадаю - сидело оно всё на iSCSI, который был проброшен через те же сетевые интерфейсы, что и локалка?
> Дайте угадаю - сидело оно всё на iSCSI, который был проброшен через
> те же сетевые интерфейсы, что и локалка?на nfs ;-)
И vm migration роняет сеть ;-)
Не угадали. Кстати, на том же железе KVM работает идеально на тех же нагрузках и placement. А дебажить проприетарный кривой буллщит - тупо лень, ибо не нужно.
так на том же железе и вмварь бы работала - просто настраивать надо уметь.
Нет "дебажить" ничего не надо. Скорее всего какая-нибудь феерическая глупость была понаконфигурена.
А читать доки и правильно планировать - ну правильно, вам было лень, ведь начальство оплатит любую глупость, например, перенос в aws.
- авс-ная глупость очень понравилась всем почему-то. Особенно перед PCI-DSS сертификацией.
- с вмшмарной - дефолты. Её же проприерасты так хвалят...
Не угадал. Кстати, на том же железе KVM работает идеально на тех же нагрузках и placement. А дебажить проприетарный кривой буллщит - тупо лень, ибо не нужно.
>> ВмШмара, от которой так сильно обтекает nox и прочие местные pussy.exe - требует минимум -
>> адобовского плеша или даже, некрософт-вантуза
>какой ужас, лап4атый бубунтенок не в состоянии установить себе флэшЭй вы трое! Оба ко мне! Ваше имя, солдат!? :-) (C) Напомнило "Разговор глухого со слепым"
Пох и "Лапчатый девляпс бубунтёнак" - вы когда варю в последний раз видели? :)
Ну я просто оставляю это здесь "... с версии 6.5 имеет полноценный веб клиент на HTML5" 8-р
> Пох и "Лапчатый девляпс бубунтёнак" - вы когда варю в последний раз
> видели? :)вчера в 23:30 я эту тварь видел, сегодня у меня выходной.
> Ну я просто оставляю это здесь "... с версии 6.5 имеет полноценный
> веб клиент на HTML5" 8-ри чо? Мы с 5.0 (у которой вообще морда только на J#) окончательно выбрались месяц назад.
Про переезд на 6.5 лучше и не заикаться, а то те кто за нее отвечают могут успеть по собственному слинять.кстати, там полноценный на html5 уже научился жить без плагина для доступа к стораджам, роняющего мазилу и неработающего ни в чем другом?
> Пох и "Лапчатый девляпс бубунтёнак" - вы когда варю в последний раз видели? :)3 года назад, и в grub'y. Ответ устроит?
Полноценное сравнение - фантастика. Если базовые фичи, то примерно все одинаково, если кластеризация и вообще большие инсталляции, то пиар больших игроков не дремлет, так что честного сравнения не найти, НО - у PVE, при всем желании, не так много решений для обеспечения супервысокой надежности в масштабах георазнесенных кластеров, т.е. такое ты будешь делать сам, в т.ч. привлекая сторонний софт.Зато сэкономишь олимпиард денег на не-покупке VMWare.
> Если базовые фичи, то примерно все одинаково, если кластеризация и вообще большие инсталляции,
> то пиар больших игроков не дремлета тебе-то руки и голова для чего даны - первыми хапать зарплату, во вторую есть?
> Зато сэкономишь олимпиард *дядиных* денег на не-покупке VMWare.
ценой своего кровавого пота - делая вручную то, что давно делают роботы. Поправил, не благодари.
P.S. дядя, кстати, просил передать, что вмвари-то он платил раз в три года при апгрейдах, и это операционные расходы бизнеса, они вычитаются с налогов, а ты чтото жрешь каждый месяц и еще аванс имеешь наглость требовать, а еще столько же он налоговой отдает.
Нередко выбор стоит не между плохим проксмоксом и восхитительной вмварью, а между проксмоксом и траходромом с кучей физических железок на каждый чих.
"но зачем же так в#бывать, это беда!" (c) Шнурну ладно, предположим, не работать на бедных и патологически жадных в какой-то момент может и у меня перестать получаться, но, как минимум, есть же еще б-жественный openstack, который хотя бы не заставляет тебя быть бетатестером для платных клиентов, поскольку центось предоставляет все то же самое задарма и с апдейтами, почему же выбор сводится исключительно к проксмоксе?
> openstackТот ещё головняк, насколько слышу от евших-сопровождавших. Но масштабируем (это по-русски так).
Не головняк. Просто надо понимать как он арботает. Внутри - питонятина, которая легко правится. Сам гонял кластер размером более 300 физ. нод.
Суть проблемы - именно в том, чтобы вникнуть во все около 20-и компонентов. Если хочется простоты и обновляемости(повторюсь про то, как я когда-то переустановил "голову" на новый мажорный релиз, и кластер около получаса работал без вебморды и XML-RPC API, виртуалки не прерывались даже), бери Опеннебулу. Ставится проще вмшмары, не требует плешь и вантуз. Очень легко управляется. Предел расширяемости - около 1000 нод.
> Внутри - питонятина, которая легко правится.пааанятен. А то мне-то за все пятнадцать лет возни с вмварью ни разу что-то не захотелось в ней ничего самому править - у меня своих задач есть.
> Суть проблемы - именно в том, чтобы вникнуть во все около 20-и компонентов.
а меньший п-ц они придумать не cмогли?
> когда-то переустановил "голову" на новый мажорный релиз, и кластер около получаса работал без
> вебморды и XML-RPC API, виртуалки не прерывалисьахренеть. Отрою тебе страшную тайну - если я выключу нахрен vcenter - не на пол-часа, а на пару деньков - кластеру ничего не будет, пока не навернется физический хост. live migration, наверное, без головы как-то сложновато будет сделать?
А его апгрейд (да, с перезагрузкой в процессе) вообще является банальной штатной операцией, о которой только сотрудников нашего подразделения и уведомляют, чтоб не дергались когда интерфейс внезапно не откликается.
Это для великого продукта великой редхатобиэм - оказывается, вершина технологического прогресса?
(да, я понимаю, ты привык к доскеру, который никак нельзя перезапустить без того, чтоб он все виртуалки не поуронил - видимо, в игого нет аналога exec())
> Ставится проще вмшмары
"вжух!" и поставился? Я что-то не знаю, что может быть проще подцепить образ диска и ткнуть в power. Проблемы будут с настройкой - и они вообще-то вызваны тем, что настроек много и они непростые, а не тем что в вмвари что-то не так. Ну ок, расскажи про те же транки и вланы в nebula?
Дай угадаю - ты вмварь еще и не ставил никогда, за тебя пакистанцы давно все поставили и настроили?
> Проблемы будут с настройкой - и они вообще-то вызваны тем, что настроек много и они непростые, а не тем что в вмвари что-то не так. Ну ок, расскажи про те же транки и вланы в nebula?Сложные? Непростые? Ну, если для тебя... У меня, например - несколько переменных, плейбук и инвентарь.
> Дай угадаю - ты вмварь еще и не ставил никогда, за тебя пакистанцы давно все поставили и настроили?
У тебя осталось 0 попыток. Не угадал.
> Сложные? Непростые? Ну, если для тебя..у меня дженкинсы не роняют соседние виртуалки.
И плейпуки мне каждый раз выпукивать для банального добавления на все ноды очередного влана не надо, как-то варь без меня обходится.> У тебя осталось 0 попыток. Не угадал.
ставил на локалхосте целый один раз? Потому что если тебя, с твоими фобиями и невладением предметом, допустили ставить энтерпрайзную - значит, все плохо в том энтерпрайзе, раз они не смогли нанять нормального Али из Хайдерабада на эту задачу, с положенным тому сертификатом VCAP или даже двумя.
Больше скажу, на одной кубернетец-ноде соседи даже не роняют соседей у меня. И более того, я даже лимиты по дисковому IO не выставлял. Не говоря уже про KVM-based виртуализацию. Это недоразумение было замечено только на недоразумении под названием "вмШмара"> допустили
> всё плохо
> нормальногоЭтот всёплохой ынтырпрайз обслуживает очень известные шараги такого же и большего размера, имена которых примелькались уже большинству людей на этой планете. Мы не виноваты в том, что это не налазит на твою вмшмару с пусси.
А копчёностей у нас в кустомер-сюппогте и полевых инженеграх хватает.
Божественный openstack - для заказных решений. Если ты имеешь ИТ-отдел а-ля, РЖД, ну или хотя бы как у гугля или амазана, то это для тебя. Если нет - то нет :)
Ты всё неправильно написал. И смайлик не к стати.
> А где-нибудь есть вообще сколько-нибудь адекватное сравнение этих платформ для виртуализации? Плюсы? Минусы? Сильные стороны каждой? Фирменные фишечки. Можно даже без учёта коммерческих, чисто свободные. Потому что если будут в сравнении коммерческие, то стопудово будет какая-нибудь заангажированность.Сравнивать надо с лидерами. Лидер сейчас - VmWare, Hyper-V - несмотря на куда более убогий функционал тоже весьма популярен по очевидным причинам.
Но если хочешь "бесплатно и энтерпрайзно" - смотрит на oVirt. Функционал не сильно хуже VmWare (а то чего там нет - скорей всего и не потребуется, там нет совсем уж специфичных фичь), и куда больше чем у Hyper-V. Proxmox, Xen (некоммерческий) - увы не могут конкурировать даже с Hyper-V...
Небула и прочее - относятся к разряду экзотики, интересно, но на промышленное решение не тянут. Хотя в некоторых, узких областях могут оказаться лучшими. Но я таких не встречал.
С Овирт - полностью согласен.
Хоть сам я сторонник опенстека и опеннебулы, в зависимости от ситуации.Области - очень даже широкие, пошире даже, чем у вмшмары. Приблизительно - это альтернатива aws и gcloud, только на премисе. Из промежуточных решений - aws gov-cloud(отдельные машины для gov-ённых целей, за отдельную цену) и Google cloud-on-premise(эта услуга существует не для всех, тоже по особой цене).
В одной транснациональной конторке у меня был кластер на более чем 300 нод. Я остался доволен.
> Лидер сейчас - VmWare, Hyper-V - несмотря на куда более убогий функционал тоже весьма популярен
> по очевидным причинам.эти очевидные причины - что обходится дешевле и несложные массовые задачи на нем решать удобнее (на вмвари именно за массовые придется доплачивать за директора, а это еще один состав денег)
а вовсе не то что вы подумали.
> Но если хочешь "бесплатно и энтерпрайзно" - смотрит на oVirt.
судя по отсутствию в этом списке https://www.ovirt.org/download/#install-virtual-machines непротухлых версий б-жественной бубунточки и явным проблемам с новыми версиями винды - как-то так себе этот ентер-прайсь - rhel only?
https://www.ovirt.org/documentation/install-guide/chap-Confi...
ничего странного не видите? Если это документация - то лучше не смотреть что там в коде.вменяемого апи при беглом просмотре "документации"(извините, к такому невозможно относиться серьезно) не обнаружено.
таки и чем оно лучше проксы?
> эти очевидные причины - что обходится дешевле и несложные массовые задачи на нем решать удобнее (на вмвари именно за массовые придется доплачивать за директора, а это еще один состав денег)Это - далеко не все очевидные причины. Сходу могу добавить еще две:
1. Первое это то о чем вы подумали что я подумал - знакомая платформа, проще поднять роль Hyper-V на знакомой винде, чем разбираться с новым продуктом.
2. Второе это не так очевидно, а именно - заход мелкомягких с лицензированием. Ты на Hyper-V имеешь полное право запускать сколько угодно VM с виндой и они не требуют покупки доп. лицензий. Да, только для датацентра, но это - не препятствие для энтрерпрацза.Про oVirt - я могу много чего рассказать, благо несколько десятков успешных внедрений имеется...
Для начала - по сути oVirt это просто надстройка над весьма стандартными вещами - https://www.ovirt.org/develop/architecture/architecture.html
Кратко это надстройка над kvm, libvrt, Open vSwitch, GlusterFS и т.д. Просто это все собрано в единый продукт с единым управлением.
Проблем с гостевыми ОС нет никаких - ибо все весьма стандартно.
Да, оно ориентировано на стандартные дистрибутивы, которые применяются в энтерпрайз решениях - RHEL/CentOS, это так. Но это нормально, поскольку ни один вменяемый энтерпрайзный ИТ-департамент, ни на что другое и смотреть не будет.
> таки и чем оно лучше проксы?
Тем что оно ставится и работает без танцев с бубном. Как винда или вмтварь. Тем что она прекрасно интегрируется с уже существующими в энтерпрайзах решениях - без танцев с бубном. Тем что представления ее разработчиков о том как строятся энтерпрайзные сети, совпадает с действительностью. Прокса же написана хипстерами, которых до энтерпрайзных сетей не допускают и на пущечный выстрел, почесему их представляние о том как они устроены радикально отличается от суровой действительности....
> Первое это то о чем вы подумали что я подумал - знакомая платформа,не знакомая, а простая.
> проще поднять роль Hyper-V на знакомой виндеэто даже я умею, хотя опыта с виндой старше 2008 у меня около нуля.
И даже кластер как-нибудь настрою.А вот настраивать автоматику управления - это надо уметь пользоваться далеко не юзерскими виндотулзами, и таких умеющих как бы не меньше умельцев паппета и ансимля.
то же и со скриптами - кое-как, на уровне вчера прочитанного мана, на баше скриптовать вокруг меня умеет четверо (ни один не юниксадмин), на powershell - один.
второе - это да, я же говорю - они очень дешевы, прямо демпинг очевидный. У кого нет ентер-прайса, покупает hyperv-сервер, там другие роли заблокированы, и стоит такой уродец каких-то совсем копеек.
> Для начала - по сути oVirt это просто надстройка над весьма стандартными вещами
как и прокся, как, по сути, и все. Ну кроме редхатовских монстров, которые не столько надстройка, сколько настройка, сам из таких мелких деталей собирать заколебешься.
> Проблем с гостевыми ОС нет никаких - ибо все весьма стандартно.
ну да, графика для нестандартных нормально не работает, судя по приведенному списку, но это ж не проблема ;-)
А как нам, кстати, отличить работающую гостевую ось от неудачно перезагрузившейся и повисшей?А если это не единственно-верная винда/rhel7?
> Да, оно ориентировано на стандартные дистрибутивы, которые применяются в энтерпрайз решениях
> - RHEL/CentOS, это так. Но это нормально, поскольку ни один вменяемый энтерпрайзный
> ИТ-департамент, ни на что другое и смотреть не будет.и будет, и смотрит. Потому что, внезапно, есть еще и коммерческие продукты на базе хоть freebsd, хоть вообще чорта лысого. В вмвари, как ты понимаешь, никакой проблемы нет, native tools или open отсутствуют напрочь разьве что для ms dos 3.30
> У кого нет ентер-прайса, покупает hyperv-сервер, там другие роли
> заблокированы, и стоит такой уродец каких-то совсем копеек.Точнее - ноль рублей, ноль копеек. Microsoft Hyper-V Server - бесплатен. Только вот он как и бесплатный VmWare ESXi - продукт совсем другого класса, например отказоустойчивый кластер на нем не сделаешь. Это решение для SOHO, где стоит 1 (прописью - один) физический сервер. И в качестве решения для SOHO он... не сильно хорош, ибо там гуя нет, то есть порог вхождения - достаточно велик.
>> Проблем с гостевыми ОС нет никаких - ибо все весьма стандартно.
> ну да, графика для нестандартных нормально не работает, судя по приведенному списку,
> но это ж не проблема ;-)
> А как нам, кстати, отличить работающую гостевую ось от неудачно перезагрузившейся и
> повисшей?Графика? ээээ... ты меня озадачил если честно, ибо на сервере ее ни разу не ставил. :) Если нужен гуй, то это обычно Cockpit, Webmin или что-то аналогичное.
А второе вообще не проблема - heartbeat работает со всем, что мне только в руки попадалось...> А если это не единственно-верная винда/rhel7?
Тогда стандартный энтерпрайз-подход - установивший ЭТО обвиняется во всех имеющихся проблемах и его увольняют по служебному несоответствию. :) И таки да - доказать что ты не верьлюд у него не получится, ибо против него будет толпа сертифицированных специалистов с пачкой сертификатов толще их хороша насиженных жоп, которые кровно заинтересованы чтоб списать свои огрехи и толпа дипломированных энтерпраз-юристов, которые разумеется верят сертифицированным специалистам...
Чтоб вообще линакс стал допустимым в кровавом энтерпрайзе потребовалось около 2х десятилетий работы такой фирмы, такого общепринятого монстра энтерпрайза, как IBM... Ну вы в курсе - еще никого и никогда не увольняли за покупку оборудования (и решений) от IBM... И свою поляну она никому уступать не намерянна...
На самом деле, как я уже сказал, проблем ни с наиболее распространенными дистрибутивами линакса, ни даже с фряхой - нет.
> качестве решения для SOHO он... не сильно хорош, ибо там гуя
> нет, то есть порог вхождения - достаточно велик.эта... гуй у нас нонеча - в десяточку б-жественную встроен ;-) И да, он может и к чужому серверу коннектиться и им поуправлять (вот не помню, надо было для этого чего доустановить, или оно вообще из коробки такое было).
> Графика? ээээ... ты меня озадачил если честно, ибо на сервере ее ни
SPICE support
по той ссылке - отсутствует для всего, кроме винды, винды, и rhel7 (и еще почему-то убунты12 ;-)> А второе вообще не проблема - heartbeat работает со всем, что мне
> только в руки попадалось...ну то бишь все руками сперва ставить, потом настраивать, потом скриптовать. Ну какой это ентерпрайз, так, сарай дядиваси.
> Тогда стандартный энтерпрайз-подход - установивший ЭТО обвиняется во всех имеющихся проблемах
> и его увольняют по служебному несоответствию. :) И таки да -стандартный ентерерпайс подход - под новую идею нанимается руководитель в ранге зам генерального директора. И хрен там поспоришь - если окажется, что твой кластер вообще с его идеей несовместим - у тебя же и отожмут железо под другой, причем тебе же его и вписав в затраты на год.
Поэтому я хотя и ржу с впопенштифта под вмварью, но на всякий случай мы уже прикидываем, как ему выставить настройки, чтоб он не начал бороться за производительность.
Так а чего - нормальной документации у овирта нет, только вот это автогенеренное хз из чего с ошибками (или ломанул их кто неудачно?)
>> качестве решения для SOHO он... не сильно хорош, ибо там гуя
>> нет, то есть порог вхождения - достаточно велик.
> эта... гуй у нас нонеча - в десяточку б-жественную встроен ;-) И
> да, он может и к чужому серверу коннектиться и им поуправлять
> (вот не помню, надо было для этого чего доустановить, или оно
> вообще из коробки такое было).RSAT. Это не только в десяточку - он сто лет как есть. Но для многих вендоадминов его существование - открытие.
При этом там есть нюансы с установкой... Хотя его можно использовать например для управления Samba4 - вы в курсе? :)>> Графика? ээээ... ты меня озадачил если честно, ибо на сервере ее ни
> SPICE support
> по той ссылке - отсутствует для всего, кроме винды, винды, и rhel7
> (и еще почему-то убунты12 ;-)Ну это же энтерпрайз - в этих тестировали, в остальных - нет, поэтому про остальные - ни слова. Но работает везде - https://www.spice-space.org/
>> А второе вообще не проблема - heartbeat работает со всем, что мне
>> только в руки попадалось...
> ну то бишь все руками сперва ставить, потом настраивать, потом скриптовать. Ну
> какой это ентерпрайз, так, сарай дядиваси.Нет, я ставил дебиан в VM - все работало "из каробки". В генте или арче возможно придется руками... но это там обычное дело же. Лирическое отступление - я тут столкнулся с арчем на одной армовской железке - проклял все, плевался ядом и матерился как Naja ashei
> Так а чего - нормальной документации у овирта нет, только вот это
> автогенеренное хз из чего с ошибками (или ломанул их кто неудачно?)Ну да, конечено же!
Раз - https://ovirt.org/documentation/
Два, на русском - https://ivirt-it.ru/tag/ovirt/
Три, тоже на русском - https://blog.it-kb.ru/?s=oVirt, там кстати есть офигенный цикл статей по четвертому овирту из 12-ти частей...
Ну и на самом сайте щапки искать по словам RHEV - https://access.redhat.com/documentation/
> RSATне. это полноценными серверами с рабочего места управлять. То что раньше называлось admin tools или как оно там. А порулить установленной на недосервере hyper-v можно прямо из service console десяточки - во всяком случае, из моей можно, хрен знает, стоит там чо ентерпрайзное, или оно такое и было с самого начала. Кластерная часть конфига, наверное, недоступна, ну так ее на недосервере и нет.
> При этом там есть нюансы с установкой...
э... вроде, скачал и запустил, next-ok? Может в семерке еще что понадобится, но в десятке должно работать. Я, правда, просто лезу rdp на сервер (в смысле, не целевой сервер, а специальный сервер со всем управляющим мусором включенным) и никогда себе не ставил.
> Хотя его можно использовать например для управления Samba4 - вы в курсе? :)
чур меня!
У меня тут все наоборот - многотерабайтные виндовые шары используются толпой линуксных серверов. Не хочу даже думать о том, как бы оно классно все навернулось, будь эти шары линуксными (ha кластеров в сосамбу, как я понимаю, не завезли?).> В генте или арче возможно придется руками... но это там обычное дело же.
зря так про генту. Я ее потихоньку подтаскиваю поближе к проду - именно потому, что там НЕ надо руками, когда тебе нужна не та версия софта или не такая конфигурация как единственно-верная.
Хотя с документацией там, как я с огорчением обнаружил, все стало за последние десять лет только хуже (все как всегда - вика вместо документов, обрывки разных лет, несвязные рассусоливания без нормальных структурированных описаний).рач это да, это лечению не поддается. Только ампутация головы поможет. А с гентой мы возможно уживемся, по крайней мере в виде контейнера.
> Раз - https://ovirt.org/documentation/
так я тебе ссылку на что, по твоему, показывал?
Еще раз, следи за руками: https://ovirt.org/documentation/install-guide/chap-Configuri...
открываем и читаем вот такое посередь экрана:
There are Installing_the_Websocket_Proxy_on_a_Separate_Machine types of storage domain:
это, блжад, вот - что?Это у них в коде такое же, да?
> There are Installing_the_Websocket_Proxy_on_a_Separate_Machine types of storage domain:
> это, блжад, вот - что?Пробел сломался у человека? Помнишь анекдот из IRC:
Помогитеуменясломалсяпробел!
Настоящим_мужчинам_пробелы_не_нужны!
> Пробел сломался у человека?нет, это у него вообще засосало какой-то бред из другого документа.
Причем при таком оформлении текста не заметить это было можно только если его вообще никто не читал. Вероятно генерится из чего-то, что тоже поломано. Вот и интересно - с кодом у них так же?http://bash.org.ru/quote/350765
>> RSAT
> не. это полноценными серверами с рабочего места управлять. То что раньше называлось
> admin tools или как оно там. А порулить установленной на недосервере
> hyper-v можно прямо из service console десяточки - во всяком случае,
> из моей можно, хрен знает, стоит там чо ентерпрайзное, или оно
> такое и было с самого начала. Кластерная часть конфига, наверное, недоступна,
> ну так ее на недосервере и нет.Кластера не было, по крайней мере раньше - насколько я помню это отдельная роль, которая в бесплатной версии отсуствует. Раньше вообще для кластера была обязательно использование SCVMM из системцентра, но сейчас не помню...
Или ты имеешь в виду Microsoft Management Console (MMC)? Собственно RSAT это просто набор обвязок для нее...
> Раньше вообще для кластера была обязательно использование SCVMM из системцентра, но сейчас не помню...Для него было и остается нужным наличие AD в сети. А наличие AD в сети само по себе подразумевает, что ты, как бы, много чего уже купил у микрософта. Сейчас уже можно сделать кластера и без AD, но функционал при этом будет неполным, так что для полноценной работы нормальная доменная сетка всё еще нужна.
Что же касательно SCVMM - он скорее помогал сделать кластер относительно легко и без гемора, обязательным для функционирования кластера он никогда не был.
> много чего уже купил у микрософта. Сейчас уже можно сделать кластера
> и без AD, но функционал при этом будет неполным, так чтоа на базе этой вот hyper-v only версии сервера можно, или там все же догадались это место выпилить?
(по идее, код-то у нее такой же точно как у настоящей)[и линуксов внутрь понаставить, чтоб следующий бубунтенок вообще с ума сошел, узрев ;-) ]
Видели бы вы в бою панели от ISPSystem, стали бы любить Proxmox ещё больше.
Б-же мой. а что, эти недохостеры теперь еще и виртуализацию продают?
Ты хоть в школу сходи для приличия, хостинг с панелью спутал лоло
> Б-же мой. а что, эти недохостеры теперь еще и виртуализацию продают?https://www.ispsystem.ru/software/vmmanager
Собственно я понимаю что это сравнивать с овиртом или проксмоксом - некорретно... Но гордые админы локалхоста разницы не видят же...
мама дорогая... только б ни один клиент или начальник этого не нашел!> Но гордые админы локалхоста разницы не видят же...
там не локалхост, там вполне себе corosync и кластеры заявлены, как у больших.
А дальше будет как с их "панелью" - и с "надежностью", и с "документацией", и с возможностью интегрироваться с чем-то другим.зато оно дешевенькое.
> мама дорогая... только б ни один клиент или начальник этого не нашел!А ты где кстати работаешь-то? :)
>> мама дорогая... только б ни один клиент или начальник этого не нашел!
> А ты где кстати работаешь-то? :)не, там где текущая официальная работа, там такое не опасно, там ентерпрайс во все дыры. Но это ж сегодня я там работаю, а завтра осточертеет и сбегу.
К тому же еще есть всякие левые проекты и поддержка так-называемых-друзей, и в панель они уже вляпались. Если, ненароком, кто найдет еще и эту фиговину - главное, успеть придумать, почему я этим заниматься совершенно не могу.
> Сейчас конечно набегут админы датацентров и скажут что это жалкая поделка.так и скажем.
типовая задачка корпоративного админа - "заведите эти самые 12-18 виртуалок мне вот прям щас".
Типовое решение с вмварью - запускается корявенький скрипт на powershell вида "склонировать шаблон, поменять размеры дисков/памяти/cpu, включить". Заметим, вмварь сама заботится о том чтобы оно пришло на не перегруженные хосты (кстати, можно всем 18 выставить общий лимит ресурсов, чтоб в его пределах они могли жрать сколько влезет, но не мешали окружающим).
Самая долгоиграющая операция - правильно ip адреса им раздать.Следующая задачка от того же автора - "ой, мои дятлы что-то там накосячили, половина машинок не перезагрузилась - нажмите им, пожалуйста, c-a-d, а если не поможет - reset (это, понятно, машинки с бешплатным линуксом, с виндой суметь так накосячить надо)" - это делает два однострочника, тут даже писать ничего не надо (да, вмварь умеет отличать "не перезагрузилась" от "нормально загрузилась и работает" - и от "выключено", если понадобится)
Прикинь, сколько бы ты кликал свою верную мышь в проксе, и получилось бы это вообще, или пришлось бы лезть на хосты шеллом- напоминаю, поменять надо кой-что при создании с шаблона - разное оно немного у разных машинок.
А теперь переходим к типичным задачам уже админа датацентра - автоматизировать всю эту хрень так, чтобы пользователь (он пограмотней среднекорпоративного, потому что это на самом деле его админ) мог все это сам себе запилить, тебя не беспокоя. Тут на сцену вылазит vRealise c Director наперевес (наступает себе на шнурок, падает, роняет директора. Все любители нахаляву и побольше радостно ржут, но у вас-то и такого нет - ты печально идешь скриптовать на пихоне)
за производительность и каетопарусске scalability поговорим, или лучше не надо? Сикока-сикока там нод может быть в кластере? А если надо мигрировать vm между кластерами, что делать будим?
Плакать, ага.
Нет никаких проблем мигрировать vm между кластерами, нужно лишь общее хранилище и знание команды migrate.
ну то есть по остальным пунктам возражений нет?А теперь покажите мне скриншот миграции _между_ кластерами с помощью прекрасной команды migrate (а то может я не знаю чего, и там улучшили за два года, что я избавлен от этой платформы).
А то вон какие-то психи пилят свой мигратор на пихоне: https://github.com/ossobv/proxmove - оно в принципе-то даже работает иногда, но внутри там ад и scp.
Вы что на скриншоте увидеть хотите ? Запуск migrate -d 1.2.3.4 ?
спасибо, я уже все увидел. Вы вообще не понимаете о чем речь, вероятно, у вас вообще никогда не было такой конфигурации.до кучи - расскажите, пожалуйста, почему поиск слова migrate в https://pve.proxmox.com/wiki/ выдает только МПХ, а слова migration - только сказ о том как мигрировать с vmware? Ее разработчики вообще не в курсе этой процедуры, да?
Причем этот мусорник, на минуточку, называется "reference documentation", что в переводе с эффективно-менеджерского означает "нет у нас вообще никакой документации, только обрывочные записки на манжетах [мелом]" (вот так всегда - поведешься на фанатские вопли "да у нас, да мы, да все давно офигенно", пойдешь мельком глянуть - йооо...лучше б не ходил, был бы лучшего мнения о продукте [вторичном]).
Судя по форуму, их штатная "миграция" это "все выключить, сделать бэкап, скопировать файлики и не забыть про конфиги". В пределах кластера с общим ceph еще можно qm migrate, но как-то осторожно они о ней говорят. Свежо, необычно, XXI век... Не подскажете только, зачем мне их продукт - ТАК я могу с голой qemu вполне обойтись.
Оп. Ну Вы сами написали, какой vmware предоставляет трэш в 2019 году. По моим ощущениям ±так же. У нас она пока тоже не изо всех щелей выметена.Описанные выше задачи в OpenNebula|OpenStack и производных от RH и Oracle решены "из коробки". Среднеквалифицированный персонал может обслуживать готовое купленное и вообще не лезть под капот.
Квалифицированный — построить что надо из имеющегося открытого.А для маленьких (2-3 хоста) инсталляций on-topic более чем дружелюбен. Главное, чтобы не почувствовали себя крутыми админами и не пошли собирать "кластер".
> Описанные выше задачи в OpenNebula|OpenStack и производных от RH и Oracle решены
> "из коробки". Среднеквалифицированный персонал может обслуживать готовое купленное ину вот через пару месяцев и посмотрим, с безопасного расстояния.
Там у нас как раз в полном составе весь техперсонал уволился.> вообще не лезть под капот.
история с "нажмите ресет" - это как раз так поставили раком тестовый openstack. Причем, как я понимаю, штатными инструментами доигрались - видимо, при апгрейде ведра что-то пошло не так. Но тут я не уверен - возможно, кто-то из уволившихся был шибкоумным.
> А для маленьких (2-3 хоста) инсталляций on-topic более чем дружелюбен. Главное, чтобы
со мной дружить отказался - да, они потом исправили проблему, но я уже поставил вмварь, что ж мне, все заново включая виртуалки переставлять?
> не почувствовали себя крутыми админами и не пошли собирать "кластер".
ну вон там внизу рассказывают сказку про 60 с лишним хостов в паре кластеров - это по размеру очень похоже на наше вмварьное хозяйство, и раз его оплатили - значит оно ни разу не для красоты крутится. Про количество костылей и подпорок и свои времязатраты на обслуживание - клиент как-то умалчивает.
>типовая задачка корпоративного админа - "заведите эти самые 12-18 виртуалок мне вот прям щас".Это пройденный этап :)
>Типовое решение с вмварью - ...это - VRO :-)
>Самая долгоиграющая операция - правильно ip адреса им раздать.Подсказываю - мы к примеру интегрировали с IPAM-ом ... всио! :-p
> это - VRO :-)ненене, охренстратор это когда этот этап уже вообще невозможно выполнять своими силами, и ты его вынужден "автоматизировать" как попало.
Такое удастся только в монокультуре, а не в лавке где в одной комнате делают одно, в другой совсем другое и на других платформах, а в офисе через дорогу вообще хрен его знает чем занимаются и на чем - вмварь считает что в виртуалках 32bit sles (когда-то, вероятно, стоял), а по факту там 64битная убунточка мелькает.> Подсказываю - мы к примеру интегрировали с IPAM-ом ... всио! :-p
до первого альтернативно-одаренного, который скоммуниздит ip с соседнего сервера и забьет руками.
да и вообще фигово работает ipam в неплоской сети, я пытался, плюнул. Чуть лучше вышло с guestioip, но тоже в конце-концов оказалось что без него почему-то время только экономится.
Так обновления с той версии прошли без проблем или не выполнялись?В виртуалку в проксмосе можно пробросить подтом zfs? Не zvol, а саму файловую сисему.
> В виртуалку в проксмосе можно пробросить подтом zfs? Не zvol, а саму файловую сисему.простите, а это в какую такую виртуалку - можно?
Не в контейнер, а в виртуалку?
Файловую систему, а не physical device с расходами на двойную эмуляцию.Я вот в свое время был изрядно огорчен тем, что в вмвари нельзя вообще никакими силами пробросить в виртуалку даже physical drive (если он не usb-флэшка, разумеется), равно как и смонтировать какие либо доступные самой вмвари устройства, не добавляя их как datastore.
Ну, понятно, корпоративным мегакластерам оно не нада.
Я может не понял чего вы хотите на самом деле, но давно есть 9p_virtio (https://www.linux-kvm.org/page/9p_virtio) которому не важно ZFS у вас или extX какой. И если гость с поддержкой этого протокола, то в нём достаточно сделать:```
mount -t 9p -o trans=virtio,version=9p2000.L /hostshare /mnt/hostshare
```Но вот зачем это надо не очень понятно. Ну я понимаю, когда это юзает VBox для проброса хостовых данных внутрь виртуалок. Это таки клиентское решение. А вот зачем может понадобиться такое делать на серверах, на которых крутятся эти виртуалки и доступ к ним по ssh или в крайнем случае по SPICE-у какому-нибудь я хз.:)
Хотел в виртуалку бэкапилку засунуть, а zfs на хосте создать, но похоже так не получится, т к виртуалке нужно понимать что это зфс юзать снэпшоты, дедупликацию и прочее. Создал зфс поверх звол в виртуалке. Вроде такая вложенность - нормальная ситуация, только виртуалке надо памяти чемодан выделять чтоб она сама обслуживала зфс с плюшками - это минус.
Используем более шести лет, работает отлично. На одном кластере стоит продакшн, на другом Jenkins поднимает, убивает VM, собирает варианты. Есть мелкие косяки, но не критично. Годно.
а из дженкинса как виртуалки управляются? плагином каким (ссылку, плз) или же внутри тупого sh делается ssh на хост с proxmox и оттуда уже вручную qemu/kvm управляется?и почему собираете в виртуалках, а не в докере или других контейнерах?
> а из дженкинса как виртуалки управляются?У PVE вполне себе есть REST-API которого в общем случае достаточно (нам не достаточно, но там свои тараканы). Вот, как пример, юзанье этого API из ансибла https://github.com/altlinuxteam/infra/blob/master/roles/pve/...
Ничего не мешает делать тоже самое из шелл-очка дженкинса через curl.:)
хостов и виртуалок-то в том кластере сколько?
Я другой аноним, но отвечу. Два кластера, 67 хостов, в общей сложности около 700 виртуалок.
офигеть. На бесплатной версии?
Присоединяюсь к вопросу. Интересно.
Нет, не бесплатная.
Но проксмокс?
В теории и на бесплатной должно работать, функциональных ограничений же нет.
4 кластера, 10,10,2,2 - хостов, около 300-350 виртуалок. Бесплатная версия.
Из минусов, редко, но за 3 года дважды нода вываливалась из кластера. Работала, но вне кластера.
> 4 кластера, 10,10,2,2 - хостов, около 300-350 виртуалок. Бесплатная версия.
> Из минусов, редко, но за 3 года дважды нода вываливалась из кластера.
> Работала, но вне кластера.а кластер не отреагировал на это как на отвал всех запущенных на ней vm с их перезапуском на оставшихся нодах?
В Telegram почему-то попала версия 5.3 http://prntscr.com/nay3zj
Ядро как было, так и осталось: 4.15.18-12-pve #1 SMP PVE 4.15.18-35 (Wed, 13 Mar 2019 08:24:42 +0100) x86_64 GNU/Linux
У кого там "проблемы" с VLAN на PVE?
apt install -y openvswitch-switch -
смена vlan на лету, port mirroring, LACP и вот это все.Пользуйте forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense
у нас нет проблемы с vlan. У нас тут у одного товарища проблема с тем что pve изначально писали для админа локалхостов, поэтому дотянуть вланы с физической сети до виртуалок неожиданно потребовало упражнений на каждом хосте - а хостов, внезапно, может быть не один, и даже не десять, и все это становится немного зае...Как и ручная установка openvswich apt-get'ом, если что. Интересно, что помешало этим ниасиляторам поставить его по умолчанию (он, вроде, ни с чем не дерется и ничего не ломает, пока специально не запустишь) или хотя бы галку в гуе придумать для этого?
https://forum.proxmox.com/threads/ovs-bridge-with-vlans.2728...
- то есть и с ovs есть прекрасный шанс бегать по всем хостам, набирая в cli диковинные заклинания. Для чего тогда нужна общая система управления кластером - мужики пока гадают.
P.S. прекрати рекламировать свои записки на манжетах - это никому кроме тебя неинтересно, гуглем не ты один умеешь пользоваться.
А как оно вообще обновляется. У меня есть две штуки 5.3, одна с инсталлера, другая накаченная на дебиан. Работают, жрать не просят. Есть ли смысл в обновляшках, или могут вылезти проблемы?
> А как оно вообще обновляется. У меня есть две штуки 5.3, одна
> с инсталлера, другая накаченная на дебиан. Работают, жрать не просят. Есть
> ли смысл в обновляшках, или могут вылезти проблемы?Обновляться всегда имеет смысл. Но почитать фопрумы и потестировать перед обновлением тоже смысла не лишено.
Пока что проблем с apt update не было. Т к бесплатная бетотестерская версия, то сабжевый релиз раньше болжен был прилететь. Никаких запросов на обновление версии не выходит, может потому-то минорные релизы.
Тут все такие крутые собрались - десятки нод, сотни виртуалок, несколько кластеров, вланы пачками... Сколько вас таких крутых, сотня на всю страну? Большинству Proxmox нужен для того, чтобы рулить кластером на 2-3 ноды и 10-20 виртуалок. И для этого он подходит прекрасно. В zfs-storage, и локальный и по iSCSI с Солярки он умеет, миграцию тоже, бекапы, снапшоты. И весь функционал для такого класса задач от VMWare он делает бесплатно. И это всяко лучше пиратки, за которую могут и к товарищу следователю вызвать, и которую ни один мелкий бизнес не будет покупать.
> Тут все такие крутые собрались - десятки нод, сотни виртуалок, несколько кластеров,для шкoльника первого класса все пятиклассники кажутся "крутыми", но по факту - они точно такие же шкoльники, чуть постарше. И, как видишь, мне очень интересно послушать ребят из выпускных классов.
десятки и сотни - это уровень лавки, коих в ближайшем крупном бизнес-центре ты найдешь десяток.
Это интересно как побочное занятие, но не как профессия.Забавно станет, видимо, когда хостов сотни, причем уже не первые, но это вот не про проксю.
> Proxmox нужен для того, чтобы рулить кластером на 2-3 ноды и
у его авторов совершенно другой взгляд на этот вопрос.
> 10-20 виртуалок. И для этого он подходит прекрасно. В zfs-storage, и
для этого он не особенно нужен - две ноды можно и ручками администрить, не изучая новых причудливых прокладок поверх kvm. Ну то есть оно было бы приемлемо, если бы все работало просто и без странных проблем, но по факту лично у меня в подобной схеме не зашло, а kvm/qemu я и сам поставить могу.
> делает бесплатно. И это всяко лучше пиратки, за которую могут и
sphere (в девичестве esxi) бесплатна при некоторых условиях, корпоративное применение под них подпадает. HA-кластер из нее не соберешь без платного vcenter, но обычно и не требуется - все равно при падении одной из физических коробок у тебя не хватит ресурсов.
Это когда коробок 30 - падение одной вызывает увеличение нагрузки остальных на 3%, которые даже и не заметят. Там другая проблема есть, из-за которой с ней неофитам лучше не связываться, называется HCL.
Та же история с hyper-v server (минус hcl и еще куча странных проблем)> к товарищу следователю вызвать, и которую ни один мелкий бизнес не
> будет покупать.а тебя он купит? Ты в месяц вообще-то дороже должен стоить. Иначе зачем работать на такой мелкий бизнес, если ты умеешь zfs, ceph, kvm и ha-кластеры? Если не умеешь - без поддержки это немного стремно, они все умеют очень забавно развалиться, а поддержка недешева.
Для совсем мелких у вмвари есть workstation. 250 что-ли евро. Сколько ты возьмешь за настройку парочки, предположим, что ты умеешь и это займет часа два (оно по факту больше, потому что надо ж виртуалки ставить и настраивать, а это терабайты гонять туда-сюда) ?
Если предполагается, что за настройку пары виртуалок надо брать больше 250 евро, то в этой стране такого счастья нету. Порой это месячная зп админа, а парттаймер и 100 баксов в мес может брать.
Не надо свои реалии на всех переносить. кому нужно пользуются и вполне довольны.
Я как альтернативу проксмосу рассматривал vsphere, но он какой-то неудобный и вещь в себе. (и бекапы костылями только). Еще для халявщиков вполне нормально виртуалбокс заходит, но удаленно не очень удобно рулить (есть remotebox и на php морда, последнее не тестил), веб консоль в проксмосе - то что надо.
> Если предполагается, что за настройку пары виртуалок надо брать больше 250 европары виртхостов же ж. То есть протрахаешься ты по факту не один день, хотя бы банально перенося туда то, что внутри должно работать. А потом еще и разгребая глупые претензии что "из-за вашей виртуализации ничего не работает" (по факту - не работало и раньше, но клали болт)
Если это не стоит даже 250 - "ну зачем так въ..., это беда!"Причем за ws-то ты их платишь один раз в жизни системы, а приходящую маму-админа кормить приходится регулярно, даже если он и не на зарплате.
Кстати, сколько стоит такой ящик, на котором тех виртуалок можно поднять десяток одновременно? О тож. Затраты на софт на этом фоне имеют мало значения. Собственно, в ентер-прайсе все то же самое - они, конечно, ноют, когда им приносят план апгрейда на 6.7 с шестью нулями на конце, но в душе-то понимают, что они кормят стаю обезьян, подорого, платят за электричество, гигаваттами пожираемое всей фигней, платят за обслуживание железа, к которому не купишь запчастей на рынке - и это только регулярные затраты. А тут один раз...в три года, но они про прошлый уже забыли ;-)
> Я как альтернативу проксмосу рассматривал vsphere, но он какой-то неудобный и вещь в себе. (и
> бекапы костылями только).его не принято бэкапить (козлы ненавижу, но это личное) - бэкапить принято виртуалки, а хост ценности не представляет (по задумке). внутри довольно много интересного для этих бэкапов сделано, но вручную попользоваться, наверное, не выйдет (дифференциальные копии в том числе). Ну да, софт для этих бэкапов обычно платный (мне тут рекомендовали nakivo, в принципе, нравится, вместо цены - 'call'). Но есть же прекрасный veeam, up to 10 instances with no cost!
У сферы проблему я уже озвучил - есть hcl, из очень дорогих энтерпрайзных железяк состоящий, шаг влево, шаг вправо - у тебя полный лог какой-то бжни, отключить нельзя, сделать ничего нельзя, конфигурация неподдерживаемая.
Или вот так:~ # ./tw_cli /c0/p1 show smart
/c0/p1 Drive SMART Data:
Segmentation fault
а в шестой версии этот драйвер уже вообще отсутствует.
хотел написать ovirt, написал всфере какой-то =)
Сама виртуализация особо не важна в объемах несколько виртуалок, а 250 баксов и более могут стоить сервисы которые в виртуалках (да хть и в одной виртуалке или на хосте). Об этом же не говориться ничего как будь-то работа админа кончается на запуске виртуалки.
И 10 каких-то виртуалок может потянуть любой комп, все завивит от нагрузки в виртуалках же, соотвественно и железо за 100 косарей можно взять а не за пару лямов. У всех свои задачи и масштабы.
> хотел написать ovirt, написал всфереа, ну вон мы там выше жевали булочку про овирт - странные оне, да.
С другой стороны, если у тебя кругом один rhel/centos, изредка винда - то, наверное, можно попробовать приобщиться к ентерпрайсным технологиям.> И 10 каких-то виртуалок может потянуть любой комп
если они ничего совсем не делают, а лучше - выключены. Я вот примерно так и живу.
Но зачем бизнесу такие виртуалки?Смысл виртуалок-то в том, что современные _серверные_ ящики разожрались до такой степени, что их просто совершенно неэфективно использовать host per function (тем более что захочется failover, и вместо одного ящика станет два, хотя нагружен будет один на пол-процента своей мощности), а универсальные сервера-всего нынче окончательно немодны.
> и железо за 100 косарей можно взять
то есть в пять раз дороже цены "дорогой" ws ;-)
Хотя у меня вот чтой-та не получается так дешево лично для дома, что-то комплект из хранилки и одного-единственного хоста выходит сильно за $3k даже с совсем ширпотребными деталями :-(приходится платить денег хостерам (понятно, что я ничего не экономлю, просто эти 3k не разово, а за пару лет по копеечке)
Ты не понял. ws - это софт, а значит на него 90% компаний денег не даст сразу. Даже на 1с не дают, а тут какой-то вс нужный только админу. Потом виртуалок полно бесплатных и ничуть не хуже.
В госшарагах софт купить сложно, т к он нерусский весь (а русский лучше и не смотреть). тут тоже проще бесплатное использовать. А на серевера денег пожалуйста. даже винду можно купить в условиях всех запретов на нее т к ее объективно не чем заменить, и это легко доказать, но всякие виртуалки...
Смысл виртуалок еще в изоляции и простоте настройки сопровождения. Одна задача - одна виртуалка.
дружище, ws нужна там, где вся "компания" - владелец лавочки, он и решает, дать денег или не дать. Деньги у него, по сути, свои личные, поэтому аргументы что тебе надо впятеро больше и в месяц он прекрасно поймет, если ты сумеешь объяснить, почему нате-на-лопате хуже и в том числе что твоего ценного (для него ценного!) времени потратится больше.В госшарагах такого сорта, где "проще бесплатное" работать просто не надо, потому что бесплатно пользовать там будут тебя.
В госшарагах где винду можно купить - можно купить vcenter даже вместе с охреньстратором и релайзой, скорее всего это окажется удобнее винды, особенно если ты не владеешь в достаточной степени виндовым кунфу. И если что-то развалится - ты не останешься на внезапно вторые сутки в попытках найти в гугле готовый ответ как это чинить, а сдашь проблему кому следует, и пойдешь спокойно спать домой.Вот в не-гос шарагах, которые на инвесторские денежки гуляют - там да, придется сравнивать и обосновывать свой выбор. Но не с бесплатным навозом, а с другими коммерческими решениями - при этом надо приложить определенные усилия, чтобы всякие недоделки в конкурс не попали.