Состоялся (https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-1) релиз Proxmox Virtual Environment 5.1 (http://www.proxmox.com), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://download.proxmox.com/iso/) 589 Мб.Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса : поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
В новом выпуске (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.1) пакетная база обновлена до Debian Stretch 9.2, задействовано ядро Linux 4.13.3 (ранее было 4.10). Обновлены версии QEMU 2.9.1, LXC 2.1 (https://www.opennet.me/opennews/art.shtml?num=47165) и ZFS 0.7.2 (https://www.opennet.me/opennews/art.shtml?num=46932). В состав добавлена реализация распределённой файловой системы
Ceph 12.2.1, которая объявлена готовой для промышленного использования. Улучшена документация, в которую для наглядности добавлены скриншоты. Внесена порция улучшений в web-интерфейс: расширен диалог создания виртуальных машин, добавлена возможность выбора диалога настройки средств отказоустойчивости через выпадающее меню. Оптимизирован процесс завершения работы. Добавлена возможность импорта пакетов в формате OVF (Open Virtualization Format) из командной строки. Добавлена поддержка контейнеров с SUSE Enterprise Linux (в дополнение к контейнерам с openSUSE).
URL: https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-1
Новость: http://www.opennet.me/opennews/art.shtml?num=47440
Интересно, когда будет поддержка mdadm ?
В рулилке или в дистрибутиве?А то есть тут http://altlinux.org/starterkits/server-pve -- туда можно впихнуть более-менее всё, что понадобится.
Щит, а я сначала подумал что это "Мичеал", НО НЕТ!
> А то есть тут http://altlinux.org/starterkits/server-pve -- туда можно впихнутькак насчет zfs - разумеется, с установкой и загрузкой с нее же? ;-) Можно для обычного "server", ему как раз нужнее.
P.S. количество не поддающейся простой автоматизации ручной е%#ни при сборке кластера и введении новых узлов - впечатляет. Пожалуй, alt-server "еще не готов" для дескт...простите, vm кластера.
>> А то есть тут http://altlinux.org/starterkits/server-pve -- туда можно впихнуть
> как насчет zfs - разумеется, с установкой и загрузкой с нее же? ;-)
> Можно для обычного "server", ему как раз нужнее.Не, в сторону btrfs какие-то прокопы будто были, а zfs сейчас в альте точно только ручками (но из пакетов) и сильно не уверен, что для корня.
altlinux.org/PVE его, судя по страничке, использовать умеет. Т.е. я бы тогда слепил систему с корнем на [зеркале из] мелких SSD/DOM, а виртуалки уже на массив чего угодно.
> P.S. количество не поддающейся простой автоматизации ручной е%#ни при сборке кластера
> и введении новых узлов - впечатляет. Пожалуй, alt-server "еще не готов" для
> дескт...простите, vm кластера.Можно подробней? Понимаю, что багрепорта не особо ждать приходится, но вдруг. Передать есть кому.
> В рулилке или в дистрибутиве?
> А то есть тут http://altlinux.org/starterkits/server-pve -- туда можно впихнуть более-менее
> всё, что понадобится.Да-да-да уже бежим менять Proxmox в production на это... хм, пардон, как вы это называете?
> Да-да-да уже бежим менять Proxmox в production на это...
> хм, пардон, как вы это называете?Так и называем -- PVE. Кстати, сами тоже применяем. С апстримом дружим :)
Я с уважением отношусь к альту, но в чём сакральный смысл городить PVE на нём, а не использовать ProxMox. Чем он вас не устраивает? Или это типа "потому что можем"?)
"Эх... ты не рыбак, тебе не понять..."
пока только установкой поверх Debian
> Интересно, когда будет поддержка mdadm ?У них там btrfs намечается, так mdadm скорее и не будет
Для контейнеров или зачем?
> Для контейнеров или зачем?Для возможной замены zfs
Так zfs для работы используют, а btrfs для острых ощущений. Так что адекватной заменой был бы mdadm.
> Так zfs для работы используют, а btrfs для острых ощущений. Так что
> адекватной заменой был бы mdadm.За что купил, за то и продаю https://forum.proxmox.com/threads/proxmox-btrfs-support-road.../
ZFS тут полностью не заменишь, у btrfs, увы все плохо с блочными устройствами для гостей.
А LVM, не поддерживает и половину фитч ZFS.
Отсюда какой профит в том, что бы пытаться заменить то, что и так работает хорошо?PS: по той же идее и mdadm не встроят.
Только HAMMER2 спасёт отца русской демократии.
> А LVM, не поддерживает и половину фитч ZFS.Как volume manager? Это каких например?
В сабже lvm по умолчанию, после тонких пулов использовать zfs имеет смысл разве что для бэкапов.
>> А LVM, не поддерживает и половину фитч ZFS.
> Как volume manager? Это каких например?
> В сабже lvm по умолчанию, после тонких пулов использовать zfs имеет смысл
> разве что для бэкапов.А снапшоты в thin-lvm уже не влияют на производительность?
И как на счёт встроенного сжатия?В сабже и ZFS по умолчанию.
> А снапшоты в thin-lvm уже не влияют на производительность?И не влияли. :D
(Примерно даже знаю куда пруф предоставите, только апдэйт там вначале прочтите)
> И как на счёт встроенного сжатия?фс с менеджером томов не путаете? В zvol его тоже нет.
> В сабже и ZFS по умолчанию.Он его поддерживает из каробки, но устаеовка по дефолту на lvm.
Что то не так?
> фс с менеджером томов не путаете? В zvol его тоже нет.Шоа?!
Compression -- это свойство ZFS-датасета. Компрессия для ZFS-датасетов есть. Значит, она есть и для всех типов ZFS-датасетов.
И для типа ZFS POSIX Layer, и для типа ZFS Volume, и даже для твоего собственного типа, к которому ты будешь ходить через libzfs и только ты знаешь, что у тебя там лежит.
Никогда, авторы упopoты.Ну и apt-get install mdadm никто не отменял.
Раньше использование mdadm в связке с LVM и созданием снапшотов виртуалки приводило к зависанию системы...
А зачем lvm'у нужен mdadm?
Он умеет в том числе (к тонким томам например) тоже самое что и mdadm.
Уж лет 5 как точно.
Очень хочется пощупать в работе, но страшно, и всегда ставится вмвари, т.к. проверено, что работает. Кто в работе больше года данную штуку держит? Есть чувство разочарования, что нужно было ставить другой продукт? Сервера виснут, тормозят, кернел паникуют? Сильно много ограничений при выполнении базовых задач, в сравнении с вмвари?
Глупость сказал, 5 версии года ещё нет. Кто с 5 версии по сей день юзает в бою?
5 версия с ceph'ом, на 8 osd - полгода полет нормальный (~200LXC и 20 обычных виртуалок)
а нод сколько в кластере?
> а нод сколько в кластере?4
Используем давно (кластер из десятка хостовых железок под управлением pve), работает отлично.
Ничего не паникует, фризов нет, очень классно работает миграция виртуалок на другие ноды без остановки.
А какая мощность центрального хранилища и какой протокол используется, iSCSI?
Все связано по оптике или ethernet?
С версии 2.3 на нескольких боевых серверах - полет нормальный. Аптаймы до двух лет доходили.
> Очень хочется пощупать в работе, но страшно, и всегда ставится вмварикраденой?
обычно у людей, уже вбухавших кучу денег в инфраструктуру на базе vmware, нет ни особого выбора (инвесторы не поймут-с) ни, честно говоря, и желания (помимо денег еще есть время на обучение - не next-next-next-ok, а понимание как оно работает, где грабли, как выглядят типичные проблемы и их внешние проявления, банальное умение писать скрипты, наконец)
не думаю что ты тут найдешь тех, кто всерьез все это проходил и с проксой, и с вмварью - такие водятся только в огромных концернах, где одновременно эксплуатируют и то и другое (ради lxc, очень теоретически, в этом может быть смысл), и цитриксы, и еще какой-нибудь aws впридачу. А у них нет времени писать телеги, подерживают инфраструктуру - чтоб не йапнулась и всю корпорацию не похоронила, ибо сама такая уже стоять не может.
> Сервера виснут, тормозят, кернел паникуют?
с чего им виснуть, тормозить и паниковать, если это обычный дебиан?
Вон даже вмвари не виснут, хотя там ведро патчено-перепатчено поколениями разработчиков, последние из которых явно тупые китаезы.> Сильно много ограничений при выполнении базовых задач, в сравнении с вмвари?
фанатеги опенсорсия не в курсе, какие у тебя там "базовые задачи", а next-next-next-ok у них прекрасно нажимается.
У меня вот базовая задача была - развернуть побыстрому штук двадцать (краденых) CSRv, соединить их (платным, я хз где его украсть) vNexus'ом и живым nexus'ом, прицепить к нему в спан-порт анализатор, и начать искать проблему (ключевое слово - то есть все предыдущее - должно занимать минимальное время, это не оплачивают). Очень сомневаюсь, что проксмокся мне в этом хоть как-то поможет. (хотя первое и бывает в виде образа для kvm, а остальное, в теории, мог бы заменить openswitch+ведро)
Есть версию на посмотреть. Менеджеры рассылают. Версия ограниченная и работает на одном проце + ещё мелкие ограничения - вполне реально использовать, если ещё и контейнеры юзаются.
> Есть версию на посмотреть.но смысел? Оно ж кастрированное донельзя, локалхост-онли решение.
Тестировать-то прежде чем клянчить первый миллиард надо именно как оно в большой помойке себя поведет, и как ты себя с ней поведешь (в смысле - насколько затрахаешься все это разворачивать и потом кормить)У вмварьских менеджеров, надо заметить, подход куда более разумный - все, кроме совсем уж энтерпрайзных деталек, можно взять на поиграть, сдав только свой домашний адрес и подписав договор кровь...э, нет, на самом деле галочку и "accept". (но читайте внимательно - там есть "ньюансы". Я ни разу не слышал, чтоб от кого-то их требовали, но под галочку-то написали)
> не думаю что ты тут найдешь тех, кто всерьез все это проходил и с проксой, и с вмварью - такие водятся только в огромных концернахЕрунда. То, что мы юзаем варь - никак не мешает лично мне, например, юзать прохмох под личные проекты и тестовые среды. Особенно, с текущими ценами вари лицензии и подросшим долларом - использование дешевых/бесплатных аналогов для тестовых сред и сред разработки стало актуально как никогда. И прохмох реально далеко не худший вариант.
Моя единственная претензия к этой системе лишь в крайне убогой (в сравнении с варью, конечно) реализации виртуализации сети.> с чего им виснуть, тормозить и паниковать, если это обычный дебиан?
И виснут, и тормозят, и паникуют. Ловили и при перегрузках и при проблемах с подключением к стораджам. Не сказать, чтобы это была вина самого прохмоха, но та же варь с нештатными ситуациями справляется куда как лучше.
> Вон даже вмвари не виснут, хотя там ведро патчено-перепатчено поколениями разработчиков, последние из которых явно тупые китаезы.
Линуксовое ядро там уже давным давно выпилили, сохранив лишь для совместимости со старыми дровами его отдельные части.
> фанатеги опенсорсия не в курсе, какие у тебя там "базовые задачи", а next-next-next-ok у них прекрасно нажимается.
Хреново реализованы чисто "энтерпрайзные" вещи, типа сбора статистики, мониторинга производительности, тонкого управления аппаратными ресурсами, внешних систем резервного копирования, и всего такого подобного. Всякий там продвинутый мультипасинг, виртуализация SAN и так далее - это вообще за гранями горизонта.
> Ерунда. То, что мы юзаем варь - никак не мешает лично мне, например, юзать прохмох под
> личные проекты и тестовые среды.лично мне - мешает, у меня нет лишнего времени отдельного тамагочи кормить. Поэтому тестовые среды ровно на том же, на чем рабочие.
А локалхост, увы, не дает понимания того, как работает в большой системе - или это будет ну оченно дорогой локалхост, если такой не приносит денег, то вряд ли кто может себе это позволить, я точно не. А если приносит - возвращаемся к пункту 1.> но та же варь с нештатными ситуациями справляется куда как лучше.
после очередного отвала стораджей я как-то передумал ;-) особенно после того как выяснилось, что у пятой версии такой интересный аналог fsck, что умеет только сообщить что все плохо, а чинить - обещали в шестой ;-) Да, нехрен подключать стораджи по iscsi, но это дешевые сервера (как раз под тестовые задачи), там это был лучший выбор из доступного.
(ну да, понятно, в линуксе с нештатной ситуацией справляться буду я, а не интуитивно-приятные скрипты)
С резервным копированием именно вмварей (платформы а не vm в ней) тоже "не очень".> Всякий там продвинутый мультипасинг, виртуализация SAN и так далее - это вообще за
> гранями горизонта.да там бы хоть аналог vSwitch пока... а то ж чего ни хватишься - ничего нет.
Да, это работает. Да, даже без платной подписки. Да, даже на десктопном железе. Да, аптайм ограничен временем работы от упса.
Давно в проде, несколько кластеров по 100-200 виртуалок на 6 нодах, работает отлично.
>Очень хочется пощупать в работе, но страшно, и всегда ставится вмвари, т.к. проверено, что работает. Кто в работе больше года данную штуку держит? Есть чувство разочарования, что нужно было ставить другой продукт? Сервера виснут, тормозят, кернел паникуют? Сильно много ограничений при выполнении базовых задач, в сравнении с вмвари?Использую со второй версии. VMWare он уже тогда перекрывал и по надежности и по совместимости и естественно по возможностям и короче по всему кроме маркетинга.
Сейчас смешно сравнивать. У PVE Ceph и ZFS send мышкой настраивается, а у VMWare тут некто пох (кажется) рассказывал как ftp сервер поднимает чтобы исошник загрузить =)
> Сейчас смешно сравнивать. У PVE Ceph и ZFS send мышкой настраивается, а
> у VMWare тут некто пох (кажется) рассказывал как ftp сервер поднимает
> чтобы исошник загрузить =)тебе осталось рассказать, в каком месте настройки zfs мышкой связаны с загрузкой исошников в datastore, и как они у тебя туда сами мышкой запрыгивают.
Вот zfs send у нас нет, у нас там фат, по слухам. Копируются виртуалки, а не fs на которой они лежат. Что, действительно, несколько обидно, когда скопировать хочется систему, а не отдельные vm.
С другой стороны, то, чего ради ее стоит копировать, у вас, походу, отсутствует как класс.
>> Сейчас смешно сравнивать. У PVE Ceph и ZFS send мышкой настраивается, а
>> у VMWare тут некто пох (кажется) рассказывал как ftp сервер поднимает
>> чтобы исошник загрузить =)
> тебе осталось рассказать, в каком месте настройки zfs мышкой связаны с загрузкой
> исошников в datastore,И того и другого нет в VmWare и похоже не будет
> И того и другого нет в VmWare и похоже не будеттак и запишем - vmware ты видел только на картинках.
>> И того и другого нет в VmWare и похоже не будет
> так и запишем - vmware ты видел только на картинках.Посмотри как бывает когда делают для людей
https://youtu.be/kHyf_l1Q1ow?t=102
PVE 4.4 больше года 10 серверов + CEPH 88 OSD, работает нормально.
Используем с версии 2.х (минорную цифру не помню). Так же, используем вмварь, с 2009 года (какие там версии были не знаю, сейчас актуальная). В целом, в сравнении с вмварью: кнопочек меньше, но человеку, что на ты с ОСь линух, в кишках этой штуковины разобраться сильно проще, чем в кишках вмвари (это где заканчиваются мышки и кнопочки). Вмварь стабильней, возможно потому, что не совсем никто не трогает. В общем то не раз разъезжались ноги кластера pve, чего не особо припомню с вмварью. Зато винтовая виртуалка-управлядка вмвари, жрет непомерно много ресурсов, чего попросту нет у проксмокса. Веб интерфейс вмвари сильно тормозит и требует флеш, в виндовом клиенте, нет крючевых фич, в консоли нет...ну консоль у вмвари просто жесть. У проксмокса шустрый HTML5, неплохие тулзы и в общем-то возможности в консоли. С API примерно так же. У вмвари это жесть,с огромным объёмом документации, где очень легко потеряться и не просто найти, у проксмокса все интуитивно понятно.
Юзаю в проде начиная с бородатой версии 1.2. Вмвер с ксеном не нужны.
> Юзаю в продеЭто ты так свой Raspberry Pi на балконе называешь?
Сколько ни искал сравнения CitrixXENserver и Proxmox - всюду утверждают, что сравнение в пользу VMware и Hyper-V...
Даже как-то странно...
Далек от этого, но даже описание выглядит круто.
ну в нём скромно умалчивают, что бесплатен только бета-тест лапши на php от школьников с завышенным ЧСВ (по крайней мере так было последний раз, когда я интересовался)
Вы о чем? pve использует perl.
сорян, и вправду - слишком плохо я про них думал
Но лицензия там и правда грустная.
> Но лицензия там и правда грустная.А чего бы хотелось?
Работает несколько лет сервер с несколькими машинами (каша из windows и Linux). Проблем с виртуализацией не возникало.
Не понимаю, почему нормальная поддержка виртуализации сети даже в проектах не значится? Накручивать локальные сетевые настройки и правила маршрутизации ручками на каждом хосте, конечно, кому-то может и понравится, но когда хостов виртуализации много и есть кластеризация - хотелось бы нормальных распределенных свитчей на манер вмваровских.
> Не понимаю, почему нормальная поддержка виртуализации сети даже в проектах не значится?потому что "проекты" собирают из готовых деталек, имеющихся в наличии (это и так достаточно геморройный процесс)
> хотелось бы нормальных распределенных свитчей на манер вмваровских.
как только ты напишешь нормальный-распределенный-свитч для линуксов (а не openvswitch) - так сразу же и будет.
Кстати, вмварь их собирается похоронить и полностью уйти на vNexus, и не просто так.
(правда, уже лет пять собирается, а воз и ныне в канаве)
> как только ты напишешь нормальный-распределенный-свитч для линуксов (а не openvswitch) - так сразу же и будет.Придумайте уже хоть что-то оригинальное. Если так отвечать на все, то можно просто написать программку, которая выводит "Hello World!" и назвать это "complete open-source platform for enterprise virtualization", после чего на все претензии отвечать, что недостающие функции можете дописать сами, опенсорц же.
Понятия "сделай сам" и "энтерпрайз", для которого позиционируется данный программный продукт (судя по утверждениям создателей, по крайней мере) - друг от друга крайне далеки. И энтерпрайз - это не там, где даже просто нарезать пару десятков VLAN-ов и распихать туда виртуалки требует длительного нетрадиционного секаса. И уж, тем более, это не там, где админ, бросив свои дела, будет "писать нормальный распределенный свитч для линуксов".
> Придумайте уже хоть что-то оригинальное. Если так отвечать на все, то можнону ты же спрашивал - "не понимаю, почему" - ты хочешь "оригинальный ответ" или все же реальное состояние вещей?
Реальное вот такое - у прокса денег в сотни тыщ раз меньше, чем у вмвари, и они не занимаются изобретением космического корабля начиная от колес. Лепят из того что было. Если в наличии колеса только квадратные - то при посадке будет немного потряхивать. У них и так куча работы.Аналога distributed vSwitch никто для линукса под гепеель не написал, и вряд ли напишет.
Цискиного vNexus нет и не будет (а даже если и упустят, он будет опять под kvm).Есть openswitch, но ты его не хочешь (это совсем другой мех и для других целей), к тому же его состояние нынче "не очень", хепе жадные (опять таки в том числе и в силу того, что все, кто мог бы быть в нем заинтересован не как в хобби-проекте, уже под вмварью сидят)
если у тебя есть под рукой лох-инвестор, и ты умеешь его доить - можешь попробовать создать альтернативу. Если нет, то приходится принимать мир каким есть.
> просто написать программку, которая выводит "Hello World!" и назвать это "complete
повторяю для плохослышащих: программа не выводит х-ло врот, а использует готовые компоненты для его вывода. Какие уж есть. Если чего-то нет - то его и нет.
Разработчики по уши заняты попытками подсунуть btrfs вместо/рядом с zfs, им и на это годы понадобятся. При том что ни ту, ни другую писали не они, за них уже все написано.
> ну ты же спрашивал - "не понимаю, почему" - ты хочешь "оригинальный ответ" или все же реальное состояние вещей?Попейте Аллохол, может хоть он поможет вам не выплескивать такое количество желчи там, где в этом нет никакой нужды.
> Реальное вот такое - у прокса денег в сотни тыщ раз меньше, чем у вмвари
Большинство функций ESX, которые используются до сих пор - были реализованы еще в те стародавние времена, когда у вари было куда как поменьше денег. Те же распределенные свитчи существуют уже больше десяти лет. Самому прохмоху уже почти столько. А воз и ныне там.
Есть мнение, что даже с очень ограниченными ресурсами можно было хоть как-то ситуацию улучшить за столько-то лет.> Лепят из того что было. Если в наличии колеса только квадратные - то при посадке будет немного потряхивать. У них и так куча работы.
Работы - куча, а вот делают они ее как-то не слишком расторопно.
> Аналога distributed vSwitch никто для линукса под гепеель не написал, и вряд ли напишет.
Откуда такая уверенность?
> Если нет, то приходится принимать мир каким есть.
Это никак не мешает высказывать свое мнение на данный счет, разве нет?
> Разработчики по уши заняты попытками подсунуть btrfs вместо/рядом с zfs, им и на это годы понадобятся.
Хороший пример затрат времени на то, полезность чего достаточно сомнительна, а вот нормально реализовать виртуализацию сетей - это нинада.
Ну-ну...
> Большинство функций ESX, которые используются до сих пор - быликопипастой из еще тогда не-открытого кода qemu или форками линуксного ядра и утилит, "поправил, не благодари".
Но вот как раз distributed switch - функция не голого esxi, а вцентровской системы в целом - и вот это-то как раз собственная разработка вмвари, ни с кого не скопипащенная и ни из какого опенсорся не клонированная. И появилась она не настолько давно.
а в опенсорсе ничего похожего не было - в том числе, потому что последние лет десять как-то немодно работать забесплатно, а заплатить никто, видимо, не собрался - поскольку уже есть вмварь с готовым рецептом.
>> Разработчики по уши заняты попытками подсунуть btrfs вместо/рядом с zfs,
>> им и на это годы понадобятся.
> Хороший пример затрат времени на то, полезность чего достаточно сомнительнапочему "сомнительна"? Один иск от оракла - что вполне вероятно, учитывая малопонятность этой лавки и прогрессирующий маразм топ-топов, с которым вскоре перестанет справляться самая передовая геронтология - и будет несомненна.
А переобуваться на лету, как видим, не получится, это вообще небыстрый процесс.
В отличие от переизобретения колеса - эта-то задача решаемая, ровно теми средствами и инструментами, которые есть в распоряжении разработчиков.Улучшить дебиановское ядро или добыть денег на свой vswitch - это не по их части. Приспособить миграцию к существующему openswitch'у - вероятно, ниасиливаемая задача.
К тому же пока будешь улучшать - вмварь окончательно мигрирует с него на vNexus, а такую хрень забесплатно или за мало денег выпилить получится только за бесконечное время.
А для мелких систем сойдет и то что есть сейчас.
> Аналога distributed vSwitch никто для линукса под гепеель не написал,
> и вряд ли напишет.Кстати, догадываюсь, у кого может хватить сил и интереса написать.
Надо будет подкинуть им такую затею, вдруг срастётся.
> Не понимаю, почему нормальная поддержка виртуализации сети даже в проектах не значится?
> Накручивать локальные сетевые настройки и правила маршрутизации ручками на каждом хосте,
> конечно, кому-то может и понравится, но когда хостов виртуализации много и
> есть кластеризация - хотелось бы нормальных распределенных свитчей на манер вмваровских.Через VLAN на гипервизорах и свитчах не вариант сделать?
> Через VLAN на гипервизорах и свитчах не вариант сделать?Так про это и речь. Только вот настройка этого "на гипервизорах" прохмоха - заставит заплакать кровавыми слезами любого, кто настраивал аналогичное на вари: https://pve.proxmox.com/wiki/Vlans
Особенно, если этих самых "гипервизоров", мягко говоря, не одна штука.
"Article is outdated and contain advices which are not recommended"Нафига вы это сюда притащили ?
> "Article is outdated and contain advices which are not recommended"
> Нафига вы это сюда притащили ?OK, смотрим тот, который не "outdated": https://pve.proxmox.com/wiki/Network_Model
Стало сильно проще, или удобнее?
Прям настолько проще и удобнее, что на этот самый "not recommended" и ссылаются: For the simplest way to create VLAN follow the link: VLANСпасибо, посмеялся.
> Стало сильно проще, или удобнее?зато оно умеет nat ;-)
Между прочим, от вмвари этого не дождесси, ставь отдельную vm, если оно тебе нада.На самом деле, ужасов особых нет (раз нарисовать, остальное копировать скриптиком) - ужас что это ж даже не vSwitch, не говоря уже о distributed.
Можно, конечно, наплевав на интуитивные хауту, и первое самому сделать, вручную настраивая бриджи, а вот второе уже совсем никак.с другой стороны, большинство потребляетелей контейнеров устроит и вариант "сто виртуалок в одном интерфейсе".
>> Стало сильно проще, или удобнее?
> зато оно умеет nat ;-)
> Между прочим, от вмвари этого не дождесси, ставь отдельную vm, если оно
> тебе нада.
> На самом деле, ужасов особых нет (раз нарисовать, остальное копировать скриптиком) -
> ужас что это ж даже не vSwitch, не говоря уже о
> distributed.
> Можно, конечно, наплевав на интуитивные хауту, и первое самому сделать, вручную настраивая
> бриджи, а вот второе уже совсем никак.oVSwitch конфигурится в связке в kvm - ничего "особенного" в настройках нет
есть и OpenFlow...
> с другой стороны, большинство потребляетелей контейнеров устроит и вариант "сто виртуалок
> в одном интерфейсе".
>> "Article is outdated and contain advices which are not recommended"
>> Нафига вы это сюда притащили ?
> OK, смотрим тот, который не "outdated": https://pve.proxmox.com/wiki/Network_Model
> Стало сильно проще, или удобнее?
> Прям настолько проще и удобнее, что на этот самый "not recommended" и
> ссылаются: For the simplest way to create VLAN follow the link:
> VLAN
> Спасибо, посмеялся.т.е. настройка прокурв и сисек через cli не смущает, а конфигурационный файл растиражировать или написать - это уже п..ц как ужасно и без тыцания мышой ну никак не интерпрайзно ;)
> т.е. настройка прокурв и сисек через cli не смущает, а конфигурационный файл растиражировать или написать - это уже п..ц как ужасно и без тыцания мышой ну никак не интерпрайзно ;)Ну, начнем с того, что я такие вещи уже давно делаю через PowerShell-скрипты... И на этом, пожалуй, и закончим. :-)
Дело не в том, через гуи, или не через гуи это сделано.
Дело в том, что в прохмохе это сделано через абсолютно нетрадиционный секас. Не должны такие вещи настраиваться подобным образом. Не говоря уж о том, что оно еще и глючит, периодически требуя рестарта всего хоста, если начинаешь на нем как-то менять сети, потому что сеть начинает от виртуалок/контейнеров произвольно отваливаться.
>> т.е. настройка прокурв и сисек через cli не смущает, а конфигурационный файл растиражировать или написать - это уже п..ц как ужасно и без тыцания мышой ну никак не интерпрайзно ;)
> Ну, начнем с того, что я такие вещи уже давно делаю через
> PowerShell-скрипты... И на этом, пожалуй, и закончим. :-)
> Дело не в том, через гуи, или не через гуи это сделано.
> Дело в том, что в прохмохе это сделано через абсолютно нетрадиционный секас.
> Не должны такие вещи настраиваться подобным образом. Не говоря уж о
> том, что оно еще и глючит, периодически требуя рестарта всего хоста,
> если начинаешь на нем как-то менять сети, потому что сеть начинает
> от виртуалок/контейнеров произвольно отваливаться.менять сети налету можно используя ovs и команды для него
первые попавшиеся примеры описаний:
https://xakep.ru/2012/11/19/59656/
https://habrahabr.ru/post/325560/ там ссылка на статью от 14-го, ну общие возможности описаны
никакого секаса я не увидел, скрипты и прочеерестарт хоста - это как-то по виндовски ;)
Это тоже xepня, как и любая вики. Уже давно при создании интерфейса просто указывается тег влана (естественно нужный влан надо притащить на порт хоста).
> Это тоже xepня, как и любая вики.а как тогда получают сокровенные знания - если вики херня, а документацию писать вообще уже забыли что такое - методом пристального гугления?
Использую VLAN, один раз разобрался и не имею проблем. Там и разбираться нечего.
> когда хостов виртуализации много и
> есть кластеризация - хотелось бы нормальных распределенных свитчей на манер вмваровских.Когда хостов виртуализации много, то PVE (видимо) не используют, т.к. ограничение кластеризации в данном продукте - 32 ноды. Или о каком большом кол-ве Вы говорите?
> Когда хостов виртуализации много, то PVE (видимо) не используют, т.к. ограничение кластеризации в данном продукте - 32 ноды. Или о каком большом кол-ве Вы говорите?С современным количеством ядер и памяти на хост - кластера, в которых больше 32 нод, и не нужны почти нигде.
К тому же, кластеров может быть и несколько, если так уж приспичило наплодить хостов.
>Не понимаю, почему нормальная поддержка виртуализации сети даже в проектах не значится?Потому что оно давно там имеется https://pve.proxmox.com/wiki/Open_vSwitch
>>Не понимаю, почему нормальная поддержка виртуализации сети даже в проектах не значится?
> Потому что оно давно там имеется https://pve.proxmox.com/wiki/Open_vSwitchО, да... Что называется - для тех, кому статья по настройке обычных VLAN-ов на прохмохе показалась недостаточно упoрoтoй.
ну я ж говорил - вы когда его рассмотрите, не захотите.Получилось на редкость уныло (и глючно, kernel panic на ровном месте, как делать нефиг), вероятно не только потому, что бабки кончились в самом начале, но и потому, что глядя на конкурентов, всем становилось понятно, что проект мертвеньким родился.
К тому же, хотя в самом ovs и пытались предусмотреть live migration и прочие нужные штуки, ради которых, собственно, и стоит с ним связываться, авторы прокшмякса до этого место доки, похоже, не дочитали, и используют его просто как дубовую замену bridge. (по ссылке ровно это и написано)
В общем, хочешь сложных виртуальных сетей (да еще прозрачно стыкующихся с физическими) - тебе в вмварь.
> В общем, хочешь сложных виртуальных сетей (да еще прозрачно стыкующихся с физическими) - тебе в вмварь.Ты же ни в VmWare ни в PVE не настраивал "сложных" сетей. И простых тоже. Зачем FUD распространяешь?
У меня Proxmox и с OVS и без него, с агрегацией и виланами и живая миграция работает. Всё то же самое что и VmWare, только проще, быстрее и надежнее и без потери пакетов, времени и денег.
> Всё то же самое что и VmWare, только проще, быстрее и надежнее и без потери пакетов, времени и денег.Серьезно? Покажешь как передвинуть виртуалку/контейнер с диска на диск (локальных) в онлайне?
>> Всё то же самое что и VmWare, только проще, быстрее и надежнее и без потери пакетов, времени и денег.
> Серьезно? Покажешь как передвинуть виртуалку/контейнер с диска на диск (локальных) в онлайне?Серьезно? А сам без статьи на хабре не смог?
Если серьезно, меня очень огорчает, что народ наш так и не научился документацию читать. Особенно на английском.
Хуже индусов... Но это уже не серьезно.https://pve.proxmox.com/wiki/Storage_Migration
Если на другой хост, то qm migrate --with-local-disks
> https://pve.proxmox.com/wiki/Storage_Migration
> Если на другой хост, то qm migrate --with-local-disksОК, насчет вируталок - согласен, пропустил момент, что это появилось. Достаточно давно перестал использовать на прохмохе виртуалки, так что не было возможность проверить это на последних релизах.
Но вот с контейнерами это так и не работает. А на прохмохе я использую именно их, потому что варь пока контейнеры тупо не умеет совсем.
>> https://pve.proxmox.com/wiki/Storage_Migration
>> Если на другой хост, то qm migrate --with-local-disks
> ОК, насчет вируталок - согласен, пропустил момент, что это появилось. Достаточно давно
> перестал использовать на прохмохе виртуалки, так что не было возможность проверить
> это на последних релизах.
> Но вот с контейнерами это так и не работает. А на прохмохе
> я использую именно их, потому что варь пока контейнеры тупо не
> умеет совсем.Я не использую контейнеры.Там и с миграцией и перемещениями дисков и со снэпшотами и с фризами не всё так гладко. На OpenVZ говорят работало, но подозреваю как и всё в контейнерах с некоторым (немалым) количеством условий, сюрпризов и костылей.
>прохмохеможно без этого?
> Ты же ни в VmWare ни в PVE не настраивал "сложных" сетей.протри от слюней свой хрустальный шар- он тебе всякую херню показывает, похоже.
И перестань считать "cложной" сеть в которой, ну надо же, есть вланы. А то ж даже не смешно.В pve конечно не настраивал - мне в голову не придет заниматься этим по подобным приведенным хауту. Теперь еще и выясняется, что они давно outdated, но нормальную документацию, видимо, "пишут".
> У меня Proxmox и с OVS и без него, с агрегацией и виланами и живая миграция работает.
миграция контейнеров?
> Всё то же самое что и VmWare
я тут немножечко рассказывал, про "то же самое в vmware", начиная с SR-IOV (который там вот просто есть и работает), заканчивая виртуальным нексусом, но ты, похоже, ни слова не понял. (это вот - "сложные" сети, а не банальные вланы дотянутые до виртуалок)
> только проще, быстрее и надежнее и без потери пакетов, времени
только без документации и с гуглем наперевес (если это не потеря времени, то, видать, чего-то я не понимаю). И в "проще" на фоне чудо-настроек в interfaces что-то тоже слабо верится.
где у тебя, кстати, вмварь умудрялась терять пакеты и как ты этого добился?
Ты бы перестал позориться. Я уже понял что ты с vSphere знаком только через бравый маркетинг от производителя и немного на уровне пользователя, а с PVE и OVS вообще не знаком.
> Ты бы перестал позориться. Я уже понял что ты с vSphere знаком
> только через бравый маркетинг от производителя и немного на уровне пользователя,разумеется не разработчика. Просто беру и пользуюсь, ага.
А вот ты, получается, ее и правда изучаешь по рекламным материалам, отсюда и страшные сказки про "абстракции". Хотя, казалось бы, в обычной конфигурации там думать совершенно не о чем.> а с PVE и OVS вообще не знаком.
с ovs - по попыткам применения по прямому назначению, для openstack, не впечатлило (впечатлили падения ведра на ровном месте, это да). С PVE - вот познакомился, вашими стараниями, спасибо, ближе знакомиться расхотелось. Продолжим пользоваться вмварью там где нужны виртуалки, а контейнеры оставим внутри тех виртуалок, на самодельных скриптах без лишних наворотов.
> разумеется не разработчика. Просто беру и пользуюсь, ага.
> А вот ты, получается, ее и правда изучаешь по рекламным материалам, отсюда
> и страшные сказки про "абстракции". Хотя, казалось бы, в обычной конфигурации
> там думать совершенно не о чем.Чтобы просто запустить виртуалку особенно думать не надо. Аналогично и в Proxmox, только ISO можно загрузить без экзотической гимнастики и консоль быстрая и поудобнее вмварной.
Но чтобы рассказывать сказки о конфигурации сети тем кто этим в том числе зарабатывает, и кто наблюдал недоступные кластера ESXi из-за ошибок специалистов с 10-летним и больше опытом, нужно не только думать, но и опыта набираться.>> а с PVE и OVS вообще не знаком.
> с ovs - по попыткам применения по прямому назначению, для openstack, не
> впечатлило=)
Многие и про Ceph то же самое говорят почти дословно.
Это надо читать так "Да пробовал я ваш мёд, добавил ложку мёда в бочку гoвна. Не впечатлило.
Я не знаю почем вас (95%) всё время тянет гoвна наесться.
> с ovs - по попыткам применения по прямому назначениюА что за ядро взгрохотало?
> А что за ядро взгрохотало?да фиг помнит - какое-то из актуальных на год назад. думаешь, с редхатовским мне повезло бы больше?
и главное, ничего ж такого не делал - подобавлял-поудалял интерфейсов - oops, приехали. Ладно б оно от траффика ложилось или попыток какие-то сложные правила сооружать...
я для себя тогда просто сделал зарубку, что "openstack еще не готов для дес...простите, продакшна". Так чтоб по ночам спать, а не "поддерживать" автофэйловеряющуюся-распределенную-кластерную систему, которая сама не стоит.
>> А что за ядро взгрохотало?
> да фиг помнит - какое-то из актуальных на год назад.
> думаешь, с редхатовским мне повезло бы больше?Здесь попросту не знаю, но попробовал бы сварьировать, угу.
> я для себя тогда просто сделал зарубку, что "openstack еще не готов
> для дес...простите, продакшна". Так чтоб по ночам спать, а не "поддерживать"
> автофэйловеряющуюся-распределенную-кластерную систему, которая сама не стоит.Слышал весьма неодобрительные отзывы как о состоянии его питоньих потрохов, так и о стиле разработки/сопровождения от сталкивавшихся достаточно плотно...
отзывы были да, неблагостные, но не год назад, а сильно раньше. Потом как-то заглохли, а народ потихоньку начал эти конструкции у себя возводить. Я заподозрил, что, возможно, этим как-то можно стало пользоваться. Ознакомился, принюхался - ну его, право, нафиг.
(дело не только в свитче, там все, за что не схватишься, примерно так же работает. Пользоваться, наверное, можно, но я ночью спать хочу.)
> с ovs - по попыткам применения по прямому назначению, для openstackИ ещё кстати: opennebula не смотрели? Наш майнтейнер openstack почему-то(tm) начал паковать именно её. Возможно, после общения с Лёней Кантером на прошлогодней OSSDEVCONF в Калуге.
> И ещё кстати: opennebula не смотрели?не, не смотрел - у меня теперь если и случится еще где разом вермишель из нескольких виртуализационных решений в виде iaas, она, скорее всего, будет под присмотром какого-нибудь вендорского решения - и пусть с ним инженеры интегратора трахаются до посинения.
а больше оно,вроде, и не нужно низачем.
> О, да... Что называется - для тех, кому статья по настройке обычных
> VLAN-ов на прохмохе показалась недостаточно упoрoтoй.Нет, yпоротые настройки это ГУЙ VmWare vSwitch и соответствующая документация.
С Proxmox и OVS и вообще в Linux всё просто для тех кто сетевой стек понимает.
> Нет, yпоротые настройки это ГУЙ VmWare vSwitch и соответствующая документация.кто-то обвинял меня в распространении FUD?
Покажи уже, что ж ты там ниасилил в гуе всвитча, (судя по всему ты даже не в курсе, что мы тут про distributed, а не про обычный - стесняюсь спросить, ты вообще-то знаешь что это такое или вся вмварь у тебя закончилась бесплатным esxi?), учитывая что там полторы кнопки. cli, что характерно, тоже существует, и даже документация на него не в виде вики, это еще до нашествия китайцев писали.> С Proxmox и OVS и вообще в Linux всё просто для тех
> кто сетевой стек понимает.а вот тут уже показали как выглядит их "документация", и "понимание", спасибо, поржали.
Твой совет почитать статью на хабре вместо документации, тоже сам по себе знаменателен - казалось бы, openflow придуман специально для того, чтобы всей этой мутью занимался контроллер, а не человек.
>> Нет, yпоротые настройки это ГУЙ VmWare vSwitch и соответствующая документация.
> кто-то обвинял меня в распространении FUD?
> Покажи уже, что ж ты там ниасилил в гуе всвитча, (судя поабстракции, в которые нужно вникать упоровшись, вместо простого конкретного интерфейса, тормоза. При нескольких сотнях хостов и виланов вообще заколебаешься кликать чтобы найти нужные и ничего не перепутать (прецедентов насмотрелся). Это вместо нормального CLI с ssh и грепами. Про VmWare-ный CLI пожалуйста не надо. Ты мне еще PS предложи.
>> С Proxmox и OVS и вообще в Linux всё просто для тех
>> кто сетевой стек понимает.
> а вот тут уже показали как выглядит их "документация", и "понимание", спасибо,
> поржали.Ну и поясни, пожалуйста, над чем вы ржали? Над тем что в английский не можете и выводы делаете по статьям на хабре и пиару VmWare?
Proxmox вообще-то образец технической документации. Это и онлайн доки, доступные кстати локально и вики и ман страницы и комментарии в коде. Кстати код тоже оформлен образцово.Очень любопытно что вы там найдете смешного.
> абстракции, в которые нужно вникать упоровшись, вместо простого конкретного интерфейса,я просил пальцем показать, что там такого сложного, что делал, и что не получилось, а не "абстракции". Но, видимо, не дождемся.
Конечно же, в приведенную выше ссылку на километровую простынь конфига в interfaces (аж на два влана, или три там?) не надо втыкать упоровшись, "все ж понятно" (оно даже и понятно, в общем-то, можно и скриптом нагенерить, только вот проблемы потом искать заманаешься. А, ну да, греп наше всьо).> тормоза.
может это хороший повод попросить у завхоза компьютер поновее 2000го года выпуска? У меня никаких особых тормозов в этом месте нет - хотя и пользуюсь в основном веб-мордой, а не native client. хостов и вланов не "несколько", а "много" сотен, хосты специфические, это не it и не хостинг, но, собственно, специфика именно что там и интерфейсов и вланов сильно не по одному.
> Ты мне еще PS предложи.
а что не так? Тоже документация и все необходимые интерфейсы в наличии. cli не заменяет, cli - для случаев, когда быстрее набрать команду чем рыться в списке, powershell - когда заманало каждый день одну и ту же команду и хочется мелкой автоматизации.
> Ну и поясни, пожалуйста, над чем вы ржали?
тебе не понять, ты всю голову сломал об какие-то там "абстракции".
ржали над 62, 52 и прочим трэшаком вида "все сразу же понятно и легко настраивается". Да уж, куда там вмвари с ее тремя кнопками и однострочными командами.
> я просил пальцем показать, что там такого сложного, что делал, и что
> не получилось, а не "абстракции". Но, видимо, не дождемся.
> Конечно же, в приведенную выше ссылку на километровую простынь конфига в interfaces
> (аж на два влана, или три там?) не надо втыкать упоровшись,
> "все ж понятно" (оно даже и понятно, в общем-то, можно и
> скриптом нагенерить, только вот проблемы потом искать заманаешься. А, ну да,
> греп наше всьо).я тебе пальцем показал. В _ГУЕ_ vSwitch. Зайди и посмотри не группы картинок, которые не указано как друг с другом связаны. Сиди и втыкай. Когда поймешь, объясни, проверю.
>> тормоза.
> может это хороший повод попросить у завхоза компьютер поновее 2000го года выпуска?
> У меня никаких особых тормозов в этом месте нет - хотяну если ничего слаще морковки не пробовал, то и... Например вот джава тоже не тормозит некоторые говорят, я слышал
>> Ты мне еще PS предложи.
> а что не так?В PowerShell всё не так. Я не утриру.
> я тебе пальцем показал. В _ГУЕ_ vSwitch.ну, и чего - вот гуй, вот свитчи. Полтора десятка (так надо). Все перед глазами, что характерно, никаких километровых простыней. Картинок никаких нет, поскольку, когда меня интересуют свитчи в целом, я хожу к ним через 'networking'. В наличии кнопки добавить/удалить. В чем тут, интересно, можно запутаться, в каких "абстракциях"?
Если потыкать в конкретный свитч - будут кнопки добавить/удалить хост или создать портгруппу. Ну и какое-нибудь learn more. В чем ты тут заблудился и где вообще можно было? Скриншот ужасов хоть покажи. А то пока все показанные ужасы - в вике проксы.ладно б ты пытался что-то интересное сделать - network profile создать и применять, iov'шную виртуальную карту пробросить напрямую в vm, раздать коллегам права управления свитчами, чтоб друг-другу не разнесли хитрые конфиги... кстати, на минуточку, как с этим всем у вас в проксе?
>> я тебе пальцем показал. В _ГУЕ_ vSwitch.
> ну, и чего - вот гуй, вот свитчи. Полтора десятка (так надо).
> Все перед глазами, что характерно, никаких километровых простыней. Картинок никаких нет,
> поскольку, когда меня интересуют свитчи в целом, я хожу к нимМолодец, а теперь создай сотню виланов на сотне хостов и расскажи какие ВМ на каких физичских адаптерах и кого видят и кого нет и что что будет после миграции ВМ на другой хост и не получишь ли петлю добавив еще один вилан на другой хост, чтобы мигрированная ВМ не оказалась без сети.
> ладно б ты пытался что-то интересное сделать - network profile создать и
> применять, iov'шную виртуальную карту пробросить напрямую в vmСлово новое на семинаре узнал?
> как с этим всем у вас в проксе?
Если ты о правах, то на основе ролей. Доступ к сетевым настройкам хоста только у админов.
SR-IOV не использую, меня virtio более чем устраивает (пакеты не теряет как ESXi) и лишних граблей не ищу. Если понадобится, PVE позволяет любые опции kvm использовать.
Ты представляешь что такое Linux, kvm, qemu? Это такие штуки, где практически любые фичи оборудования поддерживаются. Это не не ESXi который может запросто на выпущенном 2 года назад сервере диск NVMe Intel не увидеть или LSI HBA, потому что драйвера еще не запилили в последней версии.
>> ну, и чего - вот гуй, вот свитчи. Полтора десятка (так надо).
>> Все перед глазами, что характерно, никаких километровых простыней. Картинок никаких
> Молодец, а теперь создай сотню виланов на сотне хостов и расскажи какиеу меня вланов не сотня, а сотни. Сотен хостов, правда, нет, с трудом десяток, а у тебя они точно-точно есть - вот именно сотни хостов? И ты на них вручную вот всю эту фигню с interfaces, да еще, походу, разную на разных, раз такой вопрос вообще возник?
У себя-то не вижу ужасов, где на них посмотреть?
Правда, таки да, большая часть либо так в виде транка и уходит в vm, либо раздается не с vswitch, а с vNexus, там cli, как ты любишь. Но это моя очень специфическая конфигурация, потому что мои виртуалки - в основном сетевые устройства, а не системы общего назначения, и вместо live migration там failover.> ВМ на каких физичских адаптерах и кого видят и кого нет
судя по тому, что такой вопрос вообще возник - у тебя там феерическая вермишель, прежде всего, как обычно, в головах.
От этого не поможет даже графическая морда вмвари (хотя она и может по конкретному хосту нарисовать, кто куда подключен) - но тем более не помогут километровые (а они в этом случае реально будут километровые) портянки interfaces, ты там вообще ничего не найдешь.
Сколько-сколько у тебя строчек в этом файле на первую сотню вланов?> и что что будет после миграции ВМ на другой хост и
> не получишь ли петлю добавив еще один вилан на другой хост,понятно, вмвари таки не видел дальше халявного esxi. Открою тайну: виланы добавляются обычно не на "хост", у хоста никаких вланов нет, они добавляются в портгруппы свитча. А вот _в_свитч_ добавляются хосты.
> чтобы мигрированная ВМ не оказалась без сети.
какая интересная жизнь у любителей портянок... в пределах dswitch у нас vm без сети не останется, он, собака, _distributed_, везде одинаковый.
>> применять, iov'шную виртуальную карту пробросить напрямую в vm
> Слово новое на семинаре узнал?нет, это у меня жизнь такая интересная. Что есть и возможность, и задачи под эту фичу. Чего в нем нового-то, на 2014й, наверное, год, уже все было (для трех поддерживаемых железок, но то не моя печаль)
>> как с этим всем у вас в проксе?
> Если ты о правах, то на основе ролей. Доступ к сетевым настройкам
> хоста только у админов.ну вот... То есть банального одному "админу" дать порулить одной частью сети, другому другой - вообще никак, что-ли? Самому за них все настраивать в интуитивно-приятном текстовом конфиге на 500 килобайт, и еще городить способы его раздачи на кучу серверов?
ну зато космические корабли бороздят просторы большого театра.
> Ты представляешь что такое Linux, kvm, qemu? Это такие штуки, где практически
ага, отлично представляю - глючные опенсорсе поделки, в которых сам чорт ногу сломит.
(интересно, есть хоть кто-то, кто еще понимает взаимосвязь нынешних kvm и qemu, и кто из них на ком стоит, а не просто выучил пять ключей командной строки?)
Нет, как игрушка, конечно же, замечательно, плохо вот что безумные фанатики их тащат туда, где без них все неплохо работало.
При этом средство автоматизации типовых задач, внезапно, стоит мешок денег, а для управления им все равно надо лезть в какие-то дебри, зато "zfs send мышкой" (да дался он мне на хосте виртуалок).
А как доходит до фич, которые действительно есть только там (я про контейнеры несчастные) - так сразу "я их не использую, и там ничего толком не работает".> любые фичи оборудования поддерживаются. Это не не ESXi который может запросто
> на выпущенном 2 года назад сервере диск NVMe Intel не увидеть
> или LSI HBA, потому что драйвера еще не запилили в последнейох уж эти сказочки, ох уж эти сказочники. Впрочем, если сервера собирать по помойкам, в hcl даже для вида не глядеть... (правда, nvme у него интел и hba lsi - видимо, что у линукса не очень с драйверами для всего остального, клиент немножко догадывается)
мну задуматься, что у меня там за hba, да так и ниасилить вспомнить. наверное, свой, ни с чем несовместимый. Интерфейс я видал когда-то, года три назад, напрочь не помню. И вряд ли увижу снова.
> у меня вланов не сотня, а сотни. Сотен хостов, правда, нет, с
> трудом десяток,Шарага, в которой обязательно несколько админов из разных подразделений чтобы виртуальной сетью на хостах рулить? Ну ок.
> Сколько-сколько у тебя строчек в этом файле на первую сотню вланов?
wc -l /etc/network/interfaces
71 /etc/network/interfaces
ip -o l | wc -l
204
Внезапно, да?> понятно, вмвари таки не видел дальше халявного esxi. Открою тайну: виланы добавляются
> обычно не на "хост", у хоста никаких вланов нет, они добавляются
> в портгруппы свитча. А вот _в_свитч_ добавляются хосты.Ну вот твои абстракции. А свич где, в астрале?
С _10_ хостами и несколькими админами на них вы конечно героически справляетесь =)))). Правда поржал.
> какая интересная жизнь у любителей портянок... в пределах dswitch у нас vm
> без сети не останется, он, собака, _distributed_, везде одинаковый.Это если физические адаптеры и (о боже он у вас есть!!! Целых два, или только на один хватило?) Nexus всё пропускают. И если... Ну короче вам не до безопасности, это тоже понятно.
>>> применять, iov'шную виртуальную карту пробросить напрямую в vm
>> Слово новое на семинаре узнал?
> нет, это у меня жизнь такая интересная. Что есть и возможность, и
> задачи под эту фичу. Чего в нем нового-то, на 2014й, наверное,
> год, уже все было (для трех поддерживаемых железок, но то не
> моя печаль)Нагромождение в виртуалки аппаратных зависимостей без очень-очень веской причины -- это или признак архитектурной безграмотности, или очень припекли тормоза и потери трафика.
> ну вот... То есть банального одному "админу" дать порулить одной частью сети,
> другому другой - вообще никак, что-ли?Можно через API, конечно.
> мну задуматься, что у меня там за hba, да так и ниасилить
> вспомнить. наверное, свой, ни с чем несовместимый. Интерфейс я видал когда-то,
> года три назад, напрочь не помню. И вряд ли увижу снова.Что опыта у тебя нет это я давно сказал. Гы 10 хостов за 3 с лишнем года. Масштаб!
> Что опыта у тебя нет это я давно сказал.Лет двадцать назад я бы и то так не сказал, если что.
А у вас скорее разница взглядов и подходов, толку-то тут флеймить. Предлагаю обменяться мнениями эксплуатационщиков, сделать для себя выводы о технологиях и их нынешнем состоянии, чем сберечь себе и друг другу время и силы, а нервы не переводить почём зря вовсе.
Мне вот мнения о том, как и в каких ситуациях -- и на что именно, какими силами, с какими временными рамками и т.п. -- возможно слазить с вмвари... весьма интересны. Не потому, что я с ней сталкиваюсь -- как раз нет (см., например, bugzilla.altlinux.org/30024). Потому что в стране _дохрена_ вмвари накуплено-развёрнуто и много кто третий год думает, как теперь с неё слезать.
Не теоретические оценки, разумеется, а практические.
>> Что опыта у тебя нет это я давно сказал.
> Лет двадцать назад я бы и то так не сказал, если что.20 лет назад не было ни VMware ни Proxmox. По сабжу опыта нет, чтобы такие авторитетные заявления делать как в начале.
Ну да бох с ним, пускай дальше продолжает вирусную рекламу проприетари распространять.
> Мне вот мнения о том, как и в каких ситуациях -- и на что именно, какими силами, с
> какими временными рамками и т.п. -- возможно слазить с вмвари... весьма интересны.ну вот казалось бы - контейнеров в вари нет и не будет еще хз сколько, а тут - вполне себе готовое и законченное решение, бери и пользуйся.
Смотришь-смотришь...и думаешь, нет, ну его, пожалуй, нафиг, и вместе с контейнерами ;-)а в других случаях - единственным поводом слезания может оказаться "нетбабланах". Но его тогда в первую очередь "нет" для тех неудачников, которым поставят такую задачу (потому что хороший инженер все еще - в месяц - стоит дороже хорошей пачки лицензий - на много лет)
> Не потому, что я с ней сталкиваюсь -- как раз нет
а что - у вас сборка/тестирование по сей день на физическом железе, что-ли? Или пачкой kvm'ов вручную рулите?
кстати, mpt давно уже немодно, если что:
03:00.0 Serial Attached SCSI controller: VMware PVSCSI SCSI Controller (rev 02)
0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
(насчет последнего, правда, "есть мнения", поэтому драйвер e1000 далеко не убирай)
> а в других случаях - единственным поводом слезания может оказаться "нетбабланах".Ещё санкции.
>> Не потому, что я с ней сталкиваюсь -- как раз нет
> а что - у вас сборка/тестирование по сей день на физическом железе, что-ли?Сборка -- разумеется, она вообще на бездисковых узлах организована. Управление оной -- в стопке VE.
> Или пачкой kvm'ов вручную рулите?
Не-а, пачкой контейнеров. А на стенде в т.ч. для всяких тестов сейчас PVE (на отдельной машинке ещё ручные водятся).
> кстати, mpt давно уже немодно, если что:
Эт понятно.
> Шарага, в которой обязательно несколько админов из разных подразделений чтобы
> виртуальной сетью на хостах рулить? Ну ок.нет, ты предлагаешь мне за них это делать, каждый раз как у них зачешется поменять конфигурацию?
К тому же я не очень хочу разбираться еще и в чужих сетевых нагромождениях, меньше знаешь, крепче спишь.>> Сколько-сколько у тебя строчек в этом файле на первую сотню вланов?
> wc -l /etc/network/interfaces
> 71 /etc/network/interfaces
> ip -o l | wc -l
> 204
> Внезапно, да?то есть вовсе и не сотня, а в лучшем случае 50, поскольку ip вывалил тебе и бриджи, и их составляющие? ;-)
Но в общем, да, внезапно - хотелось бы услышать, как это коррелирует с примером вот тут:
https://pve.proxmox.com/wiki/Open_vSwitch - где 50 строк ушло на аж целых два влана и целый один физический линк даже без lacp. ip, если что, выведет аж пять строк ;-)> Ну вот твои абстракции. А свич где, в астрале?
блин, distributed он. В атcрале, да. Пока хостов ему не назначишь. Тогда будет на назначенных хостах. И тебе не надо гадать, на какой из них можно эту виртуалку сажать, а на какой нет - попытаешься перенести/развернуть шаблон не на тот где есть твои порты - не пройдет compat check.
> Это если физические адаптеры и (о боже он у вас есть!!! Целых
> два, или только на один хватило?) Nexus всё пропускают. И если...даже и не два, кластер не один. денег, кстати, за l2-only можно и не заплатить вовсе.
Я, правда, не очень знаю, зачем оно тем, кто торгует виртуалками - лишний шанс самому себе отрезать влан?> Ну короче вам не до безопасности, это тоже понятно.
ну и в чем тут "безопасность"? Из разрешенного диапазона, разумеется, все.
Еще не хватало и тут раскладывать грабельки. Раздача слонов внутри виртуальных свитчей.> Нагромождение в виртуалки аппаратных зависимостей без очень-очень веской причины
причина банальная, я не торгую этими виртуалками поштучно. это сетевое оборудование, а не шаредхостинг.
> или признак архитектурной безграмотности, или очень припекли тормоза и потери трафика.
их просто не стали дожидаться без острой необходимости.
> Что опыта у тебя нет это я давно сказал. Гы 10 хостов
> за 3 с лишнем года. Масштаб!как десяток было три с лишним года назад, так и останется. (а, нет, сгорел один)
Все интересное внутри этих хостов происходит.
>[оверквотинг удален]
>> ip -o l | wc -l
>> 204
>> Внезапно, да?
> то есть вовсе и не сотня, а в лучшем случае 50, поскольку
> ip вывалил тебе и бриджи, и их составляющие? ;-)
> Но в общем, да, внезапно - хотелось бы услышать, как это коррелирует
> с примером вот тут:
> https://pve.proxmox.com/wiki/Open_vSwitch - где 50 строк ушло на аж целых два влана и
> целый один физический линк даже без lacp. ip, если что, выведет
> аж пять строк ;-)Цифры мало о чем говрят, но забавно выглядят на фоне ужаса, который вы натеретизировали. Конфиг без крмментария, пустых строк и лишних сетевух в 2 раза меньше будет. Количество интерфейсов на одном холсте тоже мало коррелирует с числом виланов в кластере.
Но соль не этом. В конфиг пишутся только интерфейсы, которые нужны хосту, а для виртуалок сетевухи с нужным тэгом (прописанно в настройках каждой ВМ) автоматически создадутся при запуске kvm.>> Ну вот твои абстракции. А свич где, в астрале?
> блин, distributed он. В атcрале, да. Пока хостов ему не назначишь. Тогда
> будет на назначенных хостах. И тебе не надо гадать, на какой
> из них можно эту виртуалку сажать, а на какой нет -
> попытаешься перенести/развернуть шаблон не на тот где есть твои порты -
> не пройдет compat check.Это так кажется когда сеть не большая и плюс на оборудвании всё одинаково разрешено плюс нет или мало виртуалок с доступом с хостам или с транками, мостами, proxy ARP каким-нибудь.
Например наличие виртуального порта нечего не говорит о том какой трафик с какими тэгами или без там по факту.
как в пятой версии обстоят дела с контейнерами? можно пользовать или лучше продолжать сидеть на 3.4 с openvz6?
А что не так с контейнерами в 4-5 проксмоксах? Мы просто только KVM используем. Контейнеры в докере...