Дякую! Ще зовсім не читав :) Але маю що сказати по-бистрячку - щойно вдалося інсталювати на флешку XenServer 6.5. Все-одно трохи шаманити довелося. Перед тим "за рекомендаціями собаководів" з усіх 8 SAS-дисків поробив 8 окремих RAID0 масивів. XenServer побачив їх як [sdb] - [sdi] Зараз гратимуся із software raid. Хочу спробувати на половині дисків (4 штуки) врубати RAID10 (під DB-server + критичні app-servers), на іншій - RAID5 (під всяку іншу фігню типу Samba). ‌ 27 листопада 2017 р. о 13:56 Andrii Stesin написав:

Я ще проконсультуюсь з колегами хто ближче до заліза, але маю наступні міркування.

...

Ніяк не вдається провести інсталяцію Citrix XenServer 7.2 НА USB-флешку 64Гб. Підкреслюю - "на" флешку. Сервер - чесний HP DL360 G7.

Порада № 0, "ще до всього". Переконайся, що на сервері стоїть найсвіжіший BIOS та весь пакет мікропрограм від HP. Онови до найсвіжішого що є, усе перепроший. У ранніх версіях на тому поколінні серверів була доволі неоднозначна ситуація з підтримкою UEFI Boot на будь-яких ОС окрім windows server. Поле засіяне граблями.

...

Першу причину (XenServer 7.2 не розуміє GPT-структуру - sic!!!) ніби поборов. (Перший boot після інсталяції просто вилітав у grub rescue mode і там нічого не вдавалося зробити. Grub кричав, що unknown filesystem).

Тут ситуація у моєму розумінні ось яка. Перш за все, щоби воно розуміло GPT нормально, сервер має вмикатись у режимі UEFI Boot.

Режим BIOS Boot, який розуміє тільки археологічний DOS MBR, тобі очевидно не підходить, воно не житиме.

Далі, які думки виникають при погляді на діагностику нижче.

...

Ніби зрозуміла причина - але який розділ, яким чином і на скільки ГБ збільшити?

Ось які розділи створює процес інсталяції на початковій флешці 64ГБ, коли в процесі вказати disable-gpt:

root@uhost:~# fdisk /dev/sdd

Command (m for help): p Disk /dev/sdd: 57.9 GiB, 62109253632 bytes, 121307136 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0x00000000

Device Boot Start End Sectors Size Id Type /dev/sdd1 32 8388639 8388608 4G 83 Linux /dev/sdd2 8388640 16777247 8388608 4G 83 Linux /dev/sdd3 16777248 121307135 104529888 49.9G 8e Linux LVM

А ось які вимоги (що створює процес в режимі GPT):

18GB XenServer host control domain (dom0) partition 18GB backup partition 4GB logs partition 1GB swap partition 0.5GB UEFI boot partition

То як мені підсунути інсталяційному процесу правильні partitions в режимі MBR?

Мені ідея "режиму MBR" активно не подобається. Утім, якщо з такого боку підходити, я би напевно взяв та руками нарізав на флешці ось такий комплект розділів

- від 0 сектора до "2MB мінус 1 сектор" - пусте місце (для вирівнювання розділів з дискретністю 2MB), у partition table нічого не пишемо про це, пропускаємо це місце - від 2MB до "1GB мінус 1 сектор" - UEFI boot partition (у теорії 0.5GB досить, але нехай буде запас) - 1ша позиція partition table, тепер вирівнювання розділів пішло по межі 1GB - від 1GB до "29GB мінус 1 сектор" - перший розділ 28GB під XenServer host control domain (dom0) partition - 2га позиція partition table - від 29GB до "33GB мінус 1 сектор" - Linux swap partition на 4GB і хай довгоносик вдавиться - 3тя позиція partition table

три позиції в partition table ми таким чином зайняли, залишилась одна, бо якщо я нічого не плутаю то DOS partition table розуміє рівно 4 позиції

- від 33GB до "61GB мінус 1 сектор" - другий розділ 28GB під XenServer backup partition

Ідея у тому щоби чорт би з ним, нащо йому окремий logs partition - робимо основну 28GB і хай туди і логи пише. Але тут граблями смердить, бо за такою логікою після UEFI Boot partition ще треба впхати Linux boot partition (де ядро і усі його кишки) а виходить що вже місця нема. Тому другий варіант

- від 0 сектора до "2MB мінус 1 сектор" - пусте місце (для вирівнювання розділів з дискретністю 2MB), у partition table нічого не пишемо про це, пропускаємо це місце - від 2MB до "1GB мінус 1 сектор" - UEFI boot partition (у теорії 0.5GB досить, але нехай буде запас) - 1ша позиція partition table, тепер вирівнювання розділів пішло по межі 1GB - від 1GB до "5GB мінус 1 сектор" - Linux boot partition - 2га позиція partition table - від 5GB до "9GB мінус 1 сектор" - Linux swap partition на 4GB і хай довгоносик вдавиться - 3тя позиція partition table - від 9GB до кінця носія - extended partition --- а усередині extended partition уже намалювати 2 x 20GB для XenServer host control domain (dom0) partition та XenServer backup partition, там же поруч log partition скількись то

Тут уже питання, вкладені logical partitions всередині extended partition, воно їх узагалі так зрозуміє чи ні? Алхімічний експеримент...

Але все це по суті виглядає спробами натягування сови на глобус і скоріш за все результата не дасть. Правильне рішення - безкомпромісно режим UEFI Boot і нормальний чесний GPT.

До речі, про який i386 там угорі узагалі мова, воно ж 32bit? як одне з другим змішується, GRUB 32bit та XenServer 64bit? UEFI Boot + GPT це відразу 64bit все повністю, як воно і має бути. Для цього сервер має нормально розуміти UEFI, це (як сказано вище) є питання версії його мікропрограм (умовно кажучи "його BIOS" але це вже не BIOS у розумінні минулих наших звичок).

Спробуй, розкажи що буде. Але почни з №0 та переконайся що сервер при увімкненні живлення стартує відразу в UEFI mode.

Бажаю перемоги ;) я

-- Regards, /oleh hrynchuk http://zmejgorynych.blogspot.com

Немного собственного опыта: 1. После того, как VMWare ESXi простояла на флешке около 8 лет, флешка стала читаться и писаться с очень низкой скоростью. Сервер вывели для upgrad’а на XenServer до того, как флешка умерла совсем. 2. В отличии от VmWare, XenServer "из коробки" пишет немало логов. Бывает, забивает свою файловую систему. Нужно tun’ить. 3. Установка на флешку для XenServer в любом случае - танцы с бубном. 4. В серверах, обычно, используют какой-то RAID. 5. Установка XenServer "из коробки" занимает примерно 20-30 минут. 6. IMHO ценным на host't XenServer являются, как раз, данные на RAID массиве, а не сам host OS. Из пунктов выше сделал два вывода: 1. Либо "забить" и ставить XenServer прямо на RAID (если он на уровне контроллера или BIOS, а не soft в одной из виртуальных машин). В таком варианте - данные и сам хост в одинаковой ситуации. Нужно следить за RAID массивом. 2. Либо ставить XenServer на отдельный небольшой винт (SATA или SSD - дело вкуса). Все IMHO. WBR, Alex Cherevko From: uanog [mailto:uanog-bounces@uanog.kiev.ua] On Behalf Of Oleh Hrynchuk Sent: Monday, November 27, 2017 2:38 PM To: Andrii Stesin Cc: List, Uanog Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb Дякую! Ще зовсім не читав :) Але маю що сказати по-бистрячку - щойно вдалося інсталювати на флешку XenServer 6.5. Все-одно трохи шаманити довелося. Перед тим "за рекомендаціями собаководів" з усіх 8 SAS-дисків поробив 8 окремих RAID0 масивів. XenServer побачив їх як [sdb] - [sdi] Зараз гратимуся із software raid. Хочу спробувати на половині дисків (4 штуки) врубати RAID10 (під DB-server + критичні app-servers), на іншій - RAID5 (під всяку іншу фігню типу Samba). ‌ 27 листопада 2017 р. о 13:56 Andrii Stesin mailto:stesin@gmail.com написав: Я ще проконсультуюсь з колегами хто ближче до заліза, але маю наступні міркування.

Ніяк не вдається провести інсталяцію Citrix XenServer 7.2 НА USB-флешку 64Гб. Підкреслюю - "на" флешку. Сервер - чесний HP DL360 G7.

Порада № 0, "ще до всього". Переконайся, що на сервері стоїть найсвіжіший BIOS та весь пакет мікропрограм від HP. Онови до найсвіжішого що є, усе перепроший. У ранніх версіях на тому поколінні серверів була доволі неоднозначна ситуація з підтримкою UEFI Boot на будь-яких ОС окрім windows server. Поле засіяне граблями.

Першу причину (XenServer 7.2 не розуміє GPT-структуру - sic!!!) ніби поборов. (Перший boot після інсталяції просто вилітав у grub rescue mode і там нічого не вдавалося зробити. Grub кричав, що unknown filesystem).

Тут ситуація у моєму розумінні ось яка. Перш за все, щоби воно розуміло GPT нормально, сервер має вмикатись у режимі UEFI Boot. Режим BIOS Boot, який розуміє тільки археологічний DOS MBR, тобі очевидно не підходить, воно не житиме. Далі, які думки виникають при погляді на діагностику нижче.

Ніби зрозуміла причина - але який розділ, яким чином і на скільки ГБ збільшити?

Ось які розділи створює процес інсталяції на початковій флешці 64ГБ, коли в процесі вказати disable-gpt:

root@uhost:~# fdisk /dev/sdd

Command (m for help): p Disk /dev/sdd: 57.9 GiB, 62109253632 bytes, 121307136 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0x00000000

Device Boot Start End Sectors Size Id Type /dev/sdd1 32 8388639 8388608 4G 83 Linux /dev/sdd2 8388640 16777247 8388608 4G 83 Linux /dev/sdd3 16777248 121307135 104529888 49.9G 8e Linux LVM

А ось які вимоги (що створює процес в режимі GPT):

18GB XenServer host control domain (dom0) partition 18GB backup partition 4GB logs partition 1GB swap partition 0.5GB UEFI boot partition

То як мені підсунути інсталяційному процесу правильні partitions в режимі MBR?

Мені ідея "режиму MBR" активно не подобається. Утім, якщо з такого боку підходити, я би напевно взяв та руками нарізав на флешці ось такий комплект розділів - від 0 сектора до "2MB мінус 1 сектор" - пусте місце (для вирівнювання розділів з дискретністю 2MB), у partition table нічого не пишемо про це, пропускаємо це місце - від 2MB до "1GB мінус 1 сектор" - UEFI boot partition (у теорії 0.5GB досить, але нехай буде запас) - 1ша позиція partition table, тепер вирівнювання розділів пішло по межі 1GB - від 1GB до "29GB мінус 1 сектор" - перший розділ 28GB під XenServer host control domain (dom0) partition - 2га позиція partition table - від 29GB до "33GB мінус 1 сектор" - Linux swap partition на 4GB і хай довгоносик вдавиться - 3тя позиція partition table три позиції в partition table ми таким чином зайняли, залишилась одна, бо якщо я нічого не плутаю то DOS partition table розуміє рівно 4 позиції - від 33GB до "61GB мінус 1 сектор" - другий розділ 28GB під XenServer backup partition Ідея у тому щоби чорт би з ним, нащо йому окремий logs partition - робимо основну 28GB і хай туди і логи пише. Але тут граблями смердить, бо за такою логікою після UEFI Boot partition ще треба впхати Linux boot partition (де ядро і усі його кишки) а виходить що вже місця нема. Тому другий варіант - від 0 сектора до "2MB мінус 1 сектор" - пусте місце (для вирівнювання розділів з дискретністю 2MB), у partition table нічого не пишемо про це, пропускаємо це місце - від 2MB до "1GB мінус 1 сектор" - UEFI boot partition (у теорії 0.5GB досить, але нехай буде запас) - 1ша позиція partition table, тепер вирівнювання розділів пішло по межі 1GB - від 1GB до "5GB мінус 1 сектор" - Linux boot partition - 2га позиція partition table - від 5GB до "9GB мінус 1 сектор" - Linux swap partition на 4GB і хай довгоносик вдавиться - 3тя позиція partition table - від 9GB до кінця носія - extended partition --- а усередині extended partition уже намалювати 2 x 20GB для XenServer host control domain (dom0) partition та XenServer backup partition, там же поруч log partition скількись то Тут уже питання, вкладені logical partitions всередині extended partition, воно їх узагалі так зрозуміє чи ні? Алхімічний експеримент... Але все це по суті виглядає спробами натягування сови на глобус і скоріш за все результата не дасть. Правильне рішення - безкомпромісно режим UEFI Boot і нормальний чесний GPT. До речі, про який i386 там угорі узагалі мова, воно ж 32bit? як одне з другим змішується, GRUB 32bit та XenServer 64bit? UEFI Boot + GPT це відразу 64bit все повністю, як воно і має бути. Для цього сервер має нормально розуміти UEFI, це (як сказано вище) є питання версії його мікропрограм (умовно кажучи "його BIOS" але це вже не BIOS у розумінні минулих наших звичок). Спробуй, розкажи що буде. Але почни з №0 та переконайся що сервер при увімкненні живлення стартує відразу в UEFI mode. Бажаю перемоги ;) я -- Regards, /oleh hrynchuk http://zmejgorynych.blogspot.com

Привет ! PA> On Mon, Nov 27, 2017 at 03:09:03PM +0200, Alex Cherevko wrote:

...

1. После того, как VMWare ESXi простояла на флешке около 8 лет, флешка стала читаться и писаться с очень низкой скоростью.

Флеш память имеет весьма малое число циклов перезаписи, что-то порядка 3000, и то не все модели. Массовые = 1000 циклов. Читать вот тут для просвящения: http://www.outsidethebox.ms/17153/ ... Тип ячеек определяет ресурсы флешки по перезаписи. Маркировка *SLC говорит о 100 тысячах циклов перезаписи, а *MLC всего лишь о 10 тысячах, причём флешки последнего типа в большинстве превалируют в наших магазинах. ... «Для тяжелого ежедневного использования» подходят флэшки с чипами SLC и ресурсом порядка ста тысяч циклов перезаписи на ячейку, но такие сейчас практически не встречаются. Поэтому ищем на чипах MLC, желательно старого техпроцесса (от 20 нм и более). У них ресурс перезаписи 3-5 тыс. циклов на ячейку. Когда-то обещалось 10 тыс., но в продаже таких не видел. Даже у массовых SSD на MLC-чипах сейчас ресурс 3K. Серверные уже используют eMLC (до 20K циклов). Основная же масса флэшек выпускается с чипами TLC. У них ресурс порядка тысячи циклов перезаписи. Косвенно сориентироваться поможет соотношение размеров флэшки к её объёму в гигабайтах. 16 ГБ в крупном корпусе – признак надёжных MLC 25 нм. 32 ГБ и более в корпусе «затычке» – однозначно TLC. Игрушка, которая умрёт очень быстро. Остальные детали касаются контроллеров. Узнать без вскрытия корпуса, какой стоит контроллер и какая память, поможет база iFlash – http://flashboot.ru/iflash/ . Достаточно ввести PID и VID флэшки, чтобы найти её характеристики. Также есть бесплатная программа Flash Drive Information Extractor – http://www.antspec.com/usbflashinfo/. -- Best regards, Alexander V Soroka http://www.svr.ua/ AS106-RIPE mailto:alex@euro.net.ua

Васильич, ну зачем вводить народ в заблуждение какими-то левыми источниками кривыми переводами неизвестно какой давности. И не все там так просто. См. например http://www.storagesearch.com/ssdmyths-endurance.html да масса копий сломано вокруг вопроса. Тот же sia@ не так давно упоминал, что у них на фирме SSD много лет эксплуатируются, и случаев умирания "по износу" он кажись не припоминает ;) контроллеры выгорают/умирают раньше, чем начинают сыпаться ячейки. Друго вопрос что в принципе swap over USB это изврат покруче чем стоя в гамаке в лыжах и акваланге, да

Hi! On Tue, Nov 28, 2017 at 16:18 +0200, Alexander V Soroka wrote:

Привет !

AS> Тот же sia@ не так давно упоминал, что у них на фирме SSD много лет AS> эксплуатируются, и случаев умирания "по износу" он кажись не припоминает

"кажись не припоминает" это очень точное научное доказательство, даааа... Статистка где? Марка привода, статистика чтения-запись блоков, %% отказа ? ...одна бабка сказала...

Кстати вот тут https://3dnews.ru/938764 что-то SSDшное постоянно мучают, на тему как быстро ресурс перезаписи закончится.

On Tue, Nov 28, 2017 at 09:45:28PM +0200, Andrii Stesin wrote:

Есть ли у sia@ обработанная статистика по отказам SSD, это лучше спросить у него самого, может он тут читает и что-то скажет?

Она бессмысленна - ты ж не побежишь на барахолку за старьём? Начинали тама с SLC X-25E, их сотовые операторы только убивали (слухи представителя кингстона, они офигевали от замен). Ну и MLC X-25M - я такие чуть не убил, но с тех пор они пережили ZFS с 2КБ recordsize (да, не 4!) и сжатием, БД на почти весь объём, тесты на "как и кто быстрее перестроит zfs mirror" (против дешевого кингстона 120ГБ) и ещё живут дома... Сколько там лет-то...

2017-11-28 16:29 GMT+02:00 Andrey Blochintsev :

...

Кстати вот тут https://3dnews.ru/938764 что-то SSDшное постоянно мучают, на тему как быстро ресурс перезаписи закончится.

Они, вообще говоря, ссылаются все на тот же http://techreport.com/review/27436/the-ssd-endurance-experiment-two-freaking... для начала. И явно пишут, "контроллеры решают", не в ресурсе к-ва циклов перезаписи состоит проблема живучести.

Но все же они пишут об SSD, а Олег просто ставит гипервизор на просто USB flash, и я почему-то ни капли не сомневаюсь, что оно у него на эту Что бессмысленно с т.з. времени и мучения флэхи. USB hdd/ssd для поставить-настроить (если таки есть моменты с ЮСБ) и потом залить образ на флэшку. У меня R/O FS+ram fs для конфигов с сбросом образа её на флэху по необходимости.

флешку писать не будет ничего в принципе ;) так что вопрос по сути не в "умирании" по к-ву циклов перезаписи, а "за сколько лет флешка в режиме read only деградирует до непристойности, либо у нее контроллер сгорит". Сюрприз китайского сандиска microsd - перестаёт читаться через месяц. Местами и зависимо от кардридера. Т.е. модель эксплуатации - идеально похожа, грабли - удивительны неожиданностью, записывать можно, читать часть ячеек можно только с месяц (стояла в телефоне и в кардридере компа - т.е. постоянно есть питание, объём честный). Теперь ищу как с неё данные (фоточки-видео) снять :).

-- Best regards, Paul Arakelyan.

On Tue, Nov 28, 2017 at 02:04:35PM +0200, Andrii Stesin wrote:

Тот же sia@ не так давно упоминал, что у них на фирме SSD много лет эксплуатируются, и случаев умирания "по износу" он кажись не припоминает ;) контроллеры выгорают/умирают раньше, чем начинают сыпаться ячейки.

Нередко зависит от "как именно": засунуть Intel X25M в условия "круглосуточно пишем журнал ФС, 6МБ/с" - и побежали ремапы, очень быстро. При обычной эксплуатации ровно тех же железок - ничего не происходит, независимо от объёмов.

Друго вопрос что в принципе swap over USB это изврат покруче чем стоя в гамаке в лыжах и акваланге, да

Я вообще без свопов обходиться стараюсь - память нынче недорога, а скорость свопа такова, что "нужные данные загрузятся никогда". Сокрость дисков не растёт адекватно скорости памяти. По этой же причине и эксплуатация дофигатерабайтных разделов = экстрим, это бэкапить сутками. -- Best regards, Paul Arakelyan.

Hi, G7 не поддерживает UEFI, это точно:) Не знаю за Xen, но ESXi ставится на флешку только для загрузки, своп и дата - на DAS RAID/SAN устройстве. Соответственно, нагрузка на запись минимальна и ресурс высок. Dell делает в серверах два слота SD, которые могут работать в режиме стенбайного зеркала - сдохла одна SD-ка - сервер крешнулся и загрузился со второй. У HPE к последним поколениям есть dongle на 2xSD, который работает как полноценный RAID - нет прерывания работы при выходе из строя одной SD-ки. SD-ки плохи тем, что фиг промониторишь, сколько ей жить осталось, в отличие от более-менее энтерпрайзных SSD, которые дают доступ к информации о ресурсе. И да, XenServer 7.2 c G7 формально со стороны HPE не поддерживается:) Последняя версия для G7 - 6.1 2017-11-30 8:54 GMT+02:00 Alexander V Soroka :

Привет !

Thursday, November 30, 2017, 3:34:03 AM, Paul Arakelyan unisol@cs.kiev.ua you wrote: PA> Я вообще без свопов обходиться стараюсь - память нынче недорога, а скорость PA> свопа такова, что "нужные данные загрузятся никогда". Сокрость дисков не PA> растёт адекватно скорости памяти. По этой же причине и эксплуатация PA> дофигатерабайтных разделов = экстрим, это бэкапить сутками.

в тему или нет, но вот есть память FRAM у Texas Ins. : http://www.ti.com/lit/an/slaa526a/slaa526a.pdf 10 в 15 степени перезаписей со скоростью SRAM... 100 лет работы при температуре 25 градусов.

вот если на этом-бы построить "загрузку системы"... самое прикольное ч то загрузка то один раз потребуется - потом данные на местах, заснул процессор и питание выкл - вкл питания - ничего грузить не надо, все данные там где их застало включение питания.

-- Best regards, Alexander V Soroka http://www.svr.ua/ AS106-RIPE mailto:alex@euro.net.ua

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

On Nov 30, 2017 15:08, "Oleh Hrynchuk" wrote: А може треба було заюзати пропрієтарний HP'шний RAID-6 AGV? Тобі пригод не вистачає? 410 просто слабкий для RAID6, не потягне банально по обчислювальній потужності. Це ж тобі не LSI MegaRAID (там і ціна зовсім інша). Викинув з його fstab swap-розділ 1 ГБ... А у чому смисл? Ото був би собі. Чи заважає? Чим, як? Тут ще цікавинка одна. By default XenServer 7 в якості дискового простору для VM виділяє не файл, а блочний пристрій - LVM. Може так і краще, але з точки зору адміністрування (наприклад, бекапів) простіше було би, звісно, мати справу із файлами. Та той самий хвіст, тільки вигляд збоку. LVM суттєво ефективніший, а з точки зору backup я жодної різниці не вбачаю, що образ VM у вигляді файла, що у вигляді LVolume, один біс. От не шукай собі пригод, дуже раджу. Любить Xen свій LVM палко? То і нехай, не треба з ним сперечатися та гнути його об коліно. А то ще злякається, та дибки стане... З найкращими, я

On Nov 30, 2017 18:55, "Oleh Hrynchuk" wrote: ‌Викинув з його fstab swap-розділ 1 ГБ...

А у чому смисл? Ото був би собі. Чи заважає? Чим, як?

От лежить у тебе в наплічнику шматочок цеглини, відбитий якраз з її кутка. Нафіга він тобі? Взяв і викинув :) От буде смішно, якщо Xen без нього у якийсь момент працювати не захоче... ти поки не пізно RTFM чи можна його видаляти та які будуть неочевидні наслідки, а то мало шо. Сьогодні, до речі, запустив тестову CentOS в якості VM. Не люблю центоса. Мені він якийсь незручний. Ubuntu Server наше усьо.

Привет! Смотрю вот, Alex Cherevko пишет как-то (Четверг, 30 Ноябрь, 19:45):

...

Не люблю центоса. Мені він якийсь незручний. Ubuntu Server наше усьо.

А в чем неудобство? Ну, кроме того, что версии много какого софта "из коробки" совсем не самые последние? Типа dovecot, nginx или openssl.

Ну я там как-то ковырялся. Пакеты там делаются так: берётся исходный код 5-8-летней давности, на него накатываются пару тысяч патчей (берутся те коммиты, на которые были открыты тикеты в центоси), этому присваивается какая-то условная версия и выпускается enterprise релиз. Совместимость не гарантируется, зато поддержка есть, при наличии тикета быстренько ещё из исходников вытягивается коммит и накладывается очередным 4279-м патчем. Когда патчи перестают накладываться, находится последняя версия, которая уже не поддерживается разработчиком, часть патчей удаляется и весь цикл повторяется. Что мы делали - херили оригинальный пакет, создавали свой на основе оригинальных исходников и радовались жизни. Формально оставалось центось, но половина пакетов была заменена на нормальные версии. Иначе что-то своё собрать просто нереально, разве что некрофилией заниматься и находить версии интересующего софта, которые собираются на этом старье. Андрей.

Андрей, Спасибо. Как раз нужно FreeBSD VM заменить на Linux VM для почтовых целей. И запнулся на том, что dovecot какой-то совсем уж старый в centos. Если я правильно понял - у Ubuntu Server с этим все хорошо? Штатно идут все последние версии пакетов и прочие вещи из коробки, типа нормального iptables? Спасибо, Александр -----Original Message----- From: uanog [mailto:uanog-bounces@uanog.kiev.ua] On Behalf Of Andriy Grytsenko Sent: Thursday, November 30, 2017 10:30 PM To: uanog@uanog.kiev.ua Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb Привет! Смотрю вот, Alex Cherevko пишет как-то (Четверг, 30 Ноябрь, 19:45):

...

Не люблю центоса. Мені він якийсь незручний. Ubuntu Server наше усьо.

А в чем неудобство? Ну, кроме того, что версии много какого софта "из коробки" совсем не самые последние? Типа dovecot, nginx или openssl.

Ну я там как-то ковырялся. Пакеты там делаются так: берётся исходный код 5-8-летней давности, на него накатываются пару тысяч патчей (берутся те коммиты, на которые были открыты тикеты в центоси), этому присваивается какая-то условная версия и выпускается enterprise релиз. Совместимость не гарантируется, зато поддержка есть, при наличии тикета быстренько ещё из исходников вытягивается коммит и накладывается очередным 4279-м патчем. Когда патчи перестают накладываться, находится последняя версия, которая уже не поддерживается разработчиком, часть патчей удаляется и весь цикл повторяется. Что мы делали - херили оригинальный пакет, создавали свой на основе оригинальных исходников и радовались жизни. Формально оставалось центось, но половина пакетов была заменена на нормальные версии. Иначе что-то своё собрать просто нереально, разве что некрофилией заниматься и находить версии интересующего софта, которые собираются на этом старье. Андрей. _______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Кстати, да, хотел спросить - какие рекомендации по версии Ubuntu Server для production? 16.04? Или нормально пробовать и 17.10? _____________________________ From: Paul Arakelyan mailto:unisol@cs.kiev.ua> Sent: Sunday, December 3, 2017 10:05 PM Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb To: Alex Cherevko mailto:allliv@gmail.com> Cc: mailto:uanog@uanog.kiev.ua> On Sat, Dec 02, 2017 at 01:30:07PM +0200, Alex Cherevko wrote:

Андрей,

Спасибо. Как раз нужно FreeBSD VM заменить на Linux VM для почтовых целей. И запнулся на том, что dovecot какой-то совсем уж старый в centos. Чисто интересно - а смысл? В чем грабли с тем, что есть?

Если я правильно понял - у Ubuntu Server с этим все хорошо? Штатно идут все последние версии пакетов и прочие вещи из коробки, типа нормального iptables? ubuntu lts и просто "последний ubuntu" - отличаются...

-- Best regards, Paul Arakelyan.

LTS будет 18.04 в апреле. Если ставить прямо сегодня, я б брал 17.10 с пониманием что летом 18 года его проапгрейдить до 18.04 и на нем потом жить долго и счастливо. On Dec 3, 2017 22:10, "Alex Cherevko" wrote:

Кстати, да, хотел спросить - какие рекомендации по версии Ubuntu Server для production? 16.04? Или нормально пробовать и 17.10? _____________________________ From: Paul Arakelyan Sent: Sunday, December 3, 2017 10:05 PM Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb To: Alex Cherevko Cc:

On Sat, Dec 02, 2017 at 01:30:07PM +0200, Alex Cherevko wrote:

...

Андрей,

Спасибо. Как раз нужно FreeBSD VM заменить на Linux VM для почтовых целей. И запнулся на том, что dovecot какой-то совсем уж старый в centos. Чисто интересно - а смысл? В чем грабли с тем, что есть?

...

Если я правильно понял - у Ubuntu Server с этим все хорошо? Штатно идут все последние версии пакетов и прочие вещи из коробки, типа нормального iptables? ubuntu lts и просто "последний ubuntu" - отличаются...

-- Best regards, Paul Arakelyan.

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Щодо PV vs. HVM mode. Чим тобі HVM не подобається? Тим більш що Ubuntu вони рекомендують саме HVM mode і є готовий шаблон під 16.04, то я б його взяв за основу, трішки напилком пройшовся по ньому під свої потреби, і щоб він 17.10 сервер ставив. І так, з нього і production віртуалки робив. Щодо PV, то особисто мені він не подобається, можливо що і дарма, але справа звички, напевно.

On Dec 5, 2017 06:57, "Oleh Hrynchuk" wrote: Звичка Xen'a. Колись він, наскільки я зрозумів, був _особливо_ заточений під PV. Та він і зараз... в документації пишуть, що навіть для HVM віртуалки драйвери дискового I/O та мережі він у віртуалку ставить свої і вони (саме драйвери) працюють у PV mode. Як у них ця хімія налаштована, у деталях не знаю, не цікавився глибоко. Щодо PV, я канєшна можу помилятися, колеги мене підправлять, сподіваюсь. У мене таке враження, що docker контейнери працюють саме у PV mode і це виправдано і правильно і дуже ефективно, оскільки вони у прямо у хост-системи беруть усе що можуть. А ось якщо ти хочеш чесну "залізну" віртуалку, то це HVM без варіантів. Але docker-ний "контейнеровоз" це дещо інший setup, не зовсім твій випадок. Хоча можна було би, у принципі. Та будь готовий зокрема до того, що доведеться робити віртуалку під Windows з обгризеним мінімальним server для бухгалтєрії з її MS SQL. А тут уже HVM просто за визначенням.

Ну... в мене усі VM - HVM. Нема PV. І дійсно, я не помітив якоїсь performance деградації. Та й load в мене - всього нічого. Навіть якби мав PV VMs, то навряд чи щось змінилося при моїх потребах. Єдине - дійсно неприємно було після, здається, 13-го патч-апдейта побачити informational message щось на зразок "Amount of your XenServer CPU features has been decreased". 23 січня 2018 р. о 12:38 Volodymyr Litovka написав:

До речі :)

Отримавши Meltdown, ті, хто зробив вибір на користь HVM, мабуть, із задоволенням почухали себе по пузу :)

On 12/4/17 11:27 AM, Andrii Stesin wrote:

Щодо PV vs. HVM mode. Чим тобі HVM не подобається? Тим більш що Ubuntu вони рекомендують саме HVM mode і є готовий шаблон під 16.04, то я б його взяв за основу, трішки напилком пройшовся по ньому під свої потреби, і щоб він 17.10 сервер ставив. І так, з нього і production віртуалки робив.

Щодо PV, то особисто мені він не подобається, можливо що і дарма, але справа звички, напевно.

_______________________________________________ uanog mailing listuanog@uanog.kiev.uahttps://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

-- Regards, /oleh hrynchuk http://zmejgorynych.blogspot.com

Ок, наверное так и сделаю. Спасибо всем за комментарии. From: Andrii Stesin [mailto:stesin@gmail.com] Sent: Monday, December 4, 2017 1:23 AM To: Alex Cherevko Cc: Uanog List Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb LTS будет 18.04 в апреле. Если ставить прямо сегодня, я б брал 17.10 с пониманием что летом 18 года его проапгрейдить до 18.04 и на нем потом жить долго и счастливо. On Dec 3, 2017 22:10, "Alex Cherevko" mailto:allliv@gmail.com > wrote: Кстати, да, хотел спросить - какие рекомендации по версии Ubuntu Server для production? 16.04? Или нормально пробовать и 17.10? _____________________________ From: Paul Arakelyan mailto:unisol@cs.kiev.ua > Sent: Sunday, December 3, 2017 10:05 PM Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb To: Alex Cherevko mailto:allliv@gmail.com > Cc: mailto:uanog@uanog.kiev.ua > On Sat, Dec 02, 2017 at 01:30:07PM +0200, Alex Cherevko wrote:

Андрей,

Спасибо. Как раз нужно FreeBSD VM заменить на Linux VM для почтовых целей. И запнулся на том, что dovecot какой-то совсем уж старый в centos. Чисто интересно - а смысл? В чем грабли с тем, что есть?

Если я правильно понял - у Ubuntu Server с этим все хорошо? Штатно идут все последние версии пакетов и прочие вещи из коробки, типа нормального iptables? ubuntu lts и просто "последний ubuntu" - отличаются...

-- Best regards, Paul Arakelyan. _______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

On Sat, Dec 09, 2017 at 03:30:27PM +0200, Alex Cherevko wrote:

...

...

Спасибо. Как раз нужно FreeBSD VM заменить на Linux VM для почтовых целей. И запнулся на том, что dovecot какой-то совсем уж старый в centos. Чисто интересно - а смысл? В чем грабли с тем, что есть?

С FreeBSD? Машинка живет в DigitalOcean, там большие проблемы с network performance в 10.x и 11.x версиях FreeBSD. Разница между performance сетевого интервейса linux VM и FreeBSD VM в 100 (!) раз. Меньше 1MB/s и около 100MB/s.

В kvm и на живом железе я только на странный жор dummynet'ом проца нарывался, достаточно только вписать в конфиг ядра :), даже без правил в ipfw. Я к тому, что должна быть устранимая причина. -- Best regards, Paul Arakelyan.

Угу, я о всем этом "в курсе". Но количество циклов перезаписи - это все теория. На практике же все зависит от конкретного варианта использования. Именно для этого я и описал конкретный практический кейс. А моем варианте - это была "большая" флешка Transcend на 8GB где-то 2008-2009 года выпуска. Именно после изучения теории и описанного кейса на практике для себя сделал вывод больше с флешками в серверах для Host Hypervisor OS не экспериментировать. О чем и сообщил топикстартеру. С уважением, Александр -----Original Message----- From: uanog [mailto:uanog-bounces@uanog.kiev.ua] On Behalf Of Alexander V Soroka Sent: Tuesday, November 28, 2017 9:10 AM To: 'List, Uanog' Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb Привет ! PA> On Mon, Nov 27, 2017 at 03:09:03PM +0200, Alex Cherevko wrote:

...

1. После того, как VMWare ESXi простояла на флешке около 8 лет, флешка стала читаться и писаться с очень низкой скоростью.

Флеш память имеет весьма малое число циклов перезаписи, что-то порядка 3000, и то не все модели. Массовые = 1000 циклов. Читать вот тут для просвящения: http://www.outsidethebox.ms/17153/ ... Тип ячеек определяет ресурсы флешки по перезаписи. Маркировка *SLC говорит о 100 тысячах циклов перезаписи, а *MLC всего лишь о 10 тысячах, причём флешки последнего типа в большинстве превалируют в наших магазинах. ... «Для тяжелого ежедневного использования» подходят флэшки с чипами SLC и ресурсом порядка ста тысяч циклов перезаписи на ячейку, но такие сейчас практически не встречаются. Поэтому ищем на чипах MLC, желательно старого техпроцесса (от 20 нм и более). У них ресурс перезаписи 3-5 тыс. циклов на ячейку. Когда-то обещалось 10 тыс., но в продаже таких не видел. Даже у массовых SSD на MLC-чипах сейчас ресурс 3K. Серверные уже используют eMLC (до 20K циклов). Основная же масса флэшек выпускается с чипами TLC. У них ресурс порядка тысячи циклов перезаписи. Косвенно сориентироваться поможет соотношение размеров флэшки к её объёму в гигабайтах. 16 ГБ в крупном корпусе – признак надёжных MLC 25 нм. 32 ГБ и более в корпусе «затычке» – однозначно TLC. Игрушка, которая умрёт очень быстро. Остальные детали касаются контроллеров. Узнать без вскрытия корпуса, какой стоит контроллер и какая память, поможет база iFlash – http://flashboot.ru/iflash/ . Достаточно ввести PID и VID флэшки, чтобы найти её характеристики. Также есть бесплатная программа Flash Drive Information Extractor – http://www.antspec.com/usbflashinfo/. -- Best regards, Alexander V Soroka http://www.svr.ua/ AS106-RIPE mailto:alex@euro.net.ua _______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Вы практических кейсов напишите из своей практики, про "годы работы без вопросов". Тогда и сравним. А то, может оказаться, что вы про 2-3 года. Ну и о чем речь идет - об одном сервере c локальным storage или о сотнях серверов с внешними storages. Я написал, что в моем случае, флешка отработала без проблем 9 лет. Скорость флешки значительно деградировала. На момент выведения сервера из ротации флешка работала штатно, но со скоростью 1-2 MB/s. Работала под VmWare ESXi. Логи на нее не писались. Тем более в том объеме, в котором их пишет XenServer (повторю "из коробки"). В случае текущего вопроса, насколько я понял, речь идет об одном сервере, который нужно настроить со свежей версией XenServer, а не о сотнях серверов, которые логи отправляют на remote машинки. Не вижу, чем могут быть оправданы затраты по времени установки и дальнейшего обслуживания, включая последующие обновления, кастомной конфигурации загрузки с флешки в "данном конкретном" случае. И куда логи писать, при нормальном радиусе кривизны рук? Отправлять на другой сервер в виртуальной машине? На RAID сторадж? Если, по сути, на RAID сторадж, то в чем разница с тем, чтобы откусить кусочек под сам hypervisor? XenServer настолько беспроблемный hypervisor, что за последние 5 лет я в логи ходил смотреть 2 раза. Один раз из которых, когда они забили его собственную файловую систему на версии 6.5. Второй раз, когда я большую часть из них отключил. -----Original Message----- From: Andrii Stesin [mailto:stesin@gmail.com] Sent: Tuesday, November 28, 2017 2:55 PM To: Alex Cherevko Cc: List, Uanog Subject: Re: [uanog] XenServer 7.2 and HP DL360 G7 - installation on flash disk 64 Gb 2017-11-28 14:10 GMT+02:00 Alex Cherevko :

Именно после изучения теории и описанного кейса на практике для себя сделал вывод больше с флешками в серверах для Host Hypervisor OS не экспериментировать.

Ну это, при нормальном радиусе кривизны рук на флешку с гипервизором после его инсталляции не пишет никто ничего и никогда. И работает годами без вопросов.

Редко когда больше 5 лет сервер вот так в автопилоте работает. Рано или поздно приходит время что-то менять.

Ну, там тоже кое-что менялось. 4 винта, например, умерло в RAID'е за 9 лет. Один раз умер один винт, а после замены винта на новый при rebuild'е до его успешного окончания - умер второй винт. Был RAID 6 с 6 дисками - повезло.

9 лет это дохрена. Я только пропустил, деградировала на чтение или на запись?

Сейчас ее под руками нет. Помню, что вытащил и хотел на нее накатить инсталляху XenServer, а оно показало, что ждать минут 30... Так, что на запись - точно.

Да вообще ничего туда писать не надо в принципе, она там не для того. Тогда все норм и будет.

Согласен.

...

XenServer настолько беспроблемный hypervisor, что за последние 5 лет я в логи ходил смотреть 2 раза. О, я думаю Олега этот кейс порадует :)

Да, выдерживает даже извращения. В качестве тестового сервера XenServer 7.2 стоит на ноутбуке Dell Precision M4700 с 16GB памяти и на нем крутятся 12 виртуальных машин под centos с 512MB/1GB/2GB памяти

Один раз из которых, когда они забили его собственную файловую систему на версии 6.5.

С этого места чуть подробнее если можно, мне вот интересно, это имеется в виду что они собственный log partition не умеют контролировать и засрали своими же логами?

Это было скорее даже на 6.2. Давно было. Все, что помню - написал. Что-то типа такого: https://discussions.citrix.com/topic/351235-low-disk-space-dom0/ https://discussions.citrix.com/topic/355787-file-system-on-control-domain-fu... С 7.2 таких проблем не было ни разу. С уважением, Александр

...

Был RAID 6 с 6 дисками - повезло.

Чо там "повезло". Ніфіга собі "повезло". Мабуть така реданденсі була задумана, нє? :)

Ну как сказать... RAID 6 настраивал я в далеком 2008 году. Хотелось оставить больше полезного места (по сравнению с RAID 10), но при этом сильно в скорости не потерять (по сравнению с RAID 10 и RAID 5). Но еще и реального опыта с рейдами на тот момент не было - страшно было RAID 5 конфигурить. Вот и поставил RAID 6. О чем потом несколько раз сожалел, все возвращался мысленно к тому, что хотел то RAID 5, то RAID 10... Ровно до того, момента, пока два винта не умерли. Так что такие "повезло". Позже перестроил сервер на замену такие на RAID 10, но как его судьба - не знаю. Там тоже 2 винта могут вылетать, но только в одном из strip'ов. Если в друх сразу - труба. Зато скорость :)

...

Согласен. Вирішив не тр.хатися з флешкою. За лишніх 50 ГБ + не вельми вже й такі космічні advantages потенційно мати гемор - подумав що ну його нах.

Вот и правильно. Поддерживаю. Не забудьте почитать про автозагрузку виртуальных машин после reboot'а. https://www.punyal.com/2016/08/11/auto-start-a-virtual-machine-at-xenserver-... А reboot'ить прийдется, если хочется ставить обновления. Вот это место - единственное, которое до сих пор слегла напрягает. Еще можно минимальные требования по пямяти для VM опустить, скажем, в 512MB. https://www.27partners.com/2011/11/force-lower-memory-limit-in-xenserver-vms... Мне было актуально, поскольку тестируем конфигурации, которые потом на слабеньких VPS'ках живут. С уважением, Александр

On Nov 30, 2017, at 17:34, Andrii Stesin wrote:

On Nov 30, 2017 14:54, "Alex Cherevko" wrote:

Один раз умер один винт, а после замены винта на новый при rebuild'е до его успешного окончания - умер второй винт.

Ну, когда ставятся на сервер пачка винтов с завода из одной партии, то оно совершенно предсказуемо что будет именно так - жить будут долго и счастливо, а умирать будут в один день, часто в прямом смьісле слова. Потому что нагрузка и износ идентично на всех.

У нас на большинстве машин собраны RAID'ы, и понятно, что там стоят одинаковые диски. Вылета двух дисков не видел ни разу (и не хочу! :) ).

Тут лекарство ровно одно. Плановая замена 1го из 4 винтов в год, или 1 из 3х если массив длинньій 6+ дисков.

Год отработал массив новеньких дисков из 6 шт? Планово купи 2 новьіх и поставь в массив, а снятьіе 2 слегка поношенньіе сложи в резерв в сейф. Еще год? Еще два. Еще год? Смотря как оно себя чувствует, 4 поюзанньіх в запасе есть и 6 в работе, можно и не докупать еще один.

А вот о такой схеме на задумывался, но она мне нравится -- спасибо. Нужно будет для особо критических машин обдумать такую схему.

А если 2 старейших уже S.M.A.R.T. намекает, что вот скоро, то можно один и докупить. Иди их знай, шоб посреди ночи в праздники не пришлось лететь в ДЦ...

Для массива из 4 дисков первьіе 3 года планово докупать и ставить по одному новому в год, дальше по ситуации.

Как-то так.

С ув. Андрей

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Taras Heichenko tasic@academ.kiev.ua

On Nov 27, 2017 14:38, "Oleh Hrynchuk" wrote: Дякую! Ще зовсім не читав :) Але маю що сказати по-бистрячку - щойно вдалося інсталювати на флешку XenServer 6.5. Все-одно трохи шаманити довелося. Думку таку, що G7 може у принципі не вміти сучасний UEFI boot, а треба брати стару версію а потім спробувати upgrade, мені вже колеги повідомили щойно. Перед тим "за рекомендаціями собаководів" з усіх 8 SAS-дисків поробив 8 окремих RAID0 масивів. Тю, а хто тобі таке порадив і який смисл. Сумнівна ідея. У тебе у сервері контроллер дисків який? Марка, модель? XenServer побачив їх як [sdb] - [sdi] Було б дивно аби було інакше. Зараз гратимуся із software raid. Ідея більш ніж сумнівна, загалом. Є ситуація, коли така конфігурація має смисл, але явно то не твій випадок.