Re: [uanog] Re: [uanog] Re: [uanog] Re: [uanog] Re: [uanog] Re: [uanog] Аудит дискових полів

прямо детектив получился. Шо ж Вы в крайности кидаетесь? Матья паяная, процы и память непонятные, блоки питания такие же. Я даже с юзеров так не издеваюсь. З.Ы. а че ж не купили бредовое? On Wed, Aug 03, 2011 at 08:40:40AM +0300, Paul Arakelyan wrote:

On Tue, Aug 02, 2011 at 11:34:31AM +0300, Max Speransky wrote:

...

А там где нужен "просто серверок ни о чем" так проще вируталко брать или колокейшен, зачем себе на баланс тащить всякое. Ну и конкретные паттерны конфигурации самосборки никто не показал еще, тока критика про бренды

Ну, вот 3 наборчега и "hardware flow" за несколько лет: 1. Сервер с 8ГБ для фигнадцати jails, консолидация штук 5 серверов. Первая мать - Gigabyte P35 DS-3L, проц был коре2дуо (взят издомашнего ПК), разогнанный до 3.2ГГц (FSB 400, DDR2-800). Ни одной аппаратной проблемы, если не считать глюк БИОСа и некэшируемость памяти после 4ГБ (проблема нетипичная для того времени - 4ГБ казались верхом счастья, продиагностировать её стоило вагон времени, апдейт биоса решил). Корпус/БП - домашний десктоп (короче, света дома не было с годик :) - использовние "лишнего" железа). 4 SATA hdd, 500GB. Трах и маты с шедулером FreeBSD-7, переезд на -current.

Свет появился, купил подержанный inpc rackmount 3U (50$) - почитал сайт Колокола, болгарка, ржач окружающих, БП б/у ATX chieftec 300W за 20$, апгрейд - core2quad контрабандный, 150$ :), корзина на 5 3,5" дисков с вентилятором (15$, потом ещё одну - жаль, больше нет их :( ). Вторая мать - "купим подешевле" - $40, чиненная(думаю) Gigabyte G33M-S2, гарантия 3мес (жива до сих пор - года 4 уже?). Невероятно - никаких проблем, даже с разогнанным Core2quad (нужно было немного...), "старая" P35 уехала домой.

2. "Экстрим-эксклюзифф" - 16GB DDR2 ram, SSD. Понадобилось консолидировать 4 сервера с линуксом, 4ГБ/4 SATA 160GB raid0. Решено рискнуть улететь на OpenSolaris/mysql. Gigabyte P43-DS3L, контрабандные 4х4ГБ DDR2 OCZ и 2xIntel X-25M 80GB SSD (шоб сильно не очковать - в зеркале), ещё один Core2quad - на сей раз "из разборки", Ещё пара 3U и один 1U корпуса от inpc "по случаю" куплены. БП в них - Г, 300W P4 (жонглирование доступными БП и процами - поставлен 400W домашний, меняние корпусов между серверами чтоб не пилить болгаркой). 4 SATA HDD - Seagate 500GB. Один пошел сыпаться сразу, но замер, ещё один - через год покрылся бэдами и сдох. RAIDZ2 - хорошая вещь, но чексумы если выключить - будет Ж полная, глюки в ядре солярки вылезли при замене диска в пуле. Ещё солярка умеет отключать ядра проца, если они глючат (напряжение уменьшить и разогнать :) ). Первый раз в жизни столкнулся с клином кулера проца (90мм, coolermaster, sleeve bearing - не думал, что такие большие могут заклинить). Собрать такой сервер на тот момент сидя "здесь" без помощи с привозом "оттуда" - нереально, двух основных вещей нет в продаже просто (о цене - промолчим).

3. Апгрейд второго конфига (проработавшего год и стало ясно, что не хватает ни памяти, ни проца) и вывод из эксплуатации старого корпуса 3U/ATX БП. Куплены Core i7-950, 6x4GB DDR3, Gigabyte X58-чётотам, БП 1U 460W (ух-ты, всё в наших инет-магазинах). Взят оставшийся 3U rackmount, дрель, напильник (ага - всем смешно, но пришлось поиграть в очумелые ручки - БП установить). Красота, работает - пришлось только hyperthreading выключить, иначе шедулер солярки клином всё ставил на минуты, порой - тоже несколько дней ушло, пока стало понятно "что происходит".

4. Вывод из эксплуатации 8GB/GA-G33M/Core2Duo E5400(чисто свежекупленного взамен проданного 2.13GHz). Решено привестись к требованиям датацентра Укртелекома (заберем спереди холодный воздух - выплюнем назад горячий, все подключения сзади). Произведена замена материнской платы вместе с памятью/процом на оставшиеся от апгрейда, частота проца снижена (4x2GHz), т.к. БП 300W "сомнительный" немного (реально 200Вт по 12В должен был выдавать - но он старый и на практике это очень близко к потребляемой мощности Core2quad+кучка HDD и МП).

Выводы: 1. Чисто "железные" проблемы (глюки БИОСа, крэш диска, сборка-пересборка) скушали, наверно, пару-тройку недель времени за года 3-4. Использование "брендовых серверных решений" уменьшило бы этот срок, но цена превысила бы экономический эффект в разы. 2. Финансовые показатели окупаемости железяк достигались в установленный срок. 3. Железо не сыграло решающую роль в простоях сервиса, софт, ошибки администрирования и "внешние факторы"- это да. 4. Удовлетворилось любопытство :) и был получен некоторый опыт в "стоечном" серверостроении, это тоже чего-то стоит. 5. Вероятность, что "собранный на коленке" рэкмаунт будет так же хорош внутри, как supermicro - стремится к 0, просто потому, что вылезут масса недочётов и несовместимостей в "первом попавшемся недорогом стоечном корпусе". 6. Собирать в 2U и тем более в 1U - пока смысла нет, затраты окупятся через год и более. 7. Это во многом была авантюра (пусть и спланированная), осуществление которой потребовало привлечения кучи "нематериальных" ресурсов, некоторого везения и умения. При этом был риск и "dead on arrival", и выхода чего-то экзотичного из строя с необходимостью "повозиться" с последствиями... 8. Такое может и приемлемо для мелкого бизнеса - но крупным с таким возиться - ну его нафиг - повторимость результатов пугающе мала :), хотя экономия была бы большой...

...

2011/8/2 Maxim Tuliuk :

...

Макс, ты рассказываешь о том, что и так не подвергается сомнению. Я же говорю, о том, что из-за качества и цены поддержки от вендора, для small и mid-size компаний проще и главное дешевле покупать или делать самосборку. Более того, large компании почти всегда покупают +1 железку и держат ее на складе или в лабе, как защиту от местных реалий (Новый Год, таможня и т.п.) Т.е. при нынешних реалиях цена/качество самосборки все еще лучше чем "решение" от вендора. Best wishes, Maxim

2011/8/2 Max Speransky

...

если бы я не работал с самосборкой, я бы поверил как это круто. про два БП (и про DC), ipmi/SOL, KVM и прочее уже поговорили, этого в самопале нету (ну разве на Тиане каком собрать). второе, через два года производителя корпуса не найдешь, начинается слесаренье при замене вентилятора или бп если корпус даже 2U. Собирают это все не самые продвинутые граждане обычно, поэтому укладка кабелей и прочего выглядит ужасно да и на потоки воздуха влияет. Третье, этот корпус часто такой, что работать с ним мона только полностью вынув его из стойки да еще и отвертка нужна для раскрытия крышки - фейл. Но возможно я не рубаю в современном кардач-серверостроении, напишите тогда какой корпус и какие мамки считаются приемлимыми ? Ентри собирает на ченбро, мне нравицо в общем, но ценник выходит как у делла.

2011/8/2 Maxim Tuliuk :

...

Статистика отказов - просто цифра, которая хорошо смотрится на презентации, т.к. ломается все и у всех, а в реальных условиях важнее 1) за сколько и 2) как быстро поменяют/починят поломанное. И тут начинается 7 кругов ада от вендора: тикет открой и проконтролируй чтобы его решали, запчастей нет и надо ждать пока их привезут, или она застрянет на таможне, etc.

Вот и получается, что вместо поддержки, получили странную смесь из дороговизны и почти личных отношений с поставщиком. Поэтому большинству мелких и средних контор проще и главное дешевле покупать или собирать самому: если что-то поломалось, то можно поменять на такое-же или найти что-то похожее.

Best wishes, Maxim

On 1 Aug 2011, at 12:20, Max Speransky wrote:

...

качество - трудноизмеряемый параметр. можно говорить о статистике отказов. мой опыт показывает что отказов по железу 6 шт. с начала года, простой 0 т.к. все было спарено.  на около 300-т серверов брендовых самых разных, которые мы ведем. самый старый - sun ultra 1999 года. отказы - это не выпадение винтов или чистка/замена фанов. это типа умирание мамки, контроллера, бп итп. у кого есть по самопалу статистика ?

2011/8/1 Vasiliy P. Melnik : > On Mon, Aug 01, 2011 at 12:59:16PM +0300, Max Speransky wrote: >> а когда нужно 84 3.5" сас диска в 6-ти юнитах например ? а если в 2ю >> надо 2xHBA+IB+14 sas 2.5"  и 4 эзернета ? а два блока питания c >> переключением и статусом через ipmi ? а работающий SOL в ipmi 2.0 и >> так что-бы бивис тоже там было видно ? >> >> кардач-сервер покрывает только 5% нужд, где может сервер и не нужен >> вовсе, типа почтовика/роутер на мелкую контору - дешевле cpe+гуглу >> отдацо. >> >> имхо лучше заплатить +3 коп и купить что-то типа >> Энтри/Супермайкро/вотевер - там хоть многое есть. > > там дешево тожд не получится - может плюс 50% - тогда да. > > Ну тоесть мы опять добрались до того, что в обычных тазиках не всегда > хватает функционала. Получается что опять бренд выбирают не из-за > качества, > а из-за других параметров: в 2 юнита впихнуть 10-ок винтов, > в один юнит веб-сервер - все это десктопным платформам не под силу. > > Но что-то никто не говорит, что он покупает деллы-нр из-за качества. > > > -- > > ------------------------------------------------------------------------------- > Vasiliy P. Melnik >  VPM-UANIC >

-- Yours, Max

-- Yours, Max

-- Yours, Max

-- Best regards, Paul Arakelyan.

-- ------------------------------------------------------------------------------- Vasiliy P. Melnik VPM-UANIC