Вот, есть вопрос... (проблема в "неторопливоси" работы RAID массива) :(
День добрый, уважаемые. Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;( В общем есть у меня такая конфигурация: Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом. Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений) При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен). А смоделировав работу сервера как почтового (для этого он и собирается) и того меньше получилось. Причем уперся именно в "дерганье" винтов на запись мелких файлов (mbox ящики). МТА - exim. Максимум, что получилось, это укладывать письма со скоростью 70-80 шт. в секунду (на RAID-5/RAID-50). Для улучшения эксперимента над самим массивом, даже спул и логи в RamFs вынес. Подскажите, плиз, кто, что думает (не первую неделю бьюсь)?? ;( p.s. Может быть Vladimir Sharun что-то подскажет... (на чем построен Ukr.Net)? ;)) -- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
afaik - raid-5 медленный на запись by design используй raid 1+0 (aka raid-10) On Thu, Jul 28, 2005 at 05:21:22PM +0300, Denis P. Khripun wrote: DPK> День добрый, уважаемые. DPK> Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;( DPK> В общем есть у меня такая конфигурация: DPK> Adaptec SCSI RAID 2120S (1шт) DPK> IBM SCSI 36 GB (6шт) DPK> AMD Opteron 246 (2.0 GHz) (2шт) DPK> И памяти валом. DPK> Пробовал на 5-том и 50-том RAID. DPK> На контроллере включен кеш (64 мб) DPK> StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений) DPK> При копировании с помощью dd ~5 Мбайт/сек (RAID-5). DPK> При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. DPK> На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен). DPK> А смоделировав работу сервера как почтового (для этого он и собирается) и того меньше получилось. DPK> Причем уперся именно в "дерганье" винтов на запись мелких файлов (mbox ящики). DPK> МТА - exim. Максимум, что получилось, это укладывать письма со скоростью 70-80 шт. в секунду (на RAID-5/RAID-50). DPK> Для улучшения эксперимента над самим массивом, даже спул и логи в RamFs вынес. DPK> Подскажите, плиз, кто, что думает (не первую неделю бьюсь)?? ;( DPK> p.s. Может быть Vladimir Sharun что-то подскажет... (на чем построен Ukr.Net)? ;)) DPK> -- DPK> wbr, DPK> kden DPK> =================================================================== DPK> uanog mailing list. DPK> To Unsubscribe: send mail to majordomo@uanog.kiev.ua DPK> with "unsubscribe uanog" in the body of the message -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Почему Ной не прибил тех двух комаров? =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jul 28, 2005 at 17:28:30 (+0300), Alexander Trotsai wrote:
afaik - raid-5 медленный на запись by design И что, ~5 Мбайт/сек by design?? ;((
используй raid 1+0 (aka raid-10) Но и на чисто нулевом тоже не фонтан получилось... (
-- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Почему Ной не прибил тех двух комаров? =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jul 28, 2005 at 05:41:39PM +0300, Denis P. Khripun wrote: DPK> On Thu, Jul 28, 2005 at 17:28:30 (+0300), Alexander Trotsai wrote: DPK> > afaik - raid-5 медленный на запись by design DPK> И что, ~5 Мбайт/сек by design?? ;(( медленное вычисление и распределение (размазывание) данных по винтам DPK> > используй raid 1+0 (aka raid-10) DPK> Но и на чисто нулевом тоже не фонтан получилось... ( со сокростью винчестера поэтому 10 - stripping+mirror -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Программист - это человек, который сначала долго думает, чтобы потом ничего не делать. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Denis P. Khripun wrote:
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений)
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен).
А смоделировав работу сервера как почтового (для этого он и собирается) и того меньше получилось. Причем уперся именно в "дерганье" винтов на запись мелких файлов (mbox ящики). МТА - exim. Максимум, что получилось, это укладывать письма со скоростью 70-80 шт. в секунду (на RAID-5/RAID-50). Для улучшения эксперимента над самим массивом, даже спул и логи в RamFs вынес.
Подскажите, плиз, кто, что думает (не первую неделю бьюсь)?? ;(
Достаточно хорошие результаты показывает даже RAID5 если контроллер с батарейкой и соответственно с включенным write кешем. -- Mykola Dzham, LEFT-(UANIC|RIPE) JID: levsha@jabber.kiev.ua =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000
5000+0 records in
5000+0 records out
163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0
da0:
PS: я 2120S брал только для того, чтобы tps'ность спула exim'а повысить (поэтому 2 диска в мирроре). Ну и еще пару процентиков дописать к коэффициенту готовности. Всё-таки 500tps это не 250, которые может дать 1 диск. Для RAID5 крайне не рекомендую сий девайс: там уже надо брать контроллер из разряда $900+ с нормальным кэшом (256М+) и батарейкой. Denis P. Khripun wrote: DPK> День добрый, уважаемые. DPK> Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;( DPK> В общем есть у меня такая конфигурация: DPK> Adaptec SCSI RAID 2120S (1шт) DPK> IBM SCSI 36 GB (6шт) DPK> AMD Opteron 246 (2.0 GHz) (2шт) DPK> И памяти валом. DPK> Пробовал на 5-том и 50-том RAID. DPK> На контроллере включен кеш (64 мб) DPK> StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений) DPK> При копировании с помощью dd ~5 Мбайт/сек (RAID-5). DPK> При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. DPK> На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен). DPK> А смоделировав работу сервера как почтового (для этого он и собирается) и того меньше получилось. DPK> Причем уперся именно в "дерганье" винтов на запись мелких файлов (mbox ящики). DPK> МТА - exim. Максимум, что получилось, это укладывать письма со скоростью 70-80 шт. в секунду (на RAID-5/RAID-50). DPK> Для улучшения эксперимента над самим массивом, даже спул и логи в RamFs вынес. DPK> Подскажите, плиз, кто, что думает (не первую неделю бьюсь)?? ;( DPK> p.s. Может быть Vladimir Sharun что-то подскажет... (на чем построен Ukr.Net)? ;)) DPK> -- DPK> wbr, DPK> kden DPK> =================================================================== DPK> uanog mailing list. DPK> To Unsubscribe: send mail to majordomo@uanog.kiev.ua DPK> with "unsubscribe uanog" in the body of the message -- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jul 28, 2005 at 05:21:22PM +0300, Denis P. Khripun wrote:
День добрый, уважаемые.
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт)
Да улетать должно, если конечно не натунёшься на лимит по транзакциям/c. И электричества при полёте может не хватать.
AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом. dual p3 900MHz и 2*36Гб scsi визуально поднимали охрененный (несколько гиг маленьких файлов) спул постфикса раза в 2-3 быстрее p4-1.7GHz и так же отформаченных IDE. Правильно собранный ccd0 уже вполне тягался со сказями.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений) Попробуй stripe size 512KB-2MB. Именно такое помогло ide-дискам тягаться со scsi в задаче "поднять spool побыстрее". Если не умеет - то наверно ccd можно в позу типа 0+1 поставить.
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. Ваще-то тут размер блока неплохо б указать.
На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен). В транзакции/s можно часто упереться.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thursday 28 July 2005 17:21, Denis P. Khripun wrote:
День добрый, уважаемые.
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений)
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен).
Что точно у вас не скажу, но так, для сравнения: AMI MegaRAID Express 500 4 - IBM 18G 10000rpm SCSI RAID0+1 $dd if=/dev/amrd0 of=/dev/null bs=1M count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 19.001854 secs (55182826 bytes/sec) Когда пару лет назад его брали и тестировали в RAID5 получалось вроде бы немного меньше, что-то типа 40+ Mб/c -- With Best Regards, Sergey A. Holod SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi! On Fri, Jul 29, 2005 at 10:35 +0300, Sergey Holod wrote:
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений)
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен).
Что точно у вас не скажу, но так, для сравнения: AMI MegaRAID Express 500 4 - IBM 18G 10000rpm SCSI RAID0+1
$dd if=/dev/amrd0 of=/dev/null bs=1M count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 19.001854 secs (55182826 bytes/sec)
Когда пару лет назад его брали и тестировали в RAID5 получалось вроде бы немного меньше, что-то типа 40+ Mб/c
На чтение оно прекрасно работает, претензий нет, >30мб/сек отдает. Но важна еще и _ЗАПИСЬ_, а вот с записью все намного хуже. (raid5, stripe size 64k, тазик слегка загружен): Чтение: # dd if=/dev/aacd0 of=/dev/null bs=1M count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 32.604469 secs (32160499 bytes/sec) Запись: # dd if=/dev/zero of=/data/zuka bs=1m count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 263.956624 secs (3972531 bytes/sec) (софт-апдейты включены) Думаю, в комментариях нужды нет, разница в порядок. Интересный факт, что в 0-м рейде не удается ускорить чтение: Чтение: # dd if=/dev/aacd0 of=/dev/null bs=1m count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 27.772620 secs (37755747 bytes/sec) Запись: # dd if=/dev/zero of=/data/zuka bs=1m count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 43.097316 secs (24330425 bytes/sec) (софт-апдейты включены) Разница между чтением с /dev/aacd0 и /data/zuka составила 3мб/сек, на записи, думаю, разница может быть больше. -- Victor Cheburkin VCW61, VC319-RIPE, VC1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
vladimir.sharun@ukr.net wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0 da0:
Fixed Direct Access SCSI-0 device da0: 135.168MB/s transfers da0: 700049MB (1433700976 512 byte sectors: 255H 63S/T 65535C) ciss0:
port 0x3000-0x30ff mem 0xf7ef0000-0xf7ef3fff,0xf7fc0000-0xf7ffffff irq 26 at device 1.0 on pci2
Вот что у меня выходит:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000
5000+0 records in
5000+0 records out
163840000 bytes transferred in 2.692043 secs (60860839 bytes/sec)
# dd if=/dev/zero of=test.file bs=32k count=5000
5000+0 records in
5000+0 records out
163840000 bytes transferred in 11.508606 secs (14236303 bytes/sec)
da0 at iir0 bus 2 target 0 lun 0
da0:
On Friday 29 July 2005 10:58, Victor Cheburkin wrote:
Hi!
On Fri, Jul 29, 2005 at 10:35 +0300, Sergey Holod wrote: Запись: # dd if=/dev/zero of=/data/zuka bs=1m count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 43.097316 secs (24330425 bytes/sec) (софт-апдейты включены)
таки да: $dd if=/dev/urandom of=/data/test bs=1M count=500 500+0 records in 500+0 records out 524288000 bytes transferred in 41.886503 secs (12516872 bytes/sec) хотя это все же не 5M
Разница между чтением с /dev/aacd0 и /data/zuka составила 3мб/сек, на записи, думаю, разница может быть больше.
-- With Best Regards, Sergey A. Holod SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi! On Fri, Jul 29, 2005 at 11:22 +0300, Mykola Dzham wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0 da0:
Fixed Direct Access SCSI-0 device da0: 135.168MB/s transfers da0: 700049MB (1433700976 512 byte sectors: 255H 63S/T 65535C) ciss0:
port 0x3000-0x30ff mem 0xf7ef0000-0xf7ef3fff,0xf7fc0000-0xf7ffffff irq 26 at device 1.0 on pci2 Вот что у меня выходит:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 2.692043 secs (60860839 bytes/sec)
# dd if=/dev/zero of=test.file bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 11.508606 secs (14236303 bytes/sec)
Гм, 128мб кэша и тестить 163-мб файлом? IMHO, половина запишется в кэш, и это будет довольно быстро.
da0 at iir0 bus 2 target 0 lun 0 da0:
Fixed Direct Access SCSI-2 device da0: Tagged Queueing Enabled da0: 1259831MB (2580135390 512 byte sectors: 255H 63S/T 160606C) Контроллер ICP Vortex GDT8524RZ+BBU с 128M памяти и включенным write кешем, RAID-5 из 10 дисков . write кеш на дисках отключен, файловая система смонтирована в synchronous .
Мониторилка контроллера показывает Read Hits: (average) 50% Write Hits: (average) 90%
-- Victor Cheburkin VCW61, VC319-RIPE, VC1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi! On Fri, Jul 29, 2005 at 11:35 +0300, Sergey Holod wrote:
Запись: # dd if=/dev/zero of=/data/zuka bs=1m count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 43.097316 secs (24330425 bytes/sec) (софт-апдейты включены)
таки да:
$dd if=/dev/urandom of=/data/test bs=1M count=500 500+0 records in 500+0 records out 524288000 bytes transferred in 41.886503 secs (12516872 bytes/sec)
хотя это все же не 5M
У тебя raid10, на сколько я понял? Ну так и у нас когда ставишь raid50 (страйп из двух 5-х рейдов) запись тоже 10мб/сек. Но на куче мелких файлов это преимущества практически не дает... -- Victor Cheburkin VCW61, VC319-RIPE, VC1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jul 28, 2005 at 17:45:05 (+0300), Alexander Trotsai wrote:
On Thu, Jul 28, 2005 at 05:41:39PM +0300, Denis P. Khripun wrote:
DPK> On Thu, Jul 28, 2005 at 17:28:30 (+0300), Alexander Trotsai wrote:
DPK> > afaik - raid-5 медленный на запись by design DPK> И что, ~5 Мбайт/сек by design?? ;((
медленное вычисление и распределение (размазывание) данных по винтам
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
DPK> > используй raid 1+0 (aka raid-10) DPK> Но и на чисто нулевом тоже не фонтан получилось... (
со сокростью винчестера поэтому 10 - stripping+mirror
А stripping из 4 mirror даст мне скорость 4х винтов?
-- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Программист - это человек, который сначала долго думает, чтобы потом ничего не делать. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Victor Cheburkin wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0 da0:
Fixed Direct Access SCSI-0 device da0: 135.168MB/s transfers da0: 700049MB (1433700976 512 byte sectors: 255H 63S/T 65535C) ciss0:
port 0x3000-0x30ff mem 0xf7ef0000-0xf7ef3fff,0xf7fc0000-0xf7ffffff irq 26 at device 1.0 on pci2 Вот что у меня выходит:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 2.692043 secs (60860839 bytes/sec)
# dd if=/dev/zero of=test.file bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 11.508606 secs (14236303 bytes/sec)
Гм, 128мб кэша и тестить 163-мб файлом? IMHO, половина запишется в кэш, и это будет довольно быстро.
Да. И меня это вполне устраивает, так как задачи "побыстрее записать несколько гиг" не стоит, а задача "быстро записывать кучу мелких файлов" стоит. С чем write кеш и прекрасно справляется. -- Mykola Dzham, LEFT-(UANIC|RIPE) JID: levsha@jabber.kiev.ua =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Sergey Holod wrote:
On Thursday 28 July 2005 17:21, Denis P. Khripun wrote:
День добрый, уважаемые.
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений)
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен).
Что точно у вас не скажу, но так, для сравнения: AMI MegaRAID Express 500 4 - IBM 18G 10000rpm SCSI RAID0+1
$dd if=/dev/amrd0 of=/dev/null bs=1M count=1000 1000+0 records in 1000+0 records out 1048576000 bytes transferred in 19.001854 secs (55182826 bytes/sec)
Когда пару лет назад его брали и тестировали в RAID5 получалось вроде бы немного меньше, что-то типа 40+ Mб/c
SunOS dbs.XXXXX.ua 5.9 Generic_118559-05 i86pc i386 i86pc MegaRAID 494 128M cache with a battery backup 6 x MAXTOR ATLAS10K4_36SCA (10k RPM, SCSI 320) in RAID1 (all disks are on the same SCSI channel) time dd if=/dev/rdsk/c1t0d2s0 of=/dev/null bs=128k count=102400 81956+1 records in 81956+1 records out 0.13u 1.43s 3:46.98 0.6% ~56Mb/s SunOS newdb 5.9 Generic_112234-06 i86pc i386 i86pc MegaRAID Elite 1650 128M cache with a battery backup 6 x IBM IC35L036UCDY10-0 (10k RPM, SCSI 320) in RAID1 (disks are spreaded across two SCSI channels) time dd if=/dev/rdsk/c0t0d0s2 of=/dev/null bs=128k count=102400 102400+0 records in 102400+0 records out real 4m33.143s user 0m0.140s sys 0m2.170s ~48Mb/s =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Friday 29 July 2005 11:43, Eugene Polovnikov wrote:
MegaRAID 494 128M cache with a battery backup
6 x MAXTOR ATLAS10K4_36SCA (10k RPM, SCSI 320) in RAID1 (all disks are on the same SCSI channel)
time dd if=/dev/rdsk/c1t0d2s0 of=/dev/null bs=128k count=102400 ~56Mb/s
MegaRAID Elite 1650 128M cache with a battery backup
6 x IBM IC35L036UCDY10-0 (10k RPM, SCSI 320) in RAID1 (disks are spreaded across two SCSI channels)
time dd if=/dev/rdsk/c0t0d0s2 of=/dev/null bs=128k count=102400 ~48Mb/s
Там реально RAID1 из 6-ти дисков??? Государственные тайны храните?..:) А на запись сколько получается? -- With Best Regards, Sergey A. Holod SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Привет! С праздником господа. On Fri, 29 Jul 2005, Denis P. Khripun wrote:
On Thu, Jul 28, 2005 at 17:45:05 (+0300), Alexander Trotsai wrote:
On Thu, Jul 28, 2005 at 05:41:39PM +0300, Denis P. Khripun wrote:
DPK> On Thu, Jul 28, 2005 at 17:28:30 (+0300), Alexander Trotsai wrote:
DPK> > afaik - raid-5 медленный на запись by design DPK> И что, ~5 Мбайт/сек by design?? ;((
медленное вычисление и распределение (размазывание) данных по винтам
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
С чего бы это вдруг миррор увеличит скорость? Ничего он Вам не должен - получите только зеркалирование своих RAID-5. Может быть Вы имеете ввиду stripping двух RAID-5?
DPK> > используй raid 1+0 (aka raid-10) DPK> Но и на чисто нулевом тоже не фонтан получилось... (
со сокростью винчестера поэтому 10 - stripping+mirror
А stripping из 4 mirror даст мне скорость 4х винтов?
Stripping дает (если мне не изменяет склероз) прирост 10-20% на двух дисках/массивах. Что будет при параллельной записи на >2 не знаю. -- WB, Maks Nefedchenko NM17-RIPE
On Friday 29 July 2005 11:40, Denis P. Khripun wrote:
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
Теоретически должен был дать Но все зависит от самого контроллера и firmware. К примеру в LSI MegaRAID SATA150-6 производительности процессора не хватает, что бы загрузить 5 винтов записью, в RAID5 конечно. Это известный факт, но за его деньги для файлопомойки самое оно. Попробуйте потестировать RAID5 с 5 винтами, это будет как раз оптимальный режим для 128k stripe и 512-ти байтного блока FS -- With Best Regards, Sergey A. Holod SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Sergey Holod wrote:
On Friday 29 July 2005 11:43, Eugene Polovnikov wrote:
MegaRAID 494 128M cache with a battery backup
6 x MAXTOR ATLAS10K4_36SCA (10k RPM, SCSI 320) in RAID1 (all disks are on the same SCSI channel)
time dd if=/dev/rdsk/c1t0d2s0 of=/dev/null bs=128k count=102400 ~56Mb/s
MegaRAID Elite 1650 128M cache with a battery backup
6 x IBM IC35L036UCDY10-0 (10k RPM, SCSI 320) in RAID1 (disks are spreaded across two SCSI channels)
time dd if=/dev/rdsk/c0t0d0s2 of=/dev/null bs=128k count=102400 ~48Mb/s
Там реально RAID1 из 6-ти дисков???
3 массива по 2 диска каждый.
Государственные тайны храните?..:)
только ДСП :)
А на запись сколько получается?
time dd if=/dev/zero of=/u02/test.data bs=128k count=10000 10000+0 records in 10000+0 records out real 1m24.316s user 0m0.050s sys 0m6.490s ~15Mb/s при этом iostat показует в среднем около 20Mb/s =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, 28 Jul 2005, "Denis P. Khripun" wrote:
День добрый, уважаемые.
Проблема примерно такая: наблюдаю "неторопливость" в работе с RAID'ом... и не погу понять... дело в контроллере или так и должно быть. ;(
В общем есть у меня такая конфигурация:
Adaptec SCSI RAID 2120S (1шт) IBM SCSI 36 GB (6шт) AMD Opteron 246 (2.0 GHz) (2шт) И памяти валом.
Пробовал на 5-том и 50-том RAID. На контроллере включен кеш (64 мб) StripeSize у массива - 64кб (пробовал и 16 кб - без улучшений)
При копировании с помощью dd ~5 Мбайт/сек (RAID-5). При копировании с помощью dd на RAID-50 ~10 Мбайт/сек. На 0-ом RAID - ~30 Мбайт/сек (тоже не фонтан, но мне RAID-0 и не нужен).
А смоделировав работу сервера как почтового (для этого он и собирается) и того меньше получилось. Причем уперся именно в "дерганье" винтов на запись мелких файлов (mbox ящики). МТА - exim. Максимум, что получилось, это укладывать письма со скоростью 70-80 шт. в секунду (на RAID-5/RAID-50). Для улучшения эксперимента над самим массивом, даже спул и логи в RamFs вынес.
Подскажите, плиз, кто, что думает (не первую неделю бьюсь)?? ;(
p.s. Может быть Vladimir Sharun что-то подскажет... (на чем построен Ukr.Net)? ;))
4*200Gb ide. chunk size 128kb linux softraid level5 write - 8.3Mb/s root@f:/mnt# time dd if=/dev/zero of=test.file bs=1M count=1024 1024+0 входных записей 1024+0 выходных записей real 2m2.617s user 0m0.010s sys 0m5.110s read - 16Mb/s root@f:/mnt# time dd if=test.file of=/dev/null bs=1M 1024+0 входных записей 1024+0 выходных записей real 1m3.756s user 0m0.000s sys 0m5.100s 4*200Gb ide. linux softraid level1 write - 2.7Mb/s root@f:/# time dd if=/dev/zero of=test.file bs=1M count=1024 1024+0 входных записей 1024+0 выходных записей real 6m6.543s user 0m0.020s sys 0m5.040s read - 14.2Mb/s root@f:/# time dd if=test.file of=/dev/null bs=1M 1024+0 входных записей 1024+0 выходных записей real 1m12.460s user 0m0.010s sys 0m4.690s =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 12:01:43 (+0300), Maks Nefedchenko wrote:
Привет! С праздником господа.
Спасибо, и вас так же! )
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
С чего бы это вдруг миррор увеличит скорость? Ничего он Вам не должен - получите только зеркалирование своих RAID-5. Может быть Вы имеете ввиду stripping двух RAID-5?
Да. Имелось виду stripping двух RAID-5.
со сокростью винчестера поэтому 10 - stripping+mirror
А stripping из 4 mirror даст мне скорость 4х винтов?
Stripping дает (если мне не изменяет склероз) прирост 10-20% на двух дисках/массивах. Что будет при параллельной записи на >2 не знаю.
Вот сейчас Stripe из 6ти HDD и скорость ~25Mb dd if=/dev/zero of=/data/big_file bs=32k count=65536 65536+0 records in 65536+0 records out 2147483648 bytes transferred in 89.034302 secs (24119734 bytes/sec) Бенчи по dd это конечно хорошо, но если смотреть по работе с дерганьем кучи мелких файлов (дозапись почты в ящики), получается так: RAID-5 ( 5+1 HDD) ~70-80 delivers per second RAID-50 (2х2+1 HDD) ~70-80 delivers per second (т.е., та же фигня, хотя, на dd результат был в x2) RAID-0 ( 6 HDD) ~210-240 delivers per second (т.е., где-то в 3 раза быстрее) Винты: pass0: <IBM IC35L036UCDY10-0 S27Q> Fixed unknown SCSI-3 device pass0: 160.000MB/s transfers (80.000MHz, offset 127, 16bit) В общем, вопрос примерно такой - как сделать возможным быструю и надежную _запись_ множества мелких файлов? Поменять контроллер на такой, где кеш 256 Мб и слепить stripping из 3-х и больше зеркал??
-- WB, Maks Nefedchenko NM17-RIPE
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Mykola Dzham wrote: MD> vladimir.sharun@ukr.net wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0 da0:
Fixed Direct Access SCSI-0 device da0: 135.168MB/s transfers da0: 700049MB (1433700976 512 byte sectors: 255H 63S/T 65535C) ciss0:
port 0x3000-0x30ff mem 0xf7ef0000-0xf7ef3fff,0xf7fc0000-0xf7ffffff irq 26 at device 1.0 on pci2
Оно у меня в номинале загружено на ~150-300 tps (рандомных), отсюда и результаты.
Тест-то был на работающей инсталяции.
MD> Вот что у меня выходит:
MD> # dd if=/dev/da0s1a of=/dev/null bs=32k count=5000
MD> 5000+0 records in
MD> 5000+0 records out
MD> 163840000 bytes transferred in 2.692043 secs (60860839 bytes/sec)
MD> # dd if=/dev/zero of=test.file bs=32k count=5000
MD> 5000+0 records in
MD> 5000+0 records out
MD> 163840000 bytes transferred in 11.508606 secs (14236303 bytes/sec)
MD> da0 at iir0 bus 2 target 0 lun 0
MD> da0:
vladimir.sharun@ukr.net wrote:
Mykola Dzham wrote: MD> vladimir.sharun@ukr.net wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%)
da0 at ciss0 bus 0 target 0 lun 0 da0:
Fixed Direct Access SCSI-0 device da0: 135.168MB/s transfers da0: 700049MB (1433700976 512 byte sectors: 255H 63S/T 65535C) ciss0:
port 0x3000-0x30ff mem 0xf7ef0000-0xf7ef3fff,0xf7fc0000-0xf7ffffff irq 26 at device 1.0 on pci2 Оно у меня в номинале загружено на ~150-300 tps (рандомных), отсюда и результаты. Тест-то был на работающей инсталяции.
Ну у меня оно тоже загружено, но конечно чуток меньше: # iostat -w 10 tty da0 cd0 pass0 cpu tin tout KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s us ni sy in id 0 184 13.65 239 3.18 0.00 0 0.00 0.00 0 0.00 3 0 2 0 94 0 186 14.80 37 0.54 0.00 0 0.00 0.00 0 0.00 1 0 1 0 98 0 166 14.33 201 2.81 0.00 0 0.00 0.00 0 0.00 3 0 2 0 94 0 48 14.70 28 0.40 0.00 0 0.00 0.00 0 0.00 0 0 0 0 99 0 121 15.43 158 2.39 0.00 0 0.00 0.00 0 0.00 5 0 2 0 93 0 98 15.51 74 1.11 0.00 0 0.00 0.00 0 0.00 1 0 2 0 97 0 208 15.34 150 2.25 0.00 0 0.00 0.00 0 0.00 1 0 2 0 97 0 148 14.92 81 1.17 0.00 0 0.00 0.00 0 0.00 1 0 1 0 98
MD> Вот что у меня выходит:
MD> # dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 MD> 5000+0 records in MD> 5000+0 records out MD> 163840000 bytes transferred in 2.692043 secs (60860839 bytes/sec)
MD> # dd if=/dev/zero of=test.file bs=32k count=5000 MD> 5000+0 records in MD> 5000+0 records out MD> 163840000 bytes transferred in 11.508606 secs (14236303 bytes/sec)
MD> da0 at iir0 bus 2 target 0 lun 0 MD> da0:
Fixed Direct Access SCSI-2 device MD> da0: Tagged Queueing Enabled MD> da0: 1259831MB (2580135390 512 byte sectors: 255H 63S/T 160606C) MD> Контроллер ICP Vortex GDT8524RZ+BBU с 128M памяти и включенным write MD> кешем, RAID-5 из 10 дисков . write кеш на дисках отключен, файловая MD> система смонтирована в synchronous .
MD> Мониторилка контроллера показывает MD> Read Hits: (average) 50% MD> Write Hits: (average) 90%
-- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- Mykola Dzham, LEFT-(UANIC|RIPE) JID: levsha@jabber.kiev.ua =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jul 28, 2005 at 18:04:14 (+0300), vladimir.sharun@ukr.net wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%) А на запись?
Пятый RAID не советую ставить в безбатареечной конфигурации. Write cache контроллера штука приятная. Ну, пока включил без батарейки... но это еще тестирование (нечего терять).
Батарейка стОит $120-180 кажется, мы у Энтри брали, рекомендую (подозреваю что вы там же). Да, я уже присмотрел.
Судя по конфигурации, продавали вам уже обкатаное у нас железо (конфигурации в смысле) ;-) Да нет... сами как-то так заказали. (вот, получилось, что с RAID промахнулись - кеш в 64Мб маловат)
-- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Fri, Jul 29, 2005 at 11:40:25, kden wrote about "[uanog] Re: Вот, есть вопрос... (проблема в "неторопливоси" работы RAID массива) :(":
медленное вычисление и распределение (размазывание) данных по винтам
Немного растекусь по древу: Без учёта кэша запись на R5 медленнее обычной в 2 раза минимум (максимум - в N+1 раз, где N - количество дисков, в "параноидальном" режиме, и в 4 раза в "расслабленном"). Причина таких скоростей: чтобы записать на R5 - считываются все прочие блоки (кроме контрольного) той же полосы, считается XOR, пишется запрошенный на запись блок и контрольный блок. Это в параноидальном режиме. В расслабленном - читается старое значение текущего и контрольный, делается XOR, пишется новый текущий и контрольный. Если все чтения/записи параллельны - времена - прочитать что сейчас и записать, если последовательны - получится по максимуму. Кэш помогает ускорить это, но в далеко не всех случаях. При write-through, помощь будет только если пишут на одно и то же место несколько раз - не надо перечитывать. При write-back, если пишут несколько раз на одно и то же место (записи откладываются) и если пишут в пределах одной полосы разные блоки (для stripe size 64K - N, N+128, N+256 и так далее). Вывод - R5 больше ориентирован на крупнопотоковую запись на последовательные блоки, нежели на запись в случайные места.
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
Тут у тебя получается некоторый изврат - или два уровня полосования диска (первый stripe в пределах R0, второй в пределах R5), или один размазанный (тогда это уже скорее не 5+0, а 0+5). Не уверен, что контроллер вообще в состоянии правильно отрабатывать такую ситуацию.
со сокростью винчестера поэтому 10 - stripping+mirror А stripping из 4 mirror даст мне скорость 4х винтов?
на 1+0 - да. На чтении - может быть даже быстрее, вплоть до ещё одного удвоения скорости (если контроллер умный и нигде нет узких мест). -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Denis P. Khripun wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%) DPK> А на запись?
А что запись ? Не морочь себе голову: тебе почта никогда не будет вливаться на 30 мегабитах. Даже если и будет, то неотфильтрованая, а до бэкэнда оно будет доходить уже в гораздо меньших объёмах ;-) PS: Запись последовательными блоками - быстро, рандомом - медленно. Но пару мегабайт/с сделает. -- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Friday 29 July 2005 13:22, Valentin Nechayev wrote:
Fri, Jul 29, 2005 at 11:40:25, kden wrote about "[uanog] Re: Вот, есть вопрос... (проблема в "неторопливоси" работы RAID массива) :(":
медленное вычисление и распределение (размазывание) данных по винтам
Немного растекусь по древу:
Без учёта кэша запись на R5 медленнее обычной в 2 раза минимум (максимум - в N+1 раз, где N - количество дисков, в "параноидальном" режиме, и в 4 раза в "расслабленном"). Причина таких скоростей: чтобы записать на R5 - считываются все прочие блоки (кроме контрольного) той же полосы, считается XOR, пишется запрошенный на запись блок и контрольный блок. Это в параноидальном режиме. В расслабленном - читается старое значение текущего и контрольный, делается XOR, пишется новый текущий и контрольный. Если все чтения/записи параллельны - времена - прочитать что сейчас и записать, если последовательны - получится по максимуму.
Кэш помогает ускорить это, но в далеко не всех случаях. При write-through, помощь будет только если пишут на одно и то же место несколько раз - не надо перечитывать. При write-back, если пишут несколько раз на одно и то же место (записи откладываются) и если пишут в пределах одной полосы разные блоки (для stripe size 64K - N, N+128, N+256 и так далее).
Вывод - R5 больше ориентирован на крупнопотоковую запись на последовательные блоки, нежели на запись в случайные места.
Тогда можно было бы провести такой эксперимент: block size винта 512byte stripe обычно до 256byte (я больше не видел) тогда при FS block size 2Kbyte и 5 винтах в RAID5 читать с винта старую ленту не надо, т.к. она полностью перезаписывается и скорость записи должна теоретически быть в 4 раза больше -- With Best Regards, Sergey A. Holod Head of Network Management Dep. RadioCom Ltd. SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi! On Fri, Jul 29, 2005 at 13:54 +0300, Sergey Holod wrote:
вопрос... (проблема в "неторопливоси" работы RAID массива) :(":
медленное вычисление и распределение (размазывание) данных по винтам
Немного растекусь по древу:
Без учёта кэша запись на R5 медленнее обычной в 2 раза минимум (максимум - в N+1 раз, где N - количество дисков, в "параноидальном" режиме, и в 4 раза в "расслабленном"). Причина таких скоростей: чтобы записать на R5 - считываются все прочие блоки (кроме контрольного) той же полосы, считается XOR, пишется запрошенный на запись блок и контрольный блок. Это в параноидальном режиме. В расслабленном - читается старое значение текущего и контрольный, делается XOR, пишется новый текущий и контрольный. Если все чтения/записи параллельны - времена - прочитать что сейчас и записать, если последовательны - получится по максимуму.
Кэш помогает ускорить это, но в далеко не всех случаях. При write-through, помощь будет только если пишут на одно и то же место несколько раз - не надо перечитывать. При write-back, если пишут несколько раз на одно и то же место (записи откладываются) и если пишут в пределах одной полосы разные блоки (для stripe size 64K - N, N+128, N+256 и так далее).
Вывод - R5 больше ориентирован на крупнопотоковую запись на последовательные блоки, нежели на запись в случайные места.
Тогда можно было бы провести такой эксперимент: block size винта 512byte stripe обычно до 256byte (я больше не видел)
Мне кажется, что ты где-то упустил 'K' -- страйп в рейдах от 8кб до 2мб (меньше и больше я не видел).
тогда при FS block size 2Kbyte и 5 винтах в RAID5 читать с винта старую ленту не надо, т.к. она полностью перезаписывается и скорость записи должна теоретически быть в 4 раза больше
-- Victor Cheburkin VCW61, VC319-RIPE, VC1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Friday 29 July 2005 13:58, Victor Cheburkin wrote:
Мне кажется, что ты где-то упустил 'K' -- страйп в рейдах от 8кб до 2мб (меньше и больше я не видел).
Да, видимо пятница..:) Тогда как вариант stripe 8кб, fs block 32кб -- With Best Regards, Sergey A. Holod SAH1-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 13:22:41 (+0300), Valentin Nechayev wrote:
медленное вычисление и распределение (размазывание) данных по винтам
Немного растекусь по древу:
Вывод - R5 больше ориентирован на крупнопотоковую запись на последовательные блоки, нежели на запись в случайные места.
Как работает R5 я понимаю. Я ждал, что медленнее но не ожидал, что в 10 раз. ;(
Хорошо. Но на 50 (Mirror из 2-ух RAID-5), должен был появится прирост скрости в 2 раза - но нет его. :(
Тут у тебя получается некоторый изврат - или два уровня полосования диска (первый stripe в пределах R0, второй в пределах R5), или один размазанный (тогда это уже скорее не 5+0, а 0+5). Не уверен, что контроллер вообще в состоянии правильно отрабатывать такую ситуацию.
Ошибся. Я имел виду не Mirror, а Stripe собранный из 2-ух RAID-5. Да, в отличии от просто RAID-5 я получил прирост скорости в 2 раза но только на поточной записи (dd). А что до почты, так без изменений.
А stripping из 4 mirror даст мне скорость 4х винтов?
на 1+0 - да. На чтении - может быть даже быстрее, вплоть до ещё одного удвоения скорости (если контроллер умный и нигде нет узких мест).
Ну, как ты видишь, у меня проблемы не с чтением. На просто Stripe у меня получилось укладывать почту со скоростью x3 (от RAID-5). Но желание примерно такое... надежность (т.е. RAID 1/5/1+0/5+0). Естественно предпочтительно, чтобы это было ближе к 5 (т.е. с меньшей избыточностью HDD). Есть еще один вариант сделать 3-4 RAID-1 и не собирать их в Stripe (мне кажется, что оно так будет работать быстрей, чем 1+0), но тогда становится неудобно управлять деревом каталогов - симлинки и проч. для a,b,c,d..z (директории под ящики). p.s. А если взять RAID с двумя каналами? Получится ли повесить по RAID-5 на каждый канал и собрать их в Stripe. Всмысле, будет ли это скорость x2? :-\
-netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 13:35:14 (+0300), vladimir.sharun@ukr.net wrote:
Denis P. Khripun wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%) DPK> А на запись?
А что запись ? Не морочь себе голову: тебе почта никогда не будет вливаться на 30 мегабитах. Т.е., типа, я гоню. ;)))
Даже если и будет, то неотфильтрованая, а до бэкэнда оно будет доходить уже в гораздо меньших объёмах ;-) Понятное дело, есть еще и фронт-енды.
Просто те цифры по кол-ву писем, что я назвал, это на грани 110% занятости HDD, а ведь не только exim'у будет нужен винт. Т.е. у меня сама по себе система курит, а нагрузить ее не могу из-за I/O. И опять же таки, вполне возможны пики (хоть и кратковременные).
PS: Запись последовательными блоками - быстро, рандомом - медленно. Но пару мегабайт/с сделает.
p.s. Или я все же гоню? ;)
-- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 12:34:11PM +0300, Denis P. Khripun wrote: DPK> В общем, вопрос примерно такой - как сделать возможным быструю и надежную _запись_ множества мелких файлов? DPK> Поменять контроллер на такой, где кеш 256 Мб и слепить stripping из 3-х и больше зеркал?? strip + mirror - это и есть raid-10 используй его -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] H2O девиз не наш. Наш - C2H5OH =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Denis P. Khripun wrote:
Denis P. Khripun wrote:
# dd if=/dev/da0s1a of=/dev/null bs=32k count=5000 5000+0 records in 5000+0 records out 163840000 bytes transferred in 13.992171 secs (11709405 bytes/sec)
(при этом номинальный load на контроллере в районе 45%) DPK>> А на запись?
# dd if=/dev/zero of=testfile bs=64k count=5000 5000+0 records in 5000+0 records out 327680000 bytes transferred in 23.192945 secs (14128434 bytes/sec) (это на нагруженой системе)
А что запись ? Не морочь себе голову: тебе почта никогда не будет вливаться на 30 мегабитах. DPK> Т.е., типа, я гоню. ;)))
Даже если и будет, то неотфильтрованая, а до бэкэнда оно будет доходить уже в гораздо меньших объёмах ;-) DPK> Понятное дело, есть еще и фронт-енды.
DPK> Просто те цифры по кол-ву писем, что я назвал, это на грани 110% занятости HDD, а ведь не только exim'у будет нужен винт. Т.е. у меня сама по себе система курит, а нагрузить ее не могу из-за I/O. И опять же таки, вполне возможны пики (хоть и кратковременные). Производительность рандомных операций с RAID5 (если отключить все кэши) всегда меньше производительности отдельного диска в нём.
PS: Запись последовательными блоками - быстро, рандомом - медленно. Но пару мегабайт/с сделает.
DPK> p.s. Или я все же гоню? ;) С точки зрения построения инфраструктуры - да. Бэкэнд ничем не занимается, кроме "бэкэндирования" ну максимум антивирус со своим спулом на md. Инбаунд сервера обладают требованием: а) Выская скорость работы с диском б) Небольшой его объём. Тут выгодно делать миррор в 2-3 диска в) Высокая вычислительная мощность (в случае контент-анализа) У бэкэндов совсем другие требования, одно из которых высокая скорость failover'а. Вопрос скорости там обсуждать нет смысла (если это почтовые хранилища). Т.к. кэш системы + кэш дисковой (под)системы сделают почти всё за тебя. Максимум что произойдёт в real life - это подскочит нагрузка на фронтендах за счет тормозов бэкэнда в пиковый момент. Но такое бывает редко и почти неправда. 3 мегабайта в секунду на запись - с головой. Кэш - ключевое слово. Поэтому серьёзные NAS'ы выигрывают исключительно за счет оптимизации работы кэшэй. PS: а для чего тебе такое дело ? 5х36 ? Это же 2(3..)x143Гб в мирроре, которые натянут связку 5x36 по самое немогу. -- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 15:21:55 (+0300), Alexander Trotsai wrote:
On Fri, Jul 29, 2005 at 12:34:11PM +0300, Denis P. Khripun wrote:
DPK> В общем, вопрос примерно такой - как сделать возможным быструю и надежную _запись_ множества мелких файлов? DPK> Поменять контроллер на такой, где кеш 256 Мб и слепить stripping из 3-х и больше зеркал??
strip + mirror - это и есть raid-10 Mage, я понимаю, что это и есть raid-10 ;)
используй его Мэээдленно. ;)
p.s. Сейчас проверю макс. скрорсть просто на ~5 SCSI и продолжу дальнейшие сравнения. О результатах буду сообщать. ;)
-- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] H2O девиз не наш. Наш - C2H5OH =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 15:28:51 (+0300), vladimir.sharun@ukr.net wrote:
# dd if=/dev/zero of=testfile bs=64k count=5000 5000+0 records in 5000+0 records out 327680000 bytes transferred in 23.192945 secs (14128434 bytes/sec)
(это на нагруженой системе)
--- dd if=/dev/zero of=/data/testfile bs=64k count=5000 5000+0 records in 5000+0 records out 327680000 bytes transferred in 9.762690 secs (33 564 520 bytes/sec) Это тоже на нагруженой системе (cache 64Мб) --- --- dd if=/dev/zero of=/data/testfile bs=64k count=5000 5000+0 records in 5000+0 records out 327680000 bytes transferred in 82.622257 secs (3 966 002 bytes/sec) Это там же, но без cache. ---
DPK> p.s. Или я все же гоню? ;)
С точки зрения построения инфраструктуры - да. Бэкэнд ничем не занимается, кроме "бэкэндирования" ну максимум антивирус со своим спулом на md. Инбаунд сервера обладают требованием: а) Выская скорость работы с диском б) Небольшой его объём. Тут выгодно делать миррор в 2-3 диска в) Высокая вычислительная мощность (в случае контент-анализа)
У бэкэндов совсем другие требования, одно из которых высокая скорость failover'а. Вопрос скорости там обсуждать нет смысла (если это почтовые хранилища). Т.к. кэш системы + кэш дисковой (под)системы сделают почти всё за тебя.
Видишь, не делает.
Максимум что произойдёт в real life - это подскочит нагрузка на фронтендах за счет тормозов бэкэнда в пиковый момент. Но такое бывает редко и почти неправда.
Ну... например рассылка (своя) всем пользователям.
3 мегабайта в секунду на запись - с головой. Кэш - ключевое слово. Поэтому серьёзные NAS'ы выигрывают исключительно за счет оптимизации работы кэшэй.
У меня немного не так построено, как ты описал. У меня в качестве фронтэндов недорогие (прямо скажем дешевые) машинки, которые отфильтровывают "легкое" - по access/verify_sender/helo/quota/etc/etc... (отфильтровывается где-то 75% почты). Так же ими можно остановить (или принять) шторм писем, без проблем, для бэкендов. А вот на бэкендах возможна и контентная проверка (но уже всего 25%) + на бэкендах живут и поперы (ты видел, что происходит с диском, когда кто-то зачитывает 20Мб ящик? ;) А он же не один такой.. они, блин, парами ходять).
PS: а для чего тебе такое дело ? 5х36 ? Это же 2(3..)x143Гб в мирроре, которые натянут связку 5x36 по самое немогу.
Много мелких выдержат больше тпс, чем один большой.
-- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Denis P. Khripun wrote:
Максимум что произойдёт в real life - это подскочит нагрузка на фронтендах за счет тормозов бэкэнда в пиковый момент. Но такое бывает редко и почти неправда.
DPK> Ну... например рассылка (своя) всем пользователям. А это рассылкой лучше и не делать. Тормозить будет anyway.
3 мегабайта в секунду на запись - с головой. Кэш - ключевое слово. Поэтому серьёзные NAS'ы выигрывают исключительно за счет оптимизации работы кэшэй.
DPK> У меня немного не так построено, как ты описал. DPK> У меня в качестве фронтэндов недорогие (прямо скажем дешевые) машинки, которые отфильтровывают "легкое" - по access/verify_sender/helo/quota/etc/etc... (отфильтровывается где-то 75% почты). Так же ими можно остановить (или принять) шторм писем, без проблем, для бэкендов. А вот на бэкендах возможна и контентная проверка (но уже всего 25%) + на бэкендах живут и поперы (ты видел, что происходит с диском, когда кто-то зачитывает 20Мб ящик? ;) А он же не один такой.. они, блин, парами ходять).
PS: а для чего тебе такое дело ? 5х36 ? Это же 2(3..)x143Гб в мирроре, которые натянут связку 5x36 по самое немогу.
DPK> Много мелких выдержат больше тпс, чем один большой. Ой далеко не всегда ;-) -- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 16:32:33 (+0300), vladimir.sharun@ukr.net wrote:
DPK> Ну... например рассылка (своя) всем пользователям. А это рассылкой лучше и не делать. Тормозить будет anyway.
Просто дописыванием в конец ящика? Да, можно. Но это другая история. К примеру есть пользователь (всмысле, таки, есть), который переодически делает честную рассылку, а потом принимает по несколько тыс. писем в минуту (отлупы) - с этими что делать? ;)
DPK> Много мелких выдержат больше тпс, чем один большой. Ой далеко не всегда ;-)
Всмысле, ты хочешь сказать обратное - один большой выдержит больше тпс, чем много маленьких? Или имеется виду, например, вариант как сейчас (с RAID)?
-- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- wbr, kden =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Denis P. Khripun wrote: DPK> On Fri, Jul 29, 2005 at 16:32:33 (+0300), vladimir.sharun@ukr.net wrote:
DPK>> Ну... например рассылка (своя) всем пользователям.
А это рассылкой лучше и не делать. Тормозить будет anyway.
DPK> Просто дописыванием в конец ящика? Да, можно. Но это другая история. DPK> К примеру есть пользователь (всмысле, таки, есть), который переодически делает честную рассылку, а потом принимает по несколько тыс. писем в минуту (отлупы) - с этими что делать? ;) И что, этот пользователь за год максимум окупит всю систему ? Не верю. Пусть строит сам свою инфраструктуру и становится на коло со всеми вытекающими. А если всё-таки окупит, то тоже банально: делается IN MX 10 blah.domain.tld, который указывает на 2+ сервера со спулом на 15к дисках в RAID1.
DPK>> Много мелких выдержат больше тпс, чем один большой.
Ой далеко не всегда ;-)
DPK> Всмысле, ты хочешь сказать обратное - один большой выдержит больше тпс, чем много маленьких? DPK> Или имеется виду, например, вариант как сейчас (с RAID)? tps'ность миррора на запись очень хорошА, равно как и на чтение. Я говорил про объём. Ты собирался 5 дисков в 5-ку ставить, дабы получить объём и скорость. Для твоего объёма и скорости лучше будет иметь миррор из 2х больших дисков - это я и хотел сказать ;-) -- UKR.NET Postmaster =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 04:47:13PM +0300, Denis P. Khripun wrote:
On Fri, Jul 29, 2005 at 16:32:33 (+0300), vladimir.sharun@ukr.net wrote:
DPK> Ну... например рассылка (своя) всем пользователям. А это рассылкой лучше и не делать. Тормозить будет anyway.
Просто дописыванием в конец ящика? Да, можно. Но это другая история. К примеру есть пользователь (всмысле, таки, есть), который переодически делает честную рассылку, а потом принимает по несколько тыс. писем в минуту (отлупы) - с этими что делать? ;)
Ловить отлупы, аналайзить и делать что-то, чтоб туда в следующий раз ничего не посылалось ;). Кроме того, ознакомить с ламериканским CAN-SPAM Act, как склероз подсказывает, там чётко написано, что посылать в туда, откуда получен отлуп - нехорошо.
DPK> Много мелких выдержат больше тпс, чем один большой. Ой далеко не всегда ;-)
Всмысле, ты хочешь сказать обратное - один большой выдержит больше тпс, чем много маленьких? Или имеется виду, например, вариант как сейчас (с RAID)? По-моему скорее натыкание на количество tps в контроллере получается. А stripe из 2*raid5 на разных каналах (и для эксперимента - на разных контроллерах) я бы рискнул софтовый сделать (с вашими тута скоростями - так ничего не потеряется). Чем-нить из серии device ccd. Хотя в такой системе крутить можно 3 группы параметров сразу - в raid5, ccd и собственно в FS. Если затык в количестве транзакций - увеличение block size и fragment size (32КБ и 4КБ) соответственно вместе с 1024К у ccd вполне позволило уменьшить количество транзакций при подъёме спула postfix...
Эт я к тому, что если не хватает tps - так надо сделать так, чтоб потребность в них соответствовала возможностям. А там глядишь, и возможности вырастут. -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 05:02:40PM +0300, vladimir.sharun@ukr.net wrote:
tps'МНЯРЭ ЛХППНПЮ МЮ ГЮОХЯЭ НВЕМЭ УНПНЬю, ПЮБМН ЙЮЙ Х МЮ ВРЕМХЕ. ъ ЦНБНПХК ОПН НАЗ╦Л. рШ ЯНАХПЮКЯЪ 5 ДХЯЙНБ Б 5-ЙС ЯРЮБХРЭ, ДЮАШ ОНКСВХРЭ НАЗ╦Л Х ЯЙНПНЯРЭ. дКЪ РБНЕЦН НАЗ╦ЛЮ Х ЯЙНПНЯРХ КСВЬЕ АСДЕР ХЛЕРЭ ЛХППНП ХГ 2У АНКЭЬХУ ДХЯЙНБ - ЩРН Ъ Х УНРЕК ЯЙЮГЮРЭ ;-)
А миррор или страйп из raid5 будет понадёжнее миррора или страйпа из двух дисков. Хотя и дороже, если диски на ebay не покупать ;). -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jul 29, 2005 at 15:30:57 (+0300), Denis P. Khripun wrote:
DPK> В общем, вопрос примерно такой - как сделать возможным быструю и надежную _запись_ множества мелких файлов? DPK> Поменять контроллер на такой, где кеш 256 Мб и слепить stripping из 3-х и больше зеркал??
strip + mirror - это и есть raid-10 Mage, я понимаю, что это и есть raid-10 ;)
используй его Мэээдленно. ;)
p.s. Сейчас проверю макс. скрорсть просто на ~5 SCSI и продолжу дальнейшие сравнения. О результатах буду сообщать. ;)
Сорри, что только сейчас пишу - все небыло времени заняться.
В общем, если кому-то интересно - вот результаты:
!!! Желаемая цель - быстрая запись большого количества мелких файлов на отказоустойчивое дисковое пространство с минимальной избыточностью по HDD. Тесты с dd, при данной задаче не очень были важны... сделал так, из общего интереса или может быть кому-нибудь пригодится.
CPU: AMD Opteron(tm) Processor 246 X 2
real memory = 2147418112 (2047 MB)
aac0:
participants (11)
-
Alexander Trotsai -
Alexey Kolyada -
Denis P. Khripun -
Eugene Polovnikov -
Maks Nefedchenko -
Mykola Dzham -
Paul Arakelyan -
Sergey Holod -
Valentin Nechayev -
Victor Cheburkin -
vladimir.sharun＠ukr.net