Привет! Посоветуйте оптимальную FS, для хранения большого колличества почты, в maildir-ах Объем хранилища от 200 гб Самолично проведены тесты с ufs2, jfs, reiserfs. Каждая из систем имеет как плюсы так и минусы. Хотелось бы услышать в сторону чего еще стоит посмотреть. Выводы которые сделаны сейчас: ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов. jfs сразу отпадала в реад онли на тестах при создании в 10 потоков нескольких сотен тысяс файлов. reiserfs работает, вполне быстро, но в неопределенные моменты времени рассыпается с ошибками вида ReiserFS: warning: green-16003: Invalid item type observed, run fsck ASAP process `named' is using obsolete setsockopt SO_BSDCOMPAT ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? Возможно это вина кривых рук, но делали все что могли. -- GSA-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 16, 2007 at 06:43:09PM +0200, Sergey A. Gribchenko wrote: SAG> reiserfs работает, вполне быстро, SAG> но SAG> в неопределенные моменты времени рассыпается SAG> с ошибками вида SAG> ReiserFS: warning: green-16003: Invalid item type observed, run fsck ASAP SAG> process `named' is using obsolete setsockopt SO_BSDCOMPAT SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? SAG> Возможно это вина кривых рук, но делали все что могли. а какая операционка? ядро? у меня reiser достаточно спокойно работает -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Скpомное молчание лyчший довод в споpе с pyководством =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, 16 Mar 2007, Alexander Trotsai wrote:
SAG> reiserfs работает, вполне быстро, SAG> но
SAG> в неопределенные моменты времени рассыпается
SAG> с ошибками вида
SAG> ReiserFS: warning: green-16003: Invalid item type observed, run fsck ASAP SAG> process `named' is using obsolete setsockopt SO_BSDCOMPAT SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck?
SAG> Возможно это вина кривых рук, но делали все что могли.
а какая операционка? ядро? у меня reiser достаточно спокойно работает
Linux 2.6.20-gentoo-r3_gentoo #1 SMP Thu Mar 15 11:24:25 EET 2007 x86_64 Dual Core AMD Opteron(tm) Processor 180 AuthenticAMD GNU/Linux cat /proc/fs/reiserfs/sdc1/version 3.6 format with checks off -- GSA-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 16, 2007 at 07:02:41PM +0200, Sergey A. Gribchenko wrote: SAG> On Fri, 16 Mar 2007, Alexander Trotsai wrote: SAG> > SAG> reiserfs работает, вполне быстро, SAG> > SAG> но SAG> > SAG> > SAG> в неопределенные моменты времени рассыпается SAG> > SAG> > SAG> с ошибками вида SAG> > SAG> > SAG> ReiserFS: warning: green-16003: Invalid item type observed, run fsck ASAP SAG> > SAG> process `named' is using obsolete setsockopt SO_BSDCOMPAT SAG> > SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> > SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? SAG> > SAG> ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 SAG> > SAG> ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? SAG> > SAG> > SAG> > SAG> Возможно это вина кривых рук, но делали все что могли. SAG> > SAG> > а какая операционка? ядро? SAG> > у меня reiser достаточно спокойно работает SAG> Linux 2.6.20-gentoo-r3_gentoo #1 SMP Thu Mar 15 11:24:25 EET 2007 x86_64 Dual Core AMD Opteron(tm) Processor 180 AuthenticAMD GNU/Linux SAG> cat /proc/fs/reiserfs/sdc1/version SAG> 3.6 format with checks off root@mail:/etc/exim# cat /proc/fs/reiserfs/md3/version 3.6 format with checks off root@mail:/etc/exim# uname -a Linux mail.adamant.net 2.6.17-mm6 #1 SMP Wed Aug 16 08:34:42 EEST 2006 i686 i686 i386 GNU/Linux root@mail:/etc/exim# uptime 07:10:17 up 106 days, 19:30, 11 users, load average: 0.94, 0.71, 0.65 root@mail:/etc/exim# что могу предположить 1. reiser не работает в 64-битной среде 2. reiser поломали в дистрибутивном ядре (попробуйте from kernel.org) ну и еще таки можно попробовать ext3 с -O dir_index -T news -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Будь реалистом: не говори правды =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Fri, Mar 16, 2007 at 18:43:09, gsa wrote about "[uanog] Выбор FS для maildir storage":
ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов. Угу - плоские каталоги по нынешним временам это не совсем хорошо.
reiserfs работает, вполне быстро, но в неопределенные моменты времени рассыпается А какой дистрибутив? По слухам, у каждого дистрибутива есть одна и только одна jFS, которая в нём вылизана, а остальные лежат так, для понтов:) Для RH/Fedora это ext3, для SuSE это рейзер. Если же речь о FreeBSD - совсем не знаю, возможно, что и ни одну не довели.
-netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Valentin Nechayev :
ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов.
Угу - плоские каталоги по нынешним временам это не совсем хорошо.
ufs2 боюсь имелось в виду ext3, ибо ufs кажись до сих пор RO в ядре.
reiserfs работает, вполне быстро, но в неопределенные моменты времени рассыпается
А какой дистрибутив? По слухам, у каждого дистрибутива есть одна и только одна jFS, которая в нём вылизана, а остальные лежат так, для понтов:) Для RH/Fedora это ext3, для SuSE это рейзер. Если же речь о FreeBSD - совсем не знаю, возможно, что и ни одну не довели.
Живя на стоковых ядрах, экскременты показали следующее: 1) Эксперименты с reiserfs3 дали downtime в прошлом году в 18 часов одним куском. Рассыпается, подтверждено. Журнал очень ненадёжный. 2) У IBM JFS есть очень, очень плохой недостаток: если большая ротабельность файлов внутри каталога, размер самого каталога растёт до бесконечности; драйвер ФС не делает reclaim unused space. Переписывался со спецами из @austin.ibm.com, сказали что это так и должно быть. JFS девелопился для баз данных, а не для maildir'ов 3) xfs показал себя хорошо, за исключением одной ботвы: с него по NFS сливать, всё равно что с дискеты, так что тоже отбросили 4) Ext3 rocks! Но, понадобился год экспериментов с raid контроллерами, дисками и схемой разбивки дисков, пока не нашли приемлемое решение. 5) под freebsd UFS(2) - сакс и маздай, вообще data mining под freebsd - большая ошибка. Есть ряд багов, которые я показал девелоперам (вместе с тесткейсами), но они забили, так как меня не любят. Ну и фиг с ним, есть линукс, где оно не глючит и отлично. Баг номер один, бесконечный, ужасный - NFS, баг номер два - ядерная утечка локов. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Здравствуйте! On Fri, 16 Mar 2007, Vladimir Sharun wrote:
5) под freebsd UFS(2) - сакс и маздай, вообще data mining под freebsd - большая ошибка. Есть ряд багов, которые я показал девелоперам (вместе с тесткейсами), но они забили, так как меня не любят. Ну и фиг с ним, есть
Про "Есть ряд багов" - охотно верю (хотя за 10 лет эксплуатации разных
релизов FreeBSD - от 2.2.8 до 6.2 - ни разу не натыкался, но может я не
создавал usage patterns, в которых это вылазит).
Про "они забили, так как меня не любят" - _не верю_ (c). По всем моим
10+ PR я получил абсолютно адекватную реакцию, и они были либо успешно
закрыты, либо (как 109277) по крайней мере получили нормальное review
и могут служить источником полезной информации (проблема очерчена, но
она слишком велика, чтобы я в одиночку позволил себе ей заниматься -
мало свободного времени). За много лет общения в различных списках рассылки на
freebsd.org я только 1 (один) раз столкнулся с открытым хамством
со стороны некоего Chuck Swiger
On Fri, Mar 16, 2007 at 07:10:21PM +0200, Valentin Nechayev wrote:
Fri, Mar 16, 2007 at 18:43:09, gsa wrote about "[uanog] Выбор FS для maildir storage":
ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов. Угу - плоские каталоги по нынешним временам это не совсем хорошо.
reiserfs работает, вполне быстро, но в неопределенные моменты времени рассыпается А какой дистрибутив? По слухам, у каждого дистрибутива есть одна и только одна jFS, которая в нём вылизана, а остальные лежат так, для понтов:) Для RH/Fedora это ext3, для SuSE это рейзер.
Вот жаль только мои серваки под RH/FC не знают о том, что ext3 вылизана :( Спасибо хоть ext2utils починили, уже не надо бегать с debugfs наперевес
Если же речь о FreeBSD - совсем не знаю, возможно, что и ни одну не довели.
-netch-
п'ятниця 16 березень 2007 18:43, Sergey A. Gribchenko написав:
Привет!
Посоветуйте оптимальную FS, для хранения большого колличества почты, в maildir-ах
Объем хранилища от 200 гб
Самолично проведены тесты с ufs2, jfs, reiserfs.
Каждая из систем имеет как плюсы так и минусы.
Хотелось бы услышать в сторону чего еще стоит посмотреть.
Выводы которые сделаны сейчас:
ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов.
jfs сразу отпадала в реад онли на тестах при создании в 10 потоков нескольких сотен тысяс файлов.
reiserfs работает, вполне быстро, но
в неопределенные моменты времени рассыпается
с ошибками вида
ReiserFS: warning: green-16003: Invalid item type observed, run fsck ASAP process `named' is using obsolete setsockopt SO_BSDCOMPAT ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck? ReiserFS: warning: is_tree_node: node level 21864 does not match to the expected one 1 ReiserFS: sdc1: warning: vs-5150: search_by_key: invalid format found in block 59790138. Fsck?
Возможно это вина кривых рук, но делали все что могли. xfs. если страшно - ext3
-- Linux is system with a CLUE: Command Line User Environment =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 16, 2007 at 06:43:09PM +0200, Sergey A. Gribchenko wrote:
Привет!
Посоветуйте оптимальную FS, для хранения большого колличества почты, в maildir-ах
Объем хранилища от 200 гб
Самолично проведены тесты с ufs2, jfs, reiserfs. Хм - а потестите opensolaris/ZFS raidz & raidz2
Шоб не заморачиваться - лучше братькакой-то собранный - nexenta/belenix. Последний точно инсталлится надиск, но конфиг у Х конченный - там мусор вконце - его надо руками удалять, или не пытаться Х запускать. В принципе - почти всё собирается, ну иногда надо напильник приложить...
Хотелось бы услышать в сторону чего еще стоит посмотреть.
Выводы которые сделаны сейчас:
ufs2 очень надежна, ни одного сбоя за год, но медленная на большом колличестве файлов. Хм - а dirhash mem крутить не пробовали в большую сторону?
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
participants (8)
-
Alexander Trotsai -
Alexey Kolyada -
Dmitry Pryanishnikov -
Oleg V. Nauman -
Paul Arakelyan -
Sergey A. Gribchenko -
Valentin Nechayev -
Vladimir Sharun