Я в затруднении ... Стоит задача поднять ряд mirrors. Путей как бы только два : ftp и rsync. ftp вроде нормально, но какой-то ажиотаж тут был по поводу rsync... Оно конечно фанатно не перегонять файлы, а делать только incremental updates, но это вроде пофиг, если надо не старые файлы подрихтовывать, а добарлять новые с новыми именами, которые все равно надо тянуть с нуля ... Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ... rsync я ща гоняю на fedora-1, и есть подозрение, что он несколько падучий ... А с другой стороны некоторые достаточно крутые сайты отдаются и по ftp, и по rsync ( ну например netbsd.org или distro.ibilio.org ...) Стою себе, как ослик Буриданов .... :))) -- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi Alexander,
Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ...
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов? -- Michael You cannot un-ring the bell. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 05:19:09PM +0200, Michael Petuschak wrote:
Hi Alexander,
Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ...
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов? Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. -- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Alexander Yeremenko пишет:
On Thu, Jun 03, 2004 at 05:19:09PM +0200, Michael Petuschak wrote:
Hi Alexander,
Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ...
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :) =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Thu, Jun 03, 2004 at 20:03:53, alex wrote about "[uanog] Re: Философия mirroring":
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :)
Отсутствие rsync server на другой стороне. -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 08:03:53PM +0300, alex wrote:
Alexander Yeremenko пишет:
On Thu, Jun 03, 2004 at 05:19:09PM +0200, Michael Petuschak wrote:
Hi Alexander,
Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ...
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :) То, что у rsync нету ключа --continue.
-- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Alexander Yeremenko пишет:
On Thu, Jun 03, 2004 at 08:03:53PM +0300, alex wrote:
и что мешает в mirroring script вместо lftp подставить rsync ? :)
То, что у rsync нету ключа --continue.
man rsync /--partial =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 08:21:35PM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 20:03:53, alex wrote about "[uanog] Re: Философия mirroring":
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :)
Отсутствие rsync server на другой стороне. Нетч прикалывается :) Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ? -- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 10:26:54PM +0300, Alexander Moskalenko wrote:
Alexander Yeremenko пишет:
On Thu, Jun 03, 2004 at 08:03:53PM +0300, alex wrote:
и что мешает в mirroring script вместо lftp подставить rsync ? :)
То, что у rsync нету ключа --continue.
man rsync /--partial man rsync /--partial Это значит сохранять огрызки недокачанных файлов. А отнюдь не плясать от ранее закачанного file list. -- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Thu, Jun 03, 2004 at 23:16:31, ay wrote about "[uanog] Re: Философия mirroring":
и что мешает в mirroring script вместо lftp подставить rsync ? :) Отсутствие rsync server на другой стороне. Нетч прикалывается :) По контексту не было сказано, что rsync обязательно есть. Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ?
Список файлов надо закачивать им обоим, и в этом случае rsync лучше. -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 11:49:37PM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 23:16:31, ay wrote about "[uanog] Re: Философия mirroring":
и что мешает в mirroring script вместо lftp подставить rsync ? :) Отсутствие rsync server на другой стороне. Нетч прикалывается :) По контексту не было сказано, что rsync обязательно есть. Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ?
Список файлов надо закачивать им обоим, и в этом случае rsync лучше. Ну Нетчушка !!! Я видать торможу, но я умею вроде заставить lftp закачать список единожды, а потом в пределах одной сессии зеркала ПО НЕМ ЖЕ докачивать при обрывах и глюках до победного конца, а rsync вот не умею :( А еще rsync таки да валючий - из федоры на медленном канале. Сегодня пол дня на него пялился - как не играй с --timeout, что-то в нем некошерное и регулярные свалы по типа error unbuffered write. Тазик там такой, что ночью ему дают полосы, и ночью все летает. А днем на медленной - закачивает килобит и уходит в отруб. И абратна при перезапуске get filelist на мегабайты. lftp или хоть mirror мне кажутся более устойчивыми. К тому же lftp вроде делает последовательные get dirinfo по дереву, а rsync тащит все сразу. -- AY7-UANIC || AY15-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 11:16:31PM +0300, Alexander Yeremenko wrote:
On Thu, Jun 03, 2004 at 08:21:35PM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 20:03:53, alex wrote about "[uanog] Re: Философия mirroring":
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :)
Отсутствие rsync server на другой стороне. Нетч прикалывается :) Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ? Альтернатива - это поставить тазик там, где гигабайтов не считают, и настроить на нём мирроринг его "по чём захочется", типа по CTM с его "кусочными" апдейтами.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 11:49:37PM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 23:16:31, ay wrote about "[uanog] Re: Философия mirroring":
Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ?
Список файлов надо закачивать им обоим, и в этом случае rsync лучше.
Особенно учитывая вариант, когда rsync over ssh -C. -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jun 04, 2004 at 01:35:27AM +0300, Alexander Yeremenko wrote:
On Thu, Jun 03, 2004 at 11:49:37PM +0300, Valentin Nechayev wrote:
нем некошерное и регулярные свалы по типа error unbuffered write. Тазик там такой, что ночью ему дают полосы, и ночью все летает. А днем на медленной - закачивает килобит и уходит в отруб. И абратна при перезапуске По-моему, философия тама состоит в том, чтоб днём ничего не происходило :-|. kill -STOP ?
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jun 04, 2004 at 04:51:49AM +0300, Paul Arakelyan wrote:
On Thu, Jun 03, 2004 at 11:49:37PM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 23:16:31, ay wrote about "[uanog] Re: Философия mirroring":
Ясно дело, что если сайт не отдается по rsync, то ftp альтернатив нетуть. А что делать, если он отдается и так и сяк ?
Список файлов надо закачивать им обоим, и в этом случае rsync лучше.
Особенно учитывая вариант, когда rsync over ssh -C.
а что, бывают другие варианты? ;-) вообще положено ssh -C -cblowfish =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Thu, Jun 03, 2004 at 21:05:42, dk wrote about "[uanog] Re: [uanog] Re: [uanog] Re: Философия mirroring":
Список файлов надо закачивать им обоим, и в этом случае rsync лучше. Особенно учитывая вариант, когда rsync over ssh -C. а что, бывают другие варианты? ;-)
А зачем -C по локалке?
вообще положено ssh -C -cblowfish
Ну это лучше в ~/.ssh/config записать. А чем тебе 3des не понравился? -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Jun 03, 2004 at 08:23:02PM +0300, Alexander Yeremenko wrote:
On Thu, Jun 03, 2004 at 08:03:53PM +0300, alex wrote:
Alexander Yeremenko пишет:
On Thu, Jun 03, 2004 at 05:19:09PM +0200, Michael Petuschak wrote:
Hi Alexander,
Далее, вот lftp например можно поставить в позу mirror --continue, а rsync - как я доки понял - так не умеет, и всегда receiving file list на гигабайт, а потом апдейтит адын файл ...
А как lftp mirror --continue может узнать, что появился один новый файл, не гоняя списка всех файлов?
Да никак :) Но : Я запускаю mirroring script, который делает mirror, а если $? != 0 ( ну обрыв или иной там глюк ), гоняет до упора mirror --continue. и что мешает в mirroring script вместо lftp подставить rsync ? :) То, что у rsync нету ключа --continue. у rsync есть зато --partial. и -z в отличие от ftp протокола.
-- With best regards, Alexandr Kanevskiy. ISP Inter-Don. CTO AK2240-RIPE, AK2-6BONE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jun 04, 2004 at 08:33:16AM +0300, Valentin Nechayev wrote:
Список файлов надо закачивать им обоим, и в этом случае rsync лучше. Особенно учитывая вариант, когда rsync over ssh -C. а что, бывают другие варианты? ;-)
А зачем -C по локалке?
вообще положено ssh -C -cblowfish
Ну это лучше в ~/.ssh/config записать. А чем тебе 3des не понравился?
процессор экономится. // особенно заметно, когда rsync-ается где то так 100GB. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Jun 04, 2004 at 08:33:16AM +0300, Valentin Nechayev wrote:
Thu, Jun 03, 2004 at 21:05:42, dk wrote about "[uanog] Re: [uanog] Re: [uanog] Re: Философия mirroring":
Список файлов надо закачивать им обоим, и в этом случае rsync лучше. Особенно учитывая вариант, когда rsync over ssh -C. а что, бывают другие варианты? ;-)
А зачем -C по локалке? Или "зачем ssh" или шифрование жрёт больше процессора, чем шифрование хорошо сжимаемых данных+их предварительное сжатие чем-то быстрым. Compressionlevel 2 - для 486 получалось весьма неплохо логи тащить.
вообще положено ssh -C -cblowfish Ну это лучше в ~/.ssh/config записать. А чем тебе 3des не понравился? blowfish is faster.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
participants (8)
-
alex -
Alexander Moskalenko
-
Alexander Yeremenko -
Alexandr D. Kanevskiy -
Dmitry Kohmanyuk Дмитрий Кохманюк -
Michael Petuschak -
Paul Arakelyan -
Valentin Nechayev