Два вопроса по эстетичности администрирования :)
Всем привет! Возникло у меня несколько задач, с которыми раньше не сталкивался. Как технически решить - куча методов. Интересует самый эстетичный с точки зрения общества :)) Задача номер 1: Есть некий сайт. Не будем его называть. Его регулярно читают, поскольку там есть новостная лента. А есть два настырных робота. Их имена: mmcrm4.search.scd.yahoo.com spider.meta-ukraine.com Они настолько настырны, что за полмесяца слили по Гигу с лишним трафика. Вопрос: как эстетичней попросить их не делать этого? Варианты решения: связаться с админами, запретить доступ с них через .htaccess, или вообще файрволлом. Задача номер 2: В сквиде запретить качать файлы >10M video && >1M audio. Вот тут теряюсь. По имени отфильтровать регулярным выражением не проблема, но как определить размер? А совсем запрещать нельзя. Мелкие файлы могут понадобится. Или общее выражение задачи такое, как предпочтительней запредить на сквиде качать музыку и фильмы? Как это делают в Украине? -- Alex Radetsky AR2657-RIPE RAD-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Добрый день, Thursday, November 18, 2004, 11:25:41 AM, you wrote: AR> Они настолько настырны, что за полмесяца слили по Гигу с лишним трафика. AR> Вопрос: как эстетичней попросить их не делать этого? я, конечно, уже немного отстал от реалий в этом вопросе, но нууж-то robots.txt уже отменили? Любомир Ференц =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hi Alexey,
А есть два настырных робота. Их имена:
mmcrm4.search.scd.yahoo.com spider.meta-ukraine.com
Они настолько настырны, что за полмесяца слили по Гигу с лишним трафика.
Вопрос: как эстетичней попросить их не делать этого?
Использовать Robots Exclusion Standard: http://www.robotstxt.org/wc/norobots.html http://www.robotstxt.org/wc/exclusion.html (файлик /robots.txt) Для этого нужно знать названия роботов :) Робот Yahoo называется Slurp: http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html Про Meta напонятно... -- Michael Who me? I just wander from room to room. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Hello, Michael! Thu, Nov 18, 2004 at 10:40:56AM +0100, mp wrote:
Про Meta напонятно...
METASpider -- SY, Alexander Kulinich SputnikMedia.net, Senior System Administrator tel. +38 044 496-11-11 fax. +38 044 254-31-13 =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Преогромнейшее спасибо. То, что нужно. On Thu, Nov 18, 2004 at 10:40:56AM +0100, Michael Petuschak wrote: MP> Hi Alexey, MP> MP> > А есть два настырных робота. Их имена: MP> > MP> > mmcrm4.search.scd.yahoo.com MP> > spider.meta-ukraine.com MP> > MP> > Они настолько настырны, что за полмесяца слили по Гигу с лишним трафика. MP> > MP> > Вопрос: как эстетичней попросить их не делать этого? MP> MP> Использовать MP> Robots Exclusion Standard: MP> http://www.robotstxt.org/wc/norobots.html MP> http://www.robotstxt.org/wc/exclusion.html MP> MP> (файлик /robots.txt) MP> MP> Для этого нужно знать названия роботов :) MP> MP> Робот Yahoo называется Slurp: MP> MP> http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html MP> MP> Про Meta напонятно... MP> MP> -- MP> Michael MP> Who me? I just wander from room to room. MP> =================================================================== MP> uanog mailing list. MP> To Unsubscribe: send mail to majordomo@uanog.kiev.ua MP> with "unsubscribe uanog" in the body of the message MP> -- Alex Radetsky AR2657-RIPE RAD-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Nov 18, 2004 at 11:25:41AM +0200, Alexey Radetsky wrote:
Задача номер 2: В сквиде запретить качать файлы >10M video && >1M audio. Вот тут теряюсь. По имени отфильтровать регулярным выражением не проблема, но как определить размер? А совсем запрещать нельзя. Мелкие файлы могут понадобится. Или общее выражение задачи такое, как предпочтительней запредить на сквиде качать музыку и фильмы? Как это делают в Украине? для squid'a - смотреть в сторону reply_body_max_size я так смотрю, что в последнее время его довели до ума. в конфиге довольно исчерпывающее описание
-- Igor "CacoDem0n" Grabin, http://violent.death.kiev.ua/ =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
participants (5)
-
Alexander Kulinich -
Alexey Radetsky -
Igor Grabin -
Lyubomyr Ferents -
Michael Petuschak