On Fri, Jan 28, 2011 at 11:48:12PM +0200, Vladimir Litovka wrote:

привет,

два вопроса -

1) что нынче с прокси-серверами? понятно, squid. А какие есть ему реальные (с точки зрения производительности и featureset) альтернативы?

ну как бы и сказать нечего больше :)

2) можно-ли на рекомендуемом (в смысле - на том,  который кто рекомендует) прокси-сервере делать выборочное проксирование контента? Что я имею в виду - пришел запрос и если это не то, что интересно, то отправлять запрос дальше, но подспуфив оригинальный адрес (чтобы ответ от Web-сервера даже не попадал на прокси).

зачем ? интернет нынче дешевый

3) можно-ли собирать в кластер рекомендуемый прокси? ну типа - внешний диспетчер запросов, пачка сквидов которые работают с общим стораджем и общим индексом. На сайте сквида есть словесные описания викимедиа и фликра, но дизайнов нетути.

зачем? интернет дешевый, пока сквид будет бродить по кешам - проще закачать. Тем более если рассматривать: сайты динамические, не всегда кешируемые, скачиваются достаточно быстро, а складывать в кеш фильмы нет никакого смысл. З.Ы. прокси серверы нынче используются для расграничения прав доступа - позакрывать сайты, посмотреть куда лязят и сколько. Отловиту завирусованые машины. Я кеш перестал использовать 5 лет тому назад -- ------------------------------------------------------------------------------- Vasiliy P. Melnik VPM-RIPE, VPM-UANIC

On Fri, Jan 28, 2011 at 11:48:12PM +0200, Vladimir Litovka wrote:

привет,

два вопроса -

1) что нынче с прокси-серверами? понятно, squid. А какие есть ему реальные (с точки зрения производительности и featureset) альтернативы?

Нету. Ибо, по большому счету, незачем - на кэшировании как таковом ты выиграешь не более 10% траффика, и это вряд-ли окупит стоимость построения и поддержки мощной прокси.

2) можно-ли на рекомендуемом (в смысле - на том,  который кто рекомендует) прокси-сервере делать выборочное проксирование контента? Что я имею в виду - пришел запрос и если это не то, что интересно, то отправлять запрос дальше, но подспуфив оригинальный адрес (чтобы ответ от Web-сервера даже не попадал на прокси).

Так, чтобы ответ вообще не шел через proxy - нельзя в любом случае. Так, чтобы ответ не кешировался или чтобы запрос приходил на сервер "с оригинального ip-адреса" - первое делается вообще элементарно, второе в зависимости от задачи.

3) можно-ли собирать в кластер рекомендуемый прокси? ну типа - внешний диспетчер запросов, пачка сквидов которые работают с общим стораджем и общим индексом. На сайте сквида есть словесные описания викимедиа и фликра, но дизайнов нетути.

Просто поставить в параллель N+1 squid'ов, настроить между ними icp-peering и обеспечить нормальный failover "любым методом" (их более чем один, например, freebsd'шники предпочитают carp, linux'оиды - heartbeat или keepalived, а некоторые Стесины так и вообще на обычной quagga'е это еще в девяностых годах делали) ? PS: У викимедии/flickr'а решение скорее другого класса - у них не обычный proxy, стоящий "рядом с клиентом" и управляемый клиентским ISP, а, так называемый reverse-proxy, стоящий рядом с их же server farm. Для такой задачи нужно смотреть уже не столько на squid, сколько на nginx и varnish. Или на haproxy, он, хоть и не кэширующий, но в некоторых случаях дает nginx'у прикурить. -- In theory, there is no difference between theory and practice. But, in practice, there is.

2011/1/30 Alexandre Snarskii :

Нету. Ибо, по большому счету, незачем - на кэшировании как таковом ты выиграешь не более 10% траффика, и это вряд-ли окупит стоимость построения и поддержки мощной прокси.

если сконцентрироваться на кешировании определенного контента - например, на software updates популярного софта (Windows, Adobe, Mozilla, RHEL, etc) - то особых затрат на построение прокси-системы не будет. Фишка не в постоянной экономии канала, а в снижении "ударной нагрузки" на канал в момент выхода апдейта - например, если выходит какой-нибудь сервис-пак размером 100Mb, то за ним будет ходить достаточно людей в относительно короткий промежуток времени. Поэтому время хранения апдейта можно поставить, например, неделю, пока на него будет относительно высокий спрос, а потом херить (пускай остатки абонентов тянут напрямую). Таким образом, большая дисковая емкость не нужна, особых затрат не наблюдается, пиковая нагрузка на внешние каналы снижается. Хороший вопрос - начиная с какого количества абонентов, пользующихся легальным софтом, эффект будет заметен :-)

Так, чтобы ответ не кешировался или чтобы запрос приходил на сервер "с оригинального ip-адреса" - первое делается вообще элементарно, второе в зависимости от задачи.

то есть ответ неочевиден? задача - если прокси видит, что запрашиваемый контент его не интересует, может-ли он отправить запрос на сервер от адреса абонента - чтобы ответ возвращался прямо к абоненту, минуя прокси? С моей точки зрения, задача тривиальная - нужны лишь права UID0 для выполнения этой процедуры :)

Просто поставить в параллель N+1 squid'ов, настроить между ними icp-peering и обеспечить нормальный failover "любым методом"

спасибо

PS: У викимедии/flickr'а решение скорее другого класса - у них не обычный proxy, стоящий "рядом с клиентом" и управляемый клиентским ISP, а, так называемый reverse-proxy, стоящий рядом с их же server farm.

мне было интересно, работают они в каком-то кластере и если да - то каким образом. Впрочем, вопрос снимается, спасибо :) -- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

Hello Dmitry Kiselev! Mon, Jan 31, 2011 at 05:57:08PM +0200, dmitry wrote about "Re: [uanog] questions re proxy servers":

Построить наконец кластер akamai в пределах UA-IX?

Разрешить Akamai включиться в UAIX ? ;) -- //ShaD0w

On Mon, Jan 31, 2011 at 03:44:24PM +0200, Vladimir Litovka wrote:

2011/1/30 Alexandre Snarskii :

...

Нету. Ибо, по большому счету, незачем - на кэшировании как таковом ты выиграешь не более 10% траффика, и это вряд-ли окупит стоимость построения и поддержки мощной прокси.

если сконцентрироваться на кешировании определенного контента - например, на software updates популярного софта (Windows, Adobe, Mozilla, RHEL, etc) - то особых затрат на построение прокси-системы не будет. Фишка не в постоянной экономии канала, а в снижении "ударной нагрузки" на канал в момент выхода апдейта - например, если выходит какой-нибудь сервис-пак размером 100Mb, то за ним будет ходить достаточно людей в относительно короткий промежуток времени. Поэтому время хранения апдейта можно поставить, например, неделю, пока на него будет относительно высокий спрос, а потом херить (пускай остатки абонентов тянут напрямую). Таким образом, большая дисковая емкость не нужна, особых затрат не наблюдается, пиковая нагрузка на внешние каналы снижается. Хороший вопрос - начиная с какого количества абонентов, пользующихся легальным софтом, эффект будет заметен :-)

Это уже называется Content-Delivery Network, и этим, опять же, занимаются обычно не ISP, а специализированные конторы. Пример: akamai. Или limelight.

...

Так, чтобы ответ не кешировался или чтобы запрос приходил на сервер "с оригинального ip-адреса" - первое делается вообще элементарно, второе в зависимости от задачи.

то есть ответ неочевиден? задача - если прокси видит, что запрашиваемый контент его не интересует, может-ли он отправить запрос на сервер от адреса абонента - чтобы ответ возвращался прямо к абоненту, минуя прокси? С моей точки зрения, задача тривиальная - нужны лишь права UID0 для выполнения этой процедуры :)

Дядь Вов, если ты на этапе начального SYN'а можешь предсказать, какие данные будут переданы через несколько пакетов (а uri и Host: это четвертый пакет в сторону destination'а в лучшем случае, а предсказать "интересность" контента без знания хотя-бы этих данных очень сложно) - это попахивает шаманством и кибертелепатией... :) -- In theory, there is no difference between theory and practice. But, in practice, there is.

Может все банально проще? Хотелось бы узнать, может все-таки есть у кого-нибудь кеширующий сквид да статистика с него ? кстати, сквид без дискового кеша позволяет экномить до 1% трафика On Mon, Jan 31, 2011 at 10:42:42PM +0200, Vladimir Litovka wrote:

2011/1/31 Alexandre Snarskii :

...

Это уже называется Content-Delivery Network, и этим, опять же, занимаются обычно не ISP, а специализированные конторы. Пример: akamai. Или limelight.

Ok, но если это недорого внедрить у себя на сети, то вай бы и нот? :)

...

Дядь Вов, если ты на этапе начального SYN'а можешь предсказать, какие данные будут переданы через несколько пакетов (а uri и Host: это четвертый пакет в сторону destination'а в лучшем случае, а предсказать "интересность" контента без знания хотя-бы этих данных очень сложно) - это попахивает шаманством и кибертелепатией... :)

Ну-ну, ДядьСаша, зачем же так? Получили запрос, разобрали, посмотрели, сказали - ненужен и _заново_ сформировали _такой же_ запрос, но только source IP/port подставили чужой - того, кто сделал оригинальный запрос :)

-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/

"Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

-- ------------------------------------------------------------------------------- Vasiliy P. Melnik VPM-RIPE, VPM-UANIC

31 янв. 2011, в 22:42, Vladimir Litovka написал(а):

2011/1/31 Alexandre Snarskii :

...

Это уже называется Content-Delivery Network, и этим, опять же, занимаются обычно не ISP, а специализированные конторы. Пример: akamai. Или limelight.

Ok, но если это недорого внедрить у себя на сети, то вай бы и нот? :)

...

Дядь Вов, если ты на этапе начального SYN'а можешь предсказать, какие данные будут переданы через несколько пакетов (а uri и Host: это четвертый пакет в сторону destination'а в лучшем случае, а предсказать "интересность" контента без знания хотя-бы этих данных очень сложно) - это попахивает шаманством и кибертелепатией... :)

Ну-ну, ДядьСаша, зачем же так? Получили запрос, разобрали, посмотрели, сказали - ненужен и _заново_ сформировали _такой же_ запрос, но только source IP/port подставили чужой - того, кто сделал оригинальный запрос :)

Да-да, и javascript нужный подклеили. ;) http://habrahabr.ru/blogs/facebook/112426/ --- Regards, Vadim Garbooze NIC: VEG5, VEG1-RIPE

ой, извините, погорячился :) 2011/2/1 Dmitry Kiselev :

Добрый день!

On Mon, Jan 31, 2011 at 10:42:42PM +0200, Vladimir Litovka wrote:

...

...

Дядь Вов, если ты на этапе начального SYN'а можешь предсказать, какие данные будут переданы через несколько пакетов (а uri и Host: это четвертый пакет в сторону destination'а в лучшем случае, а предсказать "интересность" контента без знания хотя-бы этих данных очень сложно) - это попахивает шаманством и кибертелепатией... :)

Ну-ну, ДядьСаша, зачем же так? Получили запрос, разобрали, посмотрели, сказали - ненужен и _заново_ сформировали _такой же_ запрос, но только source IP/port подставили чужой - того, кто сделал оригинальный запрос

...и слезно попросили remote server отвечать с нужного tcp port и с правильным sequence number, точь-в-точь с такими как наш клиент от нас получал во время установки сессии. Про ssl тоже очень верно упоминали...

Прийдется таки тебе проксировать дальше.

-- Dmitry Kiselev

-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

Тогда некоторые деятели не смогут учить весь RIPE meeting как "правильно" строить IXы ;) Maxim Tuliuk On 31 Jan 2011, at 16:12, Michail Litvak wrote:

Hello Dmitry Kiselev!

Mon, Jan 31, 2011 at 05:57:08PM +0200, dmitry wrote about "Re: [uanog] questions re proxy servers":

...

Построить наконец кластер akamai в пределах UA-IX?

Разрешить Akamai включиться в UAIX ? ;)

-- //ShaD0w

Добрый день! On Tue, Feb 01, 2011 at 04:59:23PM +0100, Maxim Tuliuk wrote:

Тогда некоторые деятели не смогут учить весь RIPE meeting как "правильно" строить IXы ;)

А что такого "неправильного" в строительстве IXа? Или речь таки о политике? Так это совсем другая история, не сильно касающаяся тех самых некоторых деятелей и стоительства. У NCC в данном вопросе рыльце в пушку и они это прекрасно понимают, потому так быстро после GM и отработали. Прикол только в том, что policy так и не изменено. И выходит из этого, что для того кто громко крикнет NCC может и исключение сделать. Некрасиво, вобщем.

Maxim Tuliuk

On 31 Jan 2011, at 16:12, Michail Litvak wrote:

...

Hello Dmitry Kiselev!

Mon, Jan 31, 2011 at 05:57:08PM +0200, dmitry wrote about "Re: [uanog] questions re proxy servers":

...

Построить наконец кластер akamai в пределах UA-IX?

Разрешить Akamai включиться в UAIX ? ;)

-- //ShaD0w

-- Dmitry Kiselev

http://ripe61.ripe.net/presentations/340-eix-ripe61-polishchuk-20101118.pdf жалко что там нет видео - практически все, кто слушал доклад утверждают, что цель докладчика была 1) обучить всех правильно строить IX 2) объяснить, почему они неправильно живут 3) что нужно сделать, чтобы жить "правильно" Maxim Tuliuk On 2 Feb 2011, at 12:39, Andrew Stesin wrote:

2011/2/1 Maxim Tuliuk :

...

Тогда некоторые деятели не смогут учить весь RIPE meeting как "правильно" строить IXы ;)

А что, были прецеденты? :) можно подробнее с этого места? :)

...

...

...

Построить наконец кластер akamai в пределах UA-IX? Разрешить Akamai включиться в UAIX ? ;)

Привет! Спросил своего знакомого (прикладная математика/программирование/ теория алгоритмов и статистика), вот что он ответил:

Ничего не насоветуеш?

Попробую. На сколько я знаю, в биоинформатике в большом почёте Python -- там чуть ли не в стандартной поставке либы для анализа ДНК :) Соответственно, нужна не алгоритмика, а просто изучение языка. Академия "ШАГ", которая по ссылке, большого доверия не вызывает. Тем более там в программе только C, C# и SQL. Нужно искать что-то типа курса MIT 6.189: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-189... Но, на сколько я знаю, в Киеве такого никто не предлагает, даже в ВУЗах. Зато с учебниками по этой теме всё хорошо: http://www.amazon.com/gp/product/059615450X http://www.amazon.com/gp/product/1584889292 2011/2/1 Alexander V Soroka :

Привет !

Знакомый есть - по профессии биолог, занимается всякими исследованиями но "совсем не программист" :)

Хочет освоить биоинформатику и статистику - это и касательно имеющейся работы, но это проблематично в том смысле, что по статистике у нас все самоучки  :)  а  биоинформатике если и учат, то это в политехе, но там они больше компьютерщики, чем биологи...

Нашел он вот такие курсы: http://www.itstep.org/modules.php?name=Pages&go=page&pid=188

Собственно вопрос к Уважаемым состоит в том, что человеку посоветовать кроме "бери книги и читай" ? Курсы какие-то нормальные есть ?

понятно  что  из него "супер-программиста" делать не надо но вот как из биолога сделать программиста ? :) ...

-- Best regards, Alexander V Soroka           http://www.unet.net.ua AS106-RIPE                   http://www.spacegate.kiev.ua mailto:alex@euro.net.ua

-- Regards, Volodymyr.

у меня не возникло такого ощущения. Наверное, всех сбил с толку менторский тон Полиса, но он у него всегда - в большей или в меньшей степени ;-) 2011/2/2 Maxim Tuliuk :

http://ripe61.ripe.net/presentations/340-eix-ripe61-polishchuk-20101118.pdf

жалко что там нет видео - практически все, кто слушал доклад утверждают, что цель докладчика была 1) обучить всех правильно строить IX 2) объяснить, почему они неправильно живут 3) что нужно сделать, чтобы жить "правильно"

Maxim Tuliuk

On 2 Feb 2011, at 12:39, Andrew Stesin wrote:

...

2011/2/1 Maxim Tuliuk :

...

Тогда некоторые деятели не смогут учить весь RIPE meeting как "правильно" строить IXы ;)

А что, были прецеденты? :) можно подробнее с этого места? :)

...

...

...

Построить наконец кластер akamai в пределах UA-IX? Разрешить Akamai включиться в UAIX ? ;)

-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

Боюсь, что диагноз уже поставили :( "Вы всю жизнь жили в тоталитарном государстве, и IX тоже напоминает СССР" - комментарий одного из видевших доклад... BTW, "менторский тон" тут (в Европе) даже учителя к ученикам не используют, т.к. равенство должно быть между всеми и во всем ;) Maxim Tuliuk On 3 Feb 2011, at 09:11, Vladimir Litovka wrote:

Гы, вопросы про запрет приватного пиринга возникают не только у участников UA-IX? :-) Типа - "Зачем? И как вы это вообще контролируете?" :-))

2011/2/2 Mike Petrusha :

...

Hi Maxim,

...

http://ripe61.ripe.net/presentations/340-eix-ripe61-polishchuk-20101118.pdf

жалко что там нет видео - практически все, кто слушал доклад утверждают, что цель докладчика была 1) обучить всех правильно строить IX 2) объяснить, почему они неправильно живут 3) что нужно сделать, чтобы жить "правильно"

Видео есть! http://ripe61.ripe.net/archives/video/83/

(не слушал)

-- Mike Улыбайтесь, шеф любит идиотов.

-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/

"Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

2011/2/13 Vladimir Litovka :

2011/1/30 Alexandre Snarskii

...

...

2) можно-ли на рекомендуемом (в смысле - на том,  который кто рекомендует) прокси-сервере делать выборочное проксирование контента? Что я имею в виду - пришел запрос и если это не то, что интересно, то отправлять запрос дальше, но подспуфив оригинальный адрес (чтобы ответ от Web-сервера даже не попадал на прокси).

Так, чтобы ответ вообще не шел через proxy - нельзя в любом случае. Так, чтобы ответ не кешировался или чтобы запрос приходил на сервер "с оригинального ip-адреса" - первое делается вообще элементарно, второе в зависимости от задачи.

нашел решение - описано в презентации по ссылке с http://doka-ua.blogspot.com/2011/02/blog-post.html

Забавно, это самое Oversi ктото пробовал? Оно нормально работает для всех заявленных типов CDN-ов?

-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/

"Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"

-- Regards, Volodymyr.