Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда). CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd Я так понимаю - надо в linux'овую сторону смотреть? -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Paul Arakelyan wrote:
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
Или в сторону ipfilter/ipnat :) =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 02:59:40PM +0200, Paul Arakelyan wrote:
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
Брррр ... а ipfilters ?!
-- Best regards, Paul Arakelyan.
-- WBR, Michael Если у тебя есть фонтан, заткни его; дай отдохнуть и фонтану. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
В сообщении от Вторник 01 Март 2005 14:59 Paul Arakelyan написал(a):
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
да, у linux nat, filtering & qos kernel-mode а какой pps(packets per second)? -- Linux is a system with a CLUE: Command Line User Environment =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 02:59:40PM +0200, Paul Arakelyan wrote:
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть? Ну под FreeBSD еще доступен ipnat или, если докатить до RELENG_5_3 - nat из состава pf. Оба - kernel level.
-- Andrew Degtiariov DA-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Tue, Mar 01, 2005 at 14:59:40, unisol wrote about "[uanog] Kernel-based NAT":
А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf. ng_nat ближе всего к текущему natd+libalias по поведению. -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 05:24:46PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 14:59 Paul Arakelyan написал(a):
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
да, у linux nat, filtering & qos kernel-mode а какой pps(packets per second)? Где-то порядка 1000pps, по идее. Тазик немощный немного ;)... А какие-то ограничения на количество клиентов/срединений - есть? и как крутить?
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 05:31:24PM +0200, Valentin Nechayev wrote:
Tue, Mar 01, 2005 at 14:59:40, unisol wrote about "[uanog] Kernel-based NAT":
А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению.
Хм, в достаточно свежем STABLE (пятничный, уже 5.4-PRE), ng_nat нету. Или Глеб уже сделал MFC на днях?
-netch-
-- NO37-RIPE
Tue, Mar 01, 2005 at 17:38:19, oleg wrote about "[uanog] Re: Kernel-based NAT":
А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению.
Хм, в достаточно свежем STABLE (пятничный, уже 5.4-PRE), ng_nat нету. Или Глеб уже сделал MFC на днях?
Не слышал. Он давал версию для 5-stable отдельно. -netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
В сообщении от Вторник 01 Март 2005 17:35 Paul Arakelyan написал(a):
On Tue, Mar 01, 2005 at 05:24:46PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 14:59 Paul Arakelyan написал(a):
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
да, у linux nat, filtering & qos kernel-mode а какой pps(packets per second)? Где-то порядка 1000pps, по идее. Тазик немощный немного ;)... стандартное linux ядро, даже никаких патчей не надо будет чтобы уменьшит interrupt - поставить сетевушку с поддержкой napi, например intel
меня только смущает почему sys такой большой при таком маленьком количестве пакетов firewall с большим количеством правил? или действительно калькулятор?
А какие-то ограничения на количество клиентов/срединений - есть? и как крутить? в данном случае это некритично :)
-- Linux is a system with a CLUE: Command Line User Environment =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 05:31:24PM +0200, Valentin Nechayev wrote:
Tue, Mar 01, 2005 at 14:59:40, unisol wrote about "[uanog] Kernel-based NAT":
А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению. А насколько оно стабильно живёт при "ударных" нагрузках, явно забивающих тазик? И в какое-нить хау-ту поглядеть бы неплохо...
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 05:45:56PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 17:35 Paul Arakelyan написал(a):
On Tue, Mar 01, 2005 at 05:24:46PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 14:59 Paul Arakelyan написал(a):
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
да, у linux nat, filtering & qos kernel-mode а какой pps(packets per second)? Где-то порядка 1000pps, по идее. Тазик немощный немного ;)... стандартное linux ядро, даже никаких патчей не надо будет Дык если б там чего-то нормальное было - то я б так с Free не изголялся :) - пол ядра собрано с одними опциями оптимизации, пол - с другими... чтобы уменьшит interrupt - поставить сетевушку с поддержкой napi, например intel
меня только смущает почему sys такой большой при таком маленьком количестве пакетов firewall с большим количеством правил? Пакеты там где-то мимо 5 правил максимум пролетают/застряют. или действительно калькулятор? Хуже ;).
А какие-то ограничения на количество клиентов/срединений - есть? и как крутить? в данном случае это некритично :) Ну - весьма критично - если перед калькулятором поставить шейпер с обрезанием количества соединений - то оно веселее калькулирует, pps процентов на 10-20 больше. То есть - ещё присутствует эффект "снежного кома" - всё взлетает и далее тормозюкает.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 01, 2005 at 02:59:40PM +0200, Paul Arakelyan wrote:
А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, OpenBSD
-- Igor "CacoDem0n" Grabin, http://violent.death.kiev.ua/ =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
В сообщении от Вторник 01 Март 2005 18:02 Paul Arakelyan написал(a):
On Tue, Mar 01, 2005 at 05:45:56PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 17:35 Paul Arakelyan написал(a):
On Tue, Mar 01, 2005 at 05:24:46PM +0200, Alexey Kolyada wrote:
В сообщении от Вторник 01 Март 2005 14:59 Paul Arakelyan написал(a):
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
да, у linux nat, filtering & qos kernel-mode а какой pps(packets per second)? Где-то порядка 1000pps, по идее. Тазик немощный немного ;)... стандартное linux ядро, даже никаких патчей не надо будет Дык если б там чего-то нормальное было - то я б так с Free не изголялся :) - пол ядра собрано с одними опциями оптимизации, пол - с другими... чтобы уменьшит interrupt - поставить сетевушку с поддержкой napi, например intel
меня только смущает почему sys такой большой при таком маленьком количестве пакетов firewall с большим количеством правил? Пакеты там где-то мимо 5 правил максимум пролетают/застряют. а всего сколько?
или действительно калькулятор? Хуже ;). ну у меня например на Cel466 ~2k правил, nat, qos(+куча сервисов типа почта/мелкий сайт/...) procs memory swap io system cpu r b swpd free buff cache si so bi bo in cs us sy wa id 1 0 28 6148 42028 77500 0 0 0 40 1782 2915 6 23 5 66 0 0 28 6060 42028 77504 0 0 0 0 1718 2898 10 25 0 65 2 0 28 6060 42028 77504 0 0 0 0 1787 3025 3 22 0 75
А какие-то ограничения на количество клиентов/срединений - есть? и как крутить? в данном случае это некритично :) Ну - весьма критично - если перед калькулятором поставить шейпер с обрезанием количества соединений - то оно веселее калькулирует, pps процентов на 10-20 больше. То есть - ещё присутствует эффект "снежного кома" - всё взлетает и далее тормозюкает.
значит таки connection tracking его убивает я бы попробовал linux :) заодно интересен результат :) -- Linux is a system with a CLUE: Command Line User Environment =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
FreeBSD + ipfilter
Там только надо LARGE_NAT в исходниках задефайнить - тогда на таблицу
будет больше памяти выделяться.
А так - работает замечательно вплоть до 100Мбит/с (выше не пробовал)
И одного gre изнутри выпускает - если очень надо (:
On Tue, 1 Mar 2005 14:59:40 +0200, Paul Arakelyan
Hi! А в чём из OS's есть не-userland NAT, уметь gre/VPN не нужно, но производительность очень критична - вот так оно на FreeBSD-5.2.1-R выглядит (тазик не отличается скоростью, ядро вылизано на предмет опций оптимизации - дальше некуда).
CPU states: 10.0% user, 0.0% nice, 60.0% system, 30.0% interrupt, 0.0% idle Mem: 7220K Active, 5248K Inact, 9012K Wired, 7264K Buf, 37M Free Swap: 96M Total, 96M Free
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND 93491 root 132 0 3436K 2980K RUN 14:17 65.67% 65.67% natd
Я так понимаю - надо в linux'овую сторону смотреть?
В зависимости от сетевухи можно попробовать еще и POLLING попробовать. Он на интерфейсе интеррапты снижает. -- [BES100-RIPE] =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
Tue, Mar 01, 2005 at 17:46:29, unisol wrote about "[uanog] Re: Kernel-based NAT":
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению. А насколько оно стабильно живёт при "ударных" нагрузках, явно забивающих тазик? И в какое-нить хау-ту поглядеть бы неплохо... Все вопросы к автору...
-netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Wed, Mar 02, 2005 at 01:35:40PM +0200, Valentin Nechayev wrote:
Tue, Mar 01, 2005 at 17:46:29, unisol wrote about "[uanog] Re: Kernel-based NAT":
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению. А насколько оно стабильно живёт при "ударных" нагрузках, явно забивающих тазик? И в какое-нить хау-ту поглядеть бы неплохо... Все вопросы к автору... Нагуглил вот: http://lists.freebsd.org/pipermail/freebsd-net/2005-February/006417.html I'm glad to announce new and VERY immature node - ng_nat. Actually it is just a proof of concept, not ready for any practical usage.
http://people.freebsd.org/~glebius/totest/ng_nat/ Ну - первые реактивные самолёты - тоже были скорее proof of concept. Вот - собираю ядро покамест на калькуляторе :). Проверим принцип "too late too few" на практике. -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
http://groups-beta.google.com/group/sol.lists.freebsd.current/msg/4e39b29642... у товарища 20+ IDE/SATA и ещё несколько сказёвых девайсов и всё это в одном тазике... от 9.1GB начиная и 200+GB заканчивая. Интересно - сколько ж оно жрёт и как гудит :). А вот ещё про сны: Приснилось в конце февраля, что шара с GPRS у нового оператора life закончится (я когда карточку покупал - не знал, что шара есть, случайно обнаружил ;), весьма неплохо работало - три дня посидел с незанятым городским телефоном, губу раскатал...), а ещё что у меня денег наснимают - оказалось что таки была шара, и в тот же день со счёта "испарились" 3.80UAH, где-то среди дня. Позвонил в СЦ (в час ночи ;) ) - выяснили, что действительно чего-то глюкануло. Пообещали отдать деньгу :), правда пока не отдали :). Интересно - будут ли ещё такие глюки, снилось что чуть поболе денег пропало(что-то в окрестностях 50UAH). -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Wed, Mar 02, 2005 at 06:34:42PM +0200, Paul Arakelyan wrote: PA>http://groups-beta.google.com/group/sol.lists.freebsd.current/msg/4e39b29642... PA>у товарища 20+ IDE/SATA и ещё несколько сказёвых девайсов и PA>всё это в одном тазике... от 9.1GB начиная и 200+GB заканчивая. PA>Интересно - сколько ж оно жрёт и как гудит :). в дозе 8 scsi/ide/sata винтов могу как-то экскурсию устроить гудит ужасно - только она на АТС стоит - к IX поближе -- Best regard, Aleksander Trotsai aka MAGE-RIPE aka MAGE-UANIC My PGP key at ftp://blackhole.adamant.ua/pgp/trotsai.key[.asc] Если с первого раза не получилось, парашютный спорт не для вас =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Wed, Mar 02, 2005 at 01:35:40PM +0200, Valentin Nechayev wrote:
Tue, Mar 01, 2005 at 17:46:29, unisol wrote about "[uanog] Re: Kernel-based NAT":
Догнать до 5.3-release (или stable) и применить на выбор ng_nat, Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
ipnat из pf или ipnat из ipf.
ng_nat ближе всего к текущему natd+libalias по поведению. А насколько оно стабильно живёт при "ударных" нагрузках, явно забивающих тазик? И в какое-нить хау-ту поглядеть бы неплохо... Все вопросы к автору...
-netch- =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. -- Andrew Degtiariov DA-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Mar 03, 2005 at 09:12:46AM +0200, Andrew Degtiariov wrote:
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, Вот - почитал - попробую...
большая вероятность наличия багов. Задача простая - проброс исходящих tcp connections, icmp requests, udp - никаких ftp/irc и прочего подобного. А вот FreeBSD-6.0 - от этто баг :). Не - вроде работает, но выключение ACPI ничего хорошего не дало, а всякие дефолтные witness/etc - тормозят куркулятор ;). В idle - 14% interrupt. Никакого трафика, окромя моего ssh. Это всё 1003 0: clk <- вот этот clk виноват :). Пробую порихтовать до удобоваримого состояния - интересно ж.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Mar 03, 2005 at 09:12:46AM +0200, Andrew Degtiariov wrote:
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
options IPFILTER options IPFILTER_LOG options PFIL_HOOKS options IPFIREWALL options IPDIVERT #divert sockets options IPFIREWALL_VERBOSE #enable logging to syslogd(8) #options IPFIREWALL_FORWARD #enable transparent proxy support #options IPFIREWALL_VERBOSE_LIMIT=100 #limit verbosity options IPFIREWALL_DEFAULT_TO_ACCEPT #allow everything by default options DUMMYNET options NMBCLUSTERS=16384 options NO_F00F_HACK options ZERO_COPY_SOCKETS Всё классно - живёт до первого потерянного в интерфейсе пакета, короче - крэшится так, что я ещё не видел такого - два fault вылезают сразу ;). (5.2.1-Release) -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, 4 Mar 2005, Paul Arakelyan wrote:
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
а можно вопрос? чем отцам так не угодил собственно PF? тот, который man pf.conf, man pf? -- With best regards, Gregory Edigarov =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 04, 2005 at 08:16:25AM +0200, Gregory Edigarov wrote:
On Fri, 4 Mar 2005, Paul Arakelyan wrote:
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
а можно вопрос? чем отцам так не угодил собственно PF? Тем, что руки не дошли. А крэшилось карсиво - я в messages два десятка трапов насчитал. Вывод такой - если драйвер карточки поведёт себя "необычно" - кранты тазику с ipnat. Но вцелом - разница ощутимая была по сравнению с natd, но недолго ;).
тот, который man pf.conf, man pf? "и тебя вылечат, и меня вылечат"(c) "иван васильевич меняет профессию" - ng_nat пока собрать целиком(со всем, что нужно) не удалось. Приступим к pf.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 04, 2005 at 01:32:21AM +0200, Paul Arakelyan wrote:
On Thu, Mar 03, 2005 at 09:12:46AM +0200, Andrew Degtiariov wrote:
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
Почему попрощаться? ipf вроде вполне справно его справляет в паре с ipnat.
-- Best regards, Paul Arakelyan.
-- WBR, Michael Месть сладка и бескалорийна. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 04, 2005 at 05:19:51PM +0200, Michael Plostak wrote:
On Fri, Mar 04, 2005 at 01:32:21AM +0200, Paul Arakelyan wrote:
On Thu, Mar 03, 2005 at 09:12:46AM +0200, Andrew Degtiariov wrote:
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
Почему попрощаться? ipf вроде вполне справно его справляет в паре с ipnat. Ситуация в tcpdump в╕глядила ...странно: пакеты из ipnated network вроде бы уходят, с подменёнными адресами - но с той стороны глухо - нету их. При этом если с самой машины с ipnat сказать telnet -s 10.0.0.1 x.x.x.x - то всё чудно работает. Правила в ipfw были flushed - не помогло. Выключил fastforwarding - полетело. Тока кердык ему пришёл после первого же затыка в сетевой карте (natd без вопросов живёт с теми затыками), я два десятка экранов с trap подряд - даже не думал, что может быть такое :|.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 04, 2005 at 08:16:25AM +0200, Gregory Edigarov wrote:
On Fri, 4 Mar 2005, Paul Arakelyan wrote: а можно вопрос? чем отцам так не угодил собственно PF? тот, который man pf.conf, man pf? Прикрутил - работает быстро, не крэшится - но "затыкается" как только количество tcp-сессий переваливает за некоторый предел. То есть - вообще ничего не проходит пока нагрузку не снимешь. Тогда "очухивается", но тоже не сразу. В целом - на 50%+ быстрее и не сжирая весь процессор: CPU states: 0.4% user, 0.0% nice, 1.5% system, 60.9% interrupt, 37.2% idle Mem: 5256K Active, 6340K Inact, 14M Wired, 11M Buf, 48M Free Swap: 96M Total, 96M Free Но это ещё и ядро без оптимизаций (5.4-PRE) - они дали 5.2.1-RELEASE где-то +10-20%... Гы - "гоночна машина" - разогналось и по тормозам, потормозило, рвануло дальше. Что-то надо настраивать :-|.
/me веселится - как-то странно прийти в UMC, собравшись заплатить 500UAH, получить телефон за 1UAH (вместо 99+399) и уйти с 499. Неужто такое сходство с юридическим лицом и 6 телефонами... Правда, в call-center сказали, что можно и телефон, и бонусы на минуты, и тарифный план на 30UAH всё сразу в одно доп. соглашение - оказалось что низзя. Впрочем, "насильное" изменение тарифного плана с акционного на "umc базовый" - было неприкольно. Вот часа 2 убил и так и не выяснил достоверно - можно ли siemens a65 использовать в качестве GPRS-модема (CSD он похоже точно не умеет). -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Sun, 6 Mar 2005, Paul Arakelyan wrote:
On Fri, Mar 04, 2005 at 08:16:25AM +0200, Gregory Edigarov wrote:
On Fri, 4 Mar 2005, Paul Arakelyan wrote: а можно вопрос? чем отцам так не угодил собственно PF? тот, который man pf.conf, man pf? Прикрутил - работает быстро, не крэшится - но "затыкается" как только количество tcp-сессий переваливает за некоторый предел. То есть - вообще ничего не проходит пока нагрузку не снимешь. Тогда "очухивается", но тоже не сразу. В целом - на 50%+ быстрее и не сжирая весь процессор: CPU states: 0.4% user, 0.0% nice, 1.5% system, 60.9% interrupt, 37.2% idle Mem: 5256K Active, 6340K Inact, 14M Wired, 11M Buf, 48M Free Swap: 96M Total, 96M Free Но это ещё и ядро без оптимизаций (5.4-PRE) - они дали 5.2.1-RELEASE где-то +10-20%... Гы - "гоночна машина" - разогналось и по тормозам, потормозило, рвануло дальше. Что-то надо настраивать :-|.
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, это из того, что можно подстроить в самом pf. ну и на sysctls посмотреть/подстроить. -- With best regards, Gregory Edigarov =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Sun, Mar 06, 2005 at 09:54:17AM +0200, Gregory Edigarov wrote:
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, Ну - с тайм-аутами - ещё как-то понятно - а с "оптимизацией" - совсем-совсем непонятно, что именно оптисизируют. это из того, что можно подстроить в самом pf. ну и на sysctls посмотреть/подстроить. подстраивал-подстраивал - как-то оно странно работает. Особенно, если "в том же месте" ppp@tcp принимать (cotty+pppd) - ppp перестаёт жить.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Sun, 6 Mar 2005, Paul Arakelyan wrote:
On Sun, Mar 06, 2005 at 09:54:17AM +0200, Gregory Edigarov wrote:
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, Ну - с тайм-аутами - ещё как-то понятно - а с "оптимизацией" - совсем-совсем непонятно, что именно оптисизируют.
man pf.conf, многоуважаемый дон, видимо, не делал. optimization - определяет, как долго будут храниться состояния попробуйте agressive, похоже для Вашего случая в самый раз.
это из того, что можно подстроить в самом pf. ну и на sysctls посмотреть/подстроить. подстраивал-подстраивал - как-то оно странно работает. Особенно, если "в том же месте" ppp@tcp принимать (cotty+pppd) - ppp перестаёт жить. Здесь ничем не помогу, боюсь. -- With best regards, Gregory Edigarov
=================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Sun, 6 Mar 2005, Paul Arakelyan wrote:
Гы - "гоночна машина" - разогналось и по тормозам, потормозило, рвануло дальше. Что-то надо настраивать :-|.
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, это из того, что можно подстроить в самом pf. ну и на sysctls посмотреть/подстроить. Наколупал вот:
On Sun, Mar 06, 2005 at 09:54:17AM +0200, Gregory Edigarov wrote: pf.conf ========= set timeout { interval 5, frag 20 } set timeout { tcp.first 120, tcp.opening 30, tcp.established 600 } set timeout { tcp.closing 60, tcp.finwait 45, tcp.closed 90 } set limit { states 60000, frags 4000 } set loginterface none set optimization conservative scrub in all nat on lnc0 from 10.0.0.0/8 to any -> x.x.x.x/32 ======== #pfctl -s a|wc -l No ALTQ support in kernel ALTQ related functions disabled 24964 CPU states: 4.2% user, 0.0% nice, 13.3% system, 59.8% interrupt, 22.7% idle Mem: 6968K Active, 5136K Inact, 19M Wired, 8384K Buf, 51M Free "Ключевые грабли" в моём случае - это когда железо "не тянуло" по количеству пакетов и чего-то где-то начинало застрявать вседствии "непролезания" - игра с ipfw pipe на входящих интерфейсах очень помогла добиться устойчивого состояния. Жалко, что ipfw не умеет по количеству пакетов ограничивать В итоге имеем около 1800 pps вместо 1000-1200, никаких затыков, кучу CPU time. Нда - "too late, too few", по полной программе :) Ядро собиралось оригинально: собираем с ключами "по умолчанию", сносим критичные .o, меняем make.conf, собираем с нужными ключами, процесс повторяем если нужно разные части по-разному оптимизировать. -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Mon, Mar 07, 2005 at 08:42:50AM +0200, Gregory Edigarov wrote:
On Sun, 6 Mar 2005, Paul Arakelyan wrote:
On Sun, Mar 06, 2005 at 09:54:17AM +0200, Gregory Edigarov wrote:
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, Ну - с тайм-аутами - ещё как-то понятно - а с "оптимизацией" - совсем-совсем непонятно, что именно оптисизируют.
man pf.conf, многоуважаемый дон, видимо, не делал. optimization - определяет, как долго будут храниться состояния Ман не описывает чего и как именно оно делает. "idle for too long" это совсем не похоже на число.
попробуйте agressive, похоже для Вашего случая в самый раз. Уже все три перепробовал. Я наверно консерватор :), выбрал conservative.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Mon, Mar 07, 2005 at 09:03:22AM +0200, Paul Arakelyan wrote:
On Sun, 6 Mar 2005, Paul Arakelyan wrote:
Гы - "гоночна машина" - разогналось и по тормозам, потормозило, рвануло дальше. Что-то надо настраивать :-|.
Вообще-то там достаточно много настроек для повышения производительности. Умолчания - для некоей средней конторы.... Надо подстраивать set timeout, set limit, set optimization, это из того, что можно подстроить в самом pf. ну и на sysctls посмотреть/подстроить. Наколупал вот:
On Sun, Mar 06, 2005 at 09:54:17AM +0200, Gregory Edigarov wrote: pf.conf ========= set timeout { interval 5, frag 20 } set timeout { tcp.first 120, tcp.opening 30, tcp.established 600 } set timeout { tcp.closing 60, tcp.finwait 45, tcp.closed 90 } set limit { states 60000, frags 4000 } set loginterface none set optimization conservative scrub in all nat on lnc0 from 10.0.0.0/8 to any -> x.x.x.x/32 ======== #pfctl -s a|wc -l No ALTQ support in kernel ALTQ related functions disabled 24964
CPU states: 4.2% user, 0.0% nice, 13.3% system, 59.8% interrupt, 22.7% idle Mem: 6968K Active, 5136K Inact, 19M Wired, 8384K Buf, 51M Free
"Ключевые грабли" в моём случае - это когда железо "не тянуло" по количеству пакетов и чего-то где-то начинало застрявать вседствии "непролезания" - игра с ipfw pipe на входящих интерфейсах очень помогла добиться устойчивого состояния. Жалко, что ipfw не умеет по количеству пакетов ограничивать В итоге имеем около 1800 pps вместо 1000-1200, никаких затыков, кучу CPU time. Нда - "too late, too few", по полной программе :)
Ядро собиралось оригинально: собираем с ключами "по умолчанию", сносим критичные .o, меняем make.conf, собираем с нужными ключами, процесс повторяем если нужно разные части по-разному оптимизировать.
На этой методе можно нарваться на полностью неработающее ядро, увы.
-- Best regards, Paul Arakelyan.
-- NO37-RIPE
Hello, Paul Arakelyan! On Sat, Mar 05, 2005 at 10:42:48AM +0200, you wrote:
On Fri, Mar 04, 2005 at 05:19:51PM +0200, Michael Plostak wrote:
On Fri, Mar 04, 2005 at 01:32:21AM +0200, Paul Arakelyan wrote:
On Thu, Mar 03, 2005 at 09:12:46AM +0200, Andrew Degtiariov wrote:
On Thu, Mar 03, 2005 at 12:19:08AM +0200, Paul Arakelyan wrote:
Ёй. Такое не прокатит, пока ng_ipfw в туда не приедет :(. Вроде как оно в current есть... Чичас рискнём его приблизить к реалиям...
Да сделай все лучше на ipnat из pf. ng_nat только-только появился, большая вероятность наличия багов. сделал на ipnat - пришлось попрощаться с fastforwarding - бо не фурычило совсем.
Почему попрощаться? ipf вроде вполне справно его справляет в паре с ipnat. Ситуация в tcpdump в?глядила ...странно: пакеты из ipnated network вроде бы уходят, с подменёнными адресами - но с той стороны глухо - нету их. При этом если с самой машины с ipnat сказать telnet -s 10.0.0.1 x.x.x.x - то всё чудно работает. Правила в ipfw были flushed - не помогло. Выключил fastforwarding - полетело. Тока кердык ему пришёл после первого же затыка в сетевой карте (natd без вопросов живёт с теми затыками), я два десятка экранов с trap подряд - даже не думал, что может быть такое :|.
Что-то мне подсказывает, что что-то не так с твоим "методом" сборки ведра, описаном выше :) ipnat живёт как угорелый :) Ну, хотя pf - вестчь :) -- NEVE-RIPE, will build world for food Ukrainian FreeBSD User Group http://uafug.org.ua/ =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Mar 08, 2005 at 08:19:03AM +0200, Oleg V. Nauman wrote:
On Mon, Mar 07, 2005 at 09:03:22AM +0200, Paul Arakelyan wrote:
Ядро собиралось оригинально: собираем с ключами "по умолчанию", сносим критичные .o, меняем make.conf, собираем с нужными ключами, процесс повторяем если нужно разные части по-разному оптимизировать.
На этой методе можно нарваться на полностью неработающее ядро, увы. Можно, если собрать не то, что нужно, не так, как нужно. Некоторые модули даже -fomit-frame-pointer нормально не переносят. А сборка некоторых с -O3 приводит к тормозам - бо код растёт в размерах. Короче - на то было потрачено думаю, поболе 10 часов, в результате был получен где-то 10-20% performance boost, что окупило затраты времени с головой. ============ #!/bin/sh
rm bpf.o bpf_filter.o bus_if.o crc32.o critical.o device_if.o i686_mem.o \ if.o if_ether.o if_ethersubr.o if_lnc.o if_lnc_isa.o if_lnc_pci.o \ if_loop.o if_media.o if_mib.o if_ppp.o if_tun.o intr_machdep.o \ ip_divert.o ip_ecn.o ip_encap.o ip_fastfwd.o ip_fw2.o ip_icmp.o \ ip_id.o ip_input.o ip_output.o qsort.o sys_pipe.o tcp_hostcache.o \ tcp_input.o tcp_output.o tcp_subr.o tcp_syncache.o tcp_timer.o \ tcp_usrreq.o tty.o tty_compat.o tty_conf.o tty_cons.o tty_pty.o \ tty_subr.o tty_tty.o =========== ну и pf* тут нету - бо это старый файл ;) -- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Wed, Mar 09, 2005 at 12:56:30PM +0200, Paul Arakelyan wrote:
On Tue, Mar 08, 2005 at 08:19:03AM +0200, Oleg V. Nauman wrote:
On Mon, Mar 07, 2005 at 09:03:22AM +0200, Paul Arakelyan wrote:
Ядро собиралось оригинально: собираем с ключами "по умолчанию", сносим критичные .o, меняем make.conf, собираем с нужными ключами, процесс повторяем если нужно разные части по-разному оптимизировать.
На этой методе можно нарваться на полностью неработающее ядро, увы. Можно, если собрать не то, что нужно, не так, как нужно. Некоторые модули даже -fomit-frame-pointer нормально не переносят. А сборка некоторых с -O3 приводит к тормозам - бо код растёт в размерах. Короче - на то было потрачено думаю, поболе 10 часов, в результате был получен где-то 10-20% performance boost, что окупило затраты времени с головой. ============ #!/bin/sh
rm bpf.o bpf_filter.o bus_if.o crc32.o critical.o device_if.o i686_mem.o \ if.o if_ether.o if_ethersubr.o if_lnc.o if_lnc_isa.o if_lnc_pci.o \ if_loop.o if_media.o if_mib.o if_ppp.o if_tun.o intr_machdep.o \ ip_divert.o ip_ecn.o ip_encap.o ip_fastfwd.o ip_fw2.o ip_icmp.o \ ip_id.o ip_input.o ip_output.o qsort.o sys_pipe.o tcp_hostcache.o \ tcp_input.o tcp_output.o tcp_subr.o tcp_syncache.o tcp_timer.o \ tcp_usrreq.o tty.o tty_compat.o tty_conf.o tty_cons.o tty_pty.o \ tty_subr.o tty_tty.o =========== ну и pf* тут нету - бо это старый файл ;)
Шаман :) Это сниться мне будет ;) Но все же опасная метода - я как-то попался, забыв переключить тип процессора (причем сделав фактически downgrade - ядро до этого собиралось под i686, а я для каких-то целей поставил i586) в make.conf, и пересобрав ядро с единственным измененным .c Велико же было мое изумление :)
-- Best regards, Paul Arakelyan.
-- NO37-RIPE
On Wed, Mar 09, 2005 at 02:04:26PM +0200, Pavel Narozhnyy wrote:
Женится вам надобно, барин.
Ага, насоветуешь. Поспешит, а потом весь смысл жизни будет видеть в pf и оптимизации ядра, вместо.
-- Pavel Narozhnyy Product manager - Datacom O. Gonchara, 73, 5 floor, Kiev, Ukraine Phone/fax: +380-44-490-22-18 mobile: +380-50-276-00-84 [1]http://data.huawei.com/
-- NO37-RIPE
On Wed, Mar 09, 2005 at 06:59:51PM +0200, Oleg V. Nauman wrote:
On Wed, Mar 09, 2005 at 02:04:26PM +0200, Pavel Narozhnyy wrote:
Женится вам надобно, барин.
Да - эту строчку я в толпе HTML не заметил :). И чего тот gmail низзя заставить plain text посылать?
Не - я конечно не против, но э-э.. напряг со всеми пунктами - типа кандидатуры и нормальной работы с стабильным доходом, ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:).
Ага, насоветуешь. Поспешит, а потом весь смысл жизни будет видеть в pf и оптимизации ядра, вместо. Не - я всему время уделять стараюсь - приоритеты хронически плавают между работами и личной жизнью, бо иначе нафига работать - на себя я денег и так пока могу наискать...
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:). проблемы с другой стороны. ощущение частной собственности из человеческой анатомии фиг вытрусишь. порядка трёх лет ставлю опыты на живых людях по этому поводу :-)
P.S. к пингвинам и oss это уже врядли имеет отношение. :-) -- Igor "CacoDem0n" Grabin, http://violent.death.kiev.ua/ =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 11, 2005 at 04:17:34AM +0200, Igor Grabin wrote:
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:). проблемы с другой стороны. ощущение частной собственности из
С какой стороны ощущение? :)
человеческой анатомии фиг вытрусишь. порядка трёх лет ставлю опыты на живых людях по этому поводу :-)
P.S. к пингвинам и oss это уже врядли имеет отношение. :-)
Пингвины далеко - они не видят :)
-- Igor "CacoDem0n" Grabin, http://violent.death.kiev.ua/
-- NO37-RIPE
On Fri, Mar 11, 2005 at 11:36:43AM +0200, Oleg V. Nauman wrote:
On Fri, Mar 11, 2005 at 04:17:34AM +0200, Igor Grabin wrote:
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:). проблемы с другой стороны. ощущение частной собственности из
С какой стороны ощущение? :) Не - у кого ощущение? ;) Еси у дам - ну дык это - пусть ...поделят :). TDMA - "time divided marriage agreement" :))) (Ой - под стол закатитьсяя сил нету :)))
человеческой анатомии фиг вытрусишь. порядка трёх лет ставлю опыты на живых людях по этому поводу :-)
P.S. к пингвинам и oss это уже врядли имеет отношение. :-)
Пингвины далеко - они не видят :) Та - даже в телевизоре сказали, что збоченцы эти ваши пингвины :)
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 11, 2005 at 11:36:43AM +0200, Oleg V. Nauman wrote:
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:). проблемы с другой стороны. ощущение частной собственности из С какой стороны ощущение? :) с той, которая ощущает, что находится в одном из слотов многозадачного шедушера :-)
-- Igor "CacoDem0n" Grabin, http://violent.death.kiev.ua/ =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Fri, Mar 11, 2005 at 03:42:59PM +0200, Igor Grabin wrote:
On Fri, Mar 11, 2005 at 11:36:43AM +0200, Oleg V. Nauman wrote:
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
ну и вообще - почему сразу на двух низзя жениться - мне это с 3-х летнего возраста непонятно :). Тогда проблема выбора сразу на порядок проще становилась бы:). проблемы с другой стороны. ощущение частной собственности из С какой стороны ощущение? :) с той, которая ощущает, что находится в одном из слотов многозадачного шедушера :-) "Я, конечно, за женскую солидарность, но не до такой же степени" (c) одна знакомая.
-- Best regards, Paul Arakelyan. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Thu, Mar 10, 2005 at 11:08:18PM +0200, Paul Arakelyan wrote:
On Wed, Mar 09, 2005 at 06:59:51PM +0200, Oleg V. Nauman wrote:
On Wed, Mar 09, 2005 at 02:04:26PM +0200, Pavel Narozhnyy wrote:
Женится вам надобно, барин.
Да - эту строчку я в толпе HTML не заметил :). И чего тот gmail низзя заставить plain text посылать?
Не - я конечно не против, но э-э.. напряг со всеми пунктами - типа кандидатуры и нормальной работы с стабильным доходом,
Злая статистика гласит, что каждому человеку в жизни суждена как минимум одна стерва. Чтобы не, (а они умеют хорошо и без напряга маскироваться - смотри Subject, в общем :) ) есть два соображения, которые облегчают жизнь: 1) Что есть ложь, большая ложь и статистика. 2) Что исключение подтверждает правило :) А работу найдешь :)
ну и вообще - почему сразу на двух низзя жениться - мне это
Боже тебя упаси.
с 3-х летнего возраста непонятно :). Тогда проблема выбора
Хорошо что непонятно - значит, не надо :)
-- Best regards, Paul Arakelyan.
-- NO37-RIPE
participants (13)
-
Alexander Trotsai -
Alexandr Kovalenko -
Alexey Kolyada -
Andrew Degtiariov -
Gregory Edigarov -
Igor Grabin -
Igor Karpov -
Michael Plostak -
Oleg V. Nauman -
Oleksandr Bezpalko -
Paul Arakelyan -
Pavel Narozhnyy -
Valentin Nechayev