이글은 FreeBSD에서 일반적인 route 설정으로 지원되지 않는 Multiple-route를 사용하는 방법을
설명합니다. Multiple-route는
network 설정에서 동시에 여러개의 default route를 사용하는것을 말합니다. 예를들면 2개 또는 그 이상의
ADSL라인을 동시에 사용해서 network 속도를 향상시키고 싶거나, 전용선과 ADSL 같이 사용하면서 특정 사용자 또는 특정
서비스는 ADSL로만 보내거나 하는것을 할 수 있습니다. KAME
Project에서는 이 부분에 대한 실험적인 patch가 있지만 아직 많은 문제가 있는것으로 알고 있습니다.
이글은 FreeBSD pf를
사용해서 효과적으로 여러개의 route를 사용하는 방법을 설명합니다.
커널모드 PPPoE와
pf/ipfilter/ipfw와의 연동에서 소개한 커널모드 PPPoE를 사용합니다. 그리고 커널모드 PPPoE의 설정은
특별한 경우가 아니면 다시 설명하지 않았습니다. ADSL의 설정과 mpd의 사용법은 커널모드 PPPoE와
pf/ipfilter/ipfw와의 연동을 먼저 참조하기 바랍니다. <그림 1>은 본 글에서 사용할 network구성도
입니다.
[FreeBSD mpd]
[전화국의 DSLSM]<--------------->|xDSL모뎀 |<----------------->|
NIC NIC
|<------------->[HUB]<------------------>
전화선
UTP |fxp1 fxp0 |
UTP
192.168.10.X
유동 IP 192.168.10.2
|
[전화국의
DSLSM]<--------------->|xDSL모뎀|<--------------------------+
UTP 유동 IP
fxp2
<그림 1>
이 글은 FreeBSD 5.1과
FreeBSD pf
1.58상에서 mpd 3.13으로 시험하였습니다.
mpd에서는 다음과 같이
추가되는 ADSL라인에 대한 부분을 추가하도록 합니다.
<mpd.conf>
#
# Kernel mode PPPoE mpd.conf
# $FreeBSD$
#
default:
load PPPoE1 -- (1)
load PPPoE2 -- (2)
# 1st line, fxp1
PPPoE1:
new -i ng0 PPPoE1 PPPoE1
set iface addrs 1.1.1.1
2.2.2.2
set iface route default
set iface disable on-demand
set iface idle 0
set bundle disable bw-manage
set bundle disable multilink
set bundle authname ktis0002
set link no acfcomp protocomp
set link disable pap chap
set link accept pap chap
set link mtu 1492
set ipcp yes vjcomp
set ipcp ranges 0.0.0.0/0
0.0.0.0/0
set iface up-script
/usr/local/etc/mpd/mpd.linkup1
set iface down-script
/usr/local/etc/mpd/mpd.linkdown1
open iface
#
# Additional links
# 2nd line, fxp2
PPPoE2:
new -i ng1 PPPoE2 PPPoE2
set iface addrs 1.1.1.1
2.2.2.2
# route was set by first line
#
set iface route default -- (3)
set iface disable on-demand
set iface idle 0
set bundle disable bw-manage
set bundle disable multilink
set bundle authname ktis0001
set link no acfcomp protocomp
set link disable pap chap
set link accept pap chap
set link mtu 1492
set ipcp yes vjcomp
set ipcp ranges 0.0.0.0/0
0.0.0.0/0
set iface up-script
/usr/local/etc/mpd/mpd.linkup2
set iface down-script
/usr/local/etc/mpd/mpd.linkdown2
open iface
여러 라인을 사용하기 위해서는 (1),
(2)처럼 load 명령을 이용해서 추가적인 접속라인을 로드하도록 합니다. (3)은 PPPoE1에서 default route가
설정되기 때문에 설정하지 않았습니다.
mpd.links에도 추가되는 라인을 정의하도록
합니다.
<mpd.links>
#
# mpd.links
#
PPPoE1:
set link type pppoe
set pppoe iface fxp1
PPPoE2:
set link type pppoe
set pppoe iface fxp2
mpd.secret에도 추가되는 ID와 password를 지정합니다.
<mpd.secret>
#
# mpd.secret
#
your_id1 your_password1
your_id2 your_password2
mpd의문제인지 아니면 접속시 timing상의
문제인지 확실하지 않지만 커널모드
PPPoE와 pf/ipfilter/ipfw와의 연동처럼 하나의 script로는 두번째의 접속이 제대로 접속설정이
되지 않는 경우가 가끔 발생했습니다. 그래서 각각의 up/down script를 구성했습니다.
<mpd.linkup1>
#!/bin/sh
#
# mpd startup script for PF
#
/usr/bin/touch /tmp/.mpd-linkup1
if [ -f /tmp/.mpd-linkup1 ] && [ -f /tmp/.mpd-linkup2 ]; then
/sbin/pfctl -Fa -f /etc/pf.conf
fi
<mpd.linkdown1>
#!/bin/sh
/bin/rm -f /tmp/.mpd-linkup1
#!/bin/sh
#
# mpd startup script for PF
#
/usr/bin/touch /tmp/.mpd-linkup2
if [ -f /tmp/.mpd-linkup1 ] && [ -f /tmp/.mpd-linkup2 ]; then
/sbin/pfctl -Fa -f /etc/pf.conf
fi
<mpd.linkdown2>
#!/bin/sh
/bin/rm -f /tmp/.mpd-linkup2
log파일설정이나 mpd실행시의 문제는 커널모드 PPPoE와 pf/ipfilter/ipfw와의 연동을
참조하시기 바랍니다.
사용할 룰셋은 network설정과
정책에 따라서 다르지만 여기서는 간단한 경우를 고려하겠습니다.
1. 웹같은 public 서비스는 하지 않는다.
2. port scan을 허용하지 않는다.
3. 내부 사용자중 특정한 호스트만 이 시스템을 이용할 수 있다.
4. 모든 messenger류의 서비스를 하지 않는다.
5. 외부로 나가는 모든 traffic은 round-robin식으로 2개의 ADSL라인을
이용한다.
6. NAT 탐지를 무력화 시킨다.
7. pf에서 MSS를 조정하도록 한다.
8. 외부로 나가는 모든 packet은 state를 생성하도록 한다.
#
# $FreeBSD$
# PF rule set for mpd on FreeBSD
#
# Network Configuration
#
#
# Kernel mode PPPoE with mpd
# -----------[FreeBSD PF]---------------[S/W Hub]------[192.168.10.0/24]
# ADSL1 fxp1 | fxp0(192.168.10.2)
#
|
# ---------------+
# ADSL2 fxp2
#
# ADSL #1
extif0="ng0"
extgw0="xxx.xxx.xxx.xxx" -- (1)
# ADSL #2
extif1="ng1"
extgw1="yyy.yyy.yyy.yyy" -- (2)
ExtIF="{" $extif0 $extif1 "}"
IntIF="fxp0"
ME="192.168.10.2"
INTERNAL="192.168.10.0/24"
tcp_winmx="{4661, 6699, 7950, 7951, 7952}"
udp_winmx="{6257}"
icq="{64.12.161.185, 64.12.200.89, 205.188.153.249, 205.188.179.233,
64.12.161.153}"
oscar="{64.12.161.153, 64.12.161.185, 64.12.200.89, 205.188.153.249,
205.188.179.233}"
yahoo="{216.136.233.128}"
table <badhost> const {0.0.0.0/8, 169.254.0.0/16, 192.0.2.0/24, \
224.0.0.0/4, 240.0.0.0/4, 10.0.0.0/8, \
172.16.0.0/12, 192.168.0.0/16, 255.255.255.255, \
127.0.0.1/8}
#
# hosts that can use this system as a gateway
#
table <allowhost> const {192.168.10.1, 192.168.10.2,
192.168.10.6, \
192.168.10.21, 192.168.10.7, 192.168.10.12}
set loginterface $IntIF
# Clean up fragmented and abnormal packets, defeat NAT detection too
# max-mss is needed due to mpd's poor MSS handling
scrub in all
scrub out all random-id max-mss 1440
#
# NAT section
#
nat on $extif0 inet from
$INTERNAL to any -> ($extif0)
nat on $extif1 inet from
$INTERNAL to any -> ($extif1)
# Remember default rule for non-matching packets are passed!!!
block
out log on
$ExtIF all
block
in log on
$ExtIF all
block
out log on
$IntIF all
block
in log on
$IntIF all
block return-rst out log on $ExtIF proto tcp all
block return-rst in log on $ExtIF proto tcp all
block return-icmp out log on $ExtIF proto udp all
block return-icmp in log on $ExtIF proto udp all
# allow lo0 interface packet
pass in quick on lo0 all
pass out quick on lo0 all
# allow internal network traffic
pass in quick on $IntIF from
<allowhost> to $ME -- (3)
pass out quick on $IntIF from $ME
to <allowhost> -- (4)
pass in on
$IntIF route-to \
{ ($extif0 $extgw0), ($extif1 $extgw1) } round-robin \
from <allowhost> to any keep state -- (5)
#
# block spoofing attack
#
block in quick log on $ExtIF from <badhost> to any
#
# block port scan
block in log quick on $ExtIF inet proto tcp from any to any flags
FUP/FUP
block in log quick on $ExtIF inet proto tcp all flags SF/SFRA
block in log quick on $ExtIF inet proto tcp all flags /SFRA
#
#
# send ICMP reset on NetBIOS and auth
#
block return-rst in log quick on $ExtIF proto tcp from any to any port
{113, 137, 139}
# block WinMX
block out log quick inet proto tcp from any to any port $tcp_winmx
block out log quick inet proto udp from any to any port $udp_winmx
# block
MSN(messenger.hotmail.com)
block out log quick proto tcp from any to { 207.46.104.20, 64.4.13.0/24
}
block out log quick proto tcp from any to any port {1863, 5060, 5061}
block out log quick proto udp from any to any port 5060
# block ICQ(login.icq.com)
block out log quick proto tcp from any to $icq
block out log quick proto tcp from any to any port 5190
# block AIM(login.oscar.aol.com)
block out log quick proto tcp from any to $oscar
# port 5190 already blocked by ICQ
#block out log quick proto tcp from any to any port 5190
# block Yahoo(cs.yahoo.com)
block out log quick proto tcp from any to $yahoo
block out log quick proto tcp from any to port 5050
#
# all traffic to extif0 should go gateway #0
# all traffic to extif1 should go gateway #1
pass
out on $extif1 route-to ($extif0 $extgw0) from $extif0 to any --
(6)
pass
out on $extif0 route-to ($extif1 $extgw1) from $extif1 to any --
(7)
#
#
# general pass out rules for all external interfaces
pass out on $extif0 inet proto tcp all flags S/SA keep state
pass out on $extif0 inet proto {udp, icmp} all keep state
pass out on $extif1 inet proto tcp all flags S/SA keep state
pass out on $extif1 inet proto {udp, icmp} all keep state
(1), (2)는 각각의 interface에
할당된 gateway IP address입니다. mpd에서 접속이 된 후 설정되는 gateway address를
지정하도록합니다.
문제는 유동 IP를 사용하는 ADSL에서는 IP가 변경될 수 있고 이에 따라서 gateway도 변경될 수 있다는 것입니다. 보다
정확한 방법은 접속시 실행하는 script에서 할당된 gateway로 지정하도록 하는것이 필요합니다. 이 경우 외부
script와 awk(1), perl(1)을 이용한 처리가 필요합니다. 그러나 실제로 gateway가 변경되는 경우는 거의
없습니다.(전 아직 한번도 격어보지 못했습니다.)
대부분의 경우 고정된 gateway address를 사용하더라도 별 문제가 없을것으로 생각합니다. 자신이 사용하는 gateway
address는 mpd가 하나의 link를 이용하도록 설정해서 확인하면 됩니다.
(3), (4)는 내부 network의 시스템 중 특정 호스트가 이 시스템($ME)으로 접속하는 경우를 지정합니다.
만일
(3), (4)가 없다면 (5)에 의해서 모든 traffic이 외부로 전송됩니다. 즉 외부에서 ssh등으로 이 호스트로 접속할
수 없습니다.
(5)는 가장 핵심적인 부분으로 외부로 나가는 traffic을 두개의 gateway로 round-robin 방식으로 나누어서
보내게 됩니다. round-robin외에도 bitmask, random, source-hash등이 올 수 있습니다.
이를
이용하면 일반적인 pf룰에 다양한 제약을 가해서 원하는 결과를 얻을 수 있습니다. round-robin의 경우 한 시스템에서
접속하더라도 여러개의 route를 동시에 이용하기 때문에 부하를 분산하는 가장 효과적인 방법중의 하나로 생각됩니다. 만일
port에 제약을 가하면 서비스별로 사용하는 ADSL라인을 결정할 수도 있습니다.
(6),(7)은 $extif0와 $extif1로 전송된 packet이 지정된 gateway를 사용하도록 지정합니다. 만일 ISP에서 같은 gateway를 할당하게 되면 (5)의
route-to가 동작하지 않습니다. ADSL신청시 반드시 다른 gateway를 할당하도록 하십시요.
4. 에서는 2개의 ADSL을
사용하는것을 가정했습니다. 그러나 4.에 사용된 룰셋은 일반적이기 때문에 interface이름과 gateway주소만
변경하면 같은 룰셋을 사용할 수 있습니다.
두개의 ADSL라인을 사용할경우 ifconfig(8)에서 다음과 같은 내용을 볼 수 있습니다.
monster# ifconfig -a
fxp0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
inet 192.168.10.2 netmask
0xffffff00 broadcast 192.168.10.255
inet6
fe80::207:e9ff:fe08:4585%fxp0 prefixlen 64 scopeid 0x1
ether 00:07:e9:08:45:85
media: Ethernet autoselect
(100baseTX <full-duplex>)
status: active
fxp1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
inet6
fe80::2d0:b7ff:fe2c:a06c%fxp1 prefixlen 64 scopeid 0x2
ether 00:d0:b7:2c:a0:6c
media: Ethernet autoselect
(100baseTX <full-duplex>)
status: active
fxp2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
inet6
fe80::290:27ff:fee9:24ef%fxp2 prefixlen 64 scopeid 0x3
ether 00:90:27:e9:24:ef
media: Ethernet autoselect
(100baseTX <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen
64 scopeid 0x4
inet 127.0.0.1 netmask
0xff000000
pflog0: flags=141<UP,RUNNING,PROMISC> mtu 33208
pfsync0: flags=41<UP,RUNNING> mtu 1896
ng0: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST>
mtu 1492
inet 211.xxx.xxx.xxx -->
xxx.xxx.xxx.xxx netmask 0xffffffff
inet6
fe80::207:e9ff:fe08:4585%ng0 prefixlen 64 scopeid 0x7
ng1: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST>
mtu 1492
inet 61.yyy.yyy.yyy -->
yyy.yyy.yyy.yyy netmask 0xffffffff
inet6
fe80::207:e9ff:fe08:4585%ng1 prefixlen 64 scopeid 0x8
netgraph node ng0,
ng1모두 IP address를 할당받았고, 상대편의 주소가 각각 xxx.xxx.xxx.xxx, yyy.yyy.yyy.yyy로
설정된것을 알 수 있습니다. 설정이 완료되면 이 시스템을
gateway로 이용해서 접속해 보기 바랍니다. 예전보다 빠른 속도를 체감할 수 있습니다. 정말 여러개의 라인을 사용하는지는
traceroute(8)를 사용해서 어떤 route를 이용하는지 확인해 보기 바랍니다. 또는 ADSL모뎀의 LED를 보셔도 알
수 있습니다. 두 라인모두 Orange LED가 깜박입니다.
<주의>
ADSL의 경우 두개 또는 그 이상의 라인을 사용시
같은 gateway address를 ISP에서 할당할 수 있습니다. 이 경우는 동작하지 않습니다. 만일 두개의
ADSL라인의 gateway address가 같다면 다른 gateway를 사용하도록 ISP에 요청하기 바랍니다.
round-robin은 traffic의 특성에 관계없이 접속시마다 이용 가능한 route를 순차적으로
선택합니다. 대부분의 경우 round-robin방식은 문제가 없지만 접속시 두개이상의 connection을 필요로하는
프로그램에게는 문제가 있습니다. 예를들면 ftp의 경우 control connection과 data connection의 두개를
사용합니다. 만일 control connection과 data connection이 서로 다른 route를 통하여 전송되면
NAT에 의해서 control connection과 data connection이 서로 다른 IP로 변환되어 ftp서버로
전송되고 ftp서버에서는 이를 무시하게 됩니다. ftp client에서는 명령이 실패할 경우 이전에 내린 명령을 다시 반복하면
아마도 round-robin에 의해서 다음에는 올바른 route를 사용할 수 도있습니다. 그러나 이런식의 network사용은
불필요한 traffic을 발생시키며, 더 중요한것은 이러한 traffic은 국내의 ADSL이 제한하는 64Kbps의 비현실적으로
느린 uplink속도에 치명적인 영향을 가져와서 network속도를 현저하게 감소시킵니다.(TCP 프로토콜은 송신한
packet이 제대로 전송되었는지 ACK packet을 요구합니다. Download속도가 빠르다는것은 이에 비례해서 TCP
ACK packet이 빠른 속도로 상대방으로 전송된다는것을 의미합니다. ACK packet이 어떠한 이유로 제때에 전송되지
않으면 download속도도 이에 따라서 겹격히 감소합니다. ADSL은 uplink의 bandwidth가
작기때문에 여러개의 connection을 요구하는 작업을 수행하면 uplink가 saturation되는 상황이 발생할
가능성이 높습니다. 게다가 국내의 uplink속도가 너무 작기 때문에 아무리
전화국의 DSLAM에서 download속도를 2MB이상으로 지정해도 그 속도를 얻을 수 없습니다. 해결책으로는
download중에는 다른 network작업을 하지 않거나 ALTQ를 이용해서 TCP ACK packet에 priority를
부여하는 방법외에는 없습니다.)
round-robin의 동작방식이 운용환경에 맞지 않는다면 내부에서 사용하는 시스템의 IP별로 특정 gateway를
사용하는 방법(netmask,
source-hash)과 특정 site의 경우 지정된 gateway만 사용하도록 하는 방법이 있을 수 있습니다. 물론 이 방법은
round-robin에 비해서 두개의 route를 효과적으로 이용하지는 못합니다.
ftp를 제외한 대부분의
모든 서비스는 하나의 connection을 사용하지만 다음과 같은 경우 round-robin을 사용하면 문제가발생할 수 있습니다.
FreeBSD pf는 rc system에서 아직
지원되지 않기 때문에 다음과 같이 설정합니다.
</etc/rc.conf>
......
defaultrouter="NO"
hostname="yourhostname"
ifconfig_fxp0="inet 192.168.10.2 netmask 255.255.255.0"
ifconfig_fxp1="up"
ifconfig_fxp2="up"
gateway_enable="YES"
......
</etc/rc.local>
#
# Load PF
#
#
# Load PF
#
if ! /sbin/kldstat |grep -w pflog.ko >/dev/null; then
/sbin/kldload pflog
/sbin/ifconfig pflog0 up
fi
if ! /sbin/kldstat |grep -w pfsync.ko >/dev/null; then
/sbin/kldload pfsync
/sbin/ifconfig pfsync0 up
fi
if [ ! -f /var/log/pflogd.pid ]; then
/sbin/pflogd
fi
if ! /sbin/kldstat |grep -w pf.ko >/dev/null; then
/sbin/kldload pf
fi
/sbin/pfctl -e
#
# Kernel mode PPPoE setup
#
/usr/bin/killall mpd
if [ -f /tmp/.mpd-linkup1 ]; then
/bin/rm -f /tmp/.mpd-linkup1
fi
if [ -f /tmp/.mpd-linkup2 ]; then
/bin/rm -f /tmp/.mpd-linkup2
fi
if [ -x /usr/local/sbin/mpd -a -f /usr/local/etc/mpd/mpd.conf ]; then
if ! /sbin/kldstat |grep -w ng_ether.ko
>/dev/null; then
/sbin/kldload ng_ether
fi
echo -n " mpd";
/usr/local/sbin/mpd -b
fi