Email/msn: james@ustc.edu.cn Linux系统 在科大校园网管理中的应用 张焕杰 email/msn: james@ustc.edu.cn 中国科学技术大学 网络信息中心 2008-11-08 V1.0 2010-09-18 V2.0.

Presentation on theme: "Email/msn: james@ustc.edu.cn Linux系统 在科大校园网管理中的应用 张焕杰 email/msn: james@ustc.edu.cn 中国科学技术大学 网络信息中心 2008-11-08 V1.0 2010-09-18 V2.0."— Presentation transcript:

1 email/msn: james@ustc.edu.cn
Linux系统 在科大校园网管理中的应用 张焕杰 /msn: 中国科学技术大学 网络信息中心 V1.0 V2.0

2 主要内容 中国科大校园网络历史与现状 网络基础设施 网络管理系统 网络服务 高性能计算

3 网络信息中心简介 网络信息中心承担以下工作 校园网和校园信息化系统建设和运行 含一卡通、东活一楼学生机房与网络自习室
高性能计算设施的建设和运行（校级超算平台） CERNET合肥主节点 中国教育科研网在安徽的落地点 CNGI CERNET2中国科大节点 使用IPv6协议的下一代教育网络在安徽的落地点 安徽省教育和计算机网网络中心 安徽省内教育机构接入网

4 校园网络的发展过程 1993年开始规划 1994年建成FDDI主干的校园网 1995年连接教育网 1999年连接中国电信网络
1996年网络中心正式成立 1996年安徽省教委决定：安徽省教育和科研计算机网网络中心设在我校 2000年改造为千兆以太网主干 2001年更名为网络信息中心 2005年CNGI-CERNET2核心节点之一中国科学技术大学节点建成 2005年改造为万兆以太网主干，全面支持IPv6协议

5 “校园一卡通”系统建设 为推进数字化大学的建设，2001年开始实施信息化建设的重要项目“校园一卡通”工程。进一步强化校级统一的、集中式的信息管理，同时也以电子化的消费模式方便广大师生的教学、科研和校园生活。 “校园一卡通”工程采用“校银企”合作的模式，即由银行投资、集成商承包工程、学校提出需求共同参与建设的模式。实现 “一卡通用，一卡多用”，使校园卡具有在校园内各类消费和校园管理的功能，包括：身份认证、存款、消费功能、信息查询、管理等功能。 国内大学首家大规模建设的“一卡通”系统

6 中国科学技术大学校园网络主干及出口示意图
CSTNET CERNET2(IPv6) CNCNET 图书馆 西区学生宿舍 超级计算平台 CERNET CHINANET 教三楼 力一楼 电四楼 力二楼 生命科学学院 力三楼 1G 2G 1G 700M 500M 电子工程与信息系 力四楼 1G 计算机科学系 信息学院 西区核心节点 校园无线网覆盖 网络中心核心节点 西区活动中心 高性能计算中心 10G 服务器群 火灾科学实验室 科研楼 加速器 西校区 10G 网络信息中心 东区核心节点 出版社 东区学生宿舍 南区汇聚节点 东区活动中心 行政办公楼 软件学院 教一楼 理化中心大楼 MBA中心 南区实验楼 教二楼 物理楼 南区教学楼 南区图书馆 化学楼 理化一号楼 计算中心汇聚节点 南区办公楼 南区学生宿舍 艺术楼 微尺度 南校区 继续教育学院 东校区 大礼堂 数学楼

7 Internet 安徽省教育和科研网主干网络拓扑结构图 2010.9 155M SDH 北环 7个市共享 155M SDH 南环 9个市共享
2.5G 合肥地区城域网光纤接入 安徽省网中心 安徽农大 合肥工大 安徽大学 安徽医大 合肥学院 中医学院 建工学院 电子工程学院 合肥市 155M SDH 北环 7个市共享 155M SDH 南环 9个市共享 Internet 武汉市 华中地区网路中心 安庆师范学院 安庆市 安徽师范大学 芜湖市 安徽工业大学 马鞍山市 安徽财经大学 蚌埠市 淮北师范大学 淮北市 安徽理工大学 淮南市 上海市 华东(南)地区网路中心 1G 中国科大 北京市 CERnet网络中心 10G 省教育厅 省电教馆 省考试院 巢湖市 巢湖学院 六安市 皖西学院 铜陵市 铜陵学院 池州市 池州学院 黄山市 黄山学院 滁州市 滁州学院 宿州市 宿州学院 阜阳市 阜阳师范学院 亳州市 亳州职业技术学院 宣州市 宣城职业技术学院

8 中国下一代互联网CNGI CERNET2合肥主节点拓扑图
济南 南京 Juniper T640 核心路由器 中国科大 合肥工大 安徽大学 比威12008 接入路由器 华为NE80 接入路由器 2.5G 1G

9

10

11 网络资源情况---IPv4部分 对外网络出口 4个IPv4网络出口，带宽4.2G 教育网2G，科技网1G，电信700M，联通500M
合计241C+48IP地址，其中 CERNET 208C地址 电信 C+32地址 科技网 1C地址 联通 地址 另储备有从CNNIC申请的1B地址可供将来使用 拥有独立的自治域号AS45081 校内设置了MPLS L3 VPN，分别对电信的16C和科技网1C各设置了VRF

12 网络资源情况---IPv6部分 1个IPv6网络出口，带宽1G 预计不久将增加科技网IPv6出口 对外网络连接
校内网络，目前使用2001:DA8:D800::/48 IPv6地址 全校所有地方（包括VPN用户）支持IPv6协议 另从CNNIC申请了2400:b600::/32和2401:1E00::/32地址段，具备充足的发展空间。

13 校园出口利用率 CERNET 教育网 CERNET2 IPV6 CHINANET中国电信 CNC中国联通

14 一周内活动的主机数 IPv4活动主机数 IPv6活动主机数

15 合肥中心节点IPV6网络天气图 更多信息

16 校园网络管理理念 开放的校园网络 只要是支持TCP/IP的系统，都能接入应用 只要不违反法律法规，不影响网络运行，都应该支持
大量的系统构建在开源软件之上 以用户为中心 接入方式多，满足各种用户需要 方便使用，尽量少设置障碍，让用网络像用电用水一样方便

17 科大校园网络提供的服务 对个人用户，网络费用的分担以包月方式 灵活方便的“网络通”服务 随时随地的高带宽网络接入服务
全校使用DHCP自动分配IP地址 IPv4/IPv6双栈 多种网络应用服务 多达1G的邮件/主页 VOD等Internet应用 电子校务等业务系统

18 用户接入 校内工作区接入 直接接入，DHCP方式分配IP地址 学生宿舍接入 缴费后端口自动开通， DHCP方式分配IP地址 校内无线
校外用户 PPTP与OpenVPN两种VPN，CERNET、电信、联通接入点 使用无状态方式分配IPv6地址

19 网络基础设施 DNS DHCP 认证/计费 网络通出口控制 学生宿舍计费控制 WWW/反向代理 VPN接入

20 DNS服务 网络最基本服务 Red Hat Enterprise Linux AS release 4 Bind 9.2.4
特点：3个view，分别对应CERNET、电信、其他部分的用户，各自查询的结果是不同IP，如

21 DHCP服务 全校范围内使用DHCP方式分配IPv4地址 DHCP 并不是为了节省IP地址，而是为了方便用户 优点
方便用户，尤其是对移动用户 管理简单 缺点 稳定性不高 一旦私设DHCP Server，会引起混乱，根据实际运行的经验，这种情况经常出现

22 DHCP Server 使用Linux下的DHCP Server DHCP Server的行为由配置文件控制
Linux下的DHCP Server支持shared-network，即一个物理网段可以有多个IP网段 如，某个子网，原来为 / ，后来机器多了，IP地址不够用，可以增加 / ，原有的机器不需要修改

23 对DHCP Server的控制 自动将一些静态IP地址从DHCP 地址池中排除
校内主要使用DHCP分配IP，也可以静态设定IP地址。一旦向网络信息中心申请某个IP地址静态设定，设定的IP地址要从地址池中自动排除 做法是定时（每隔10分钟）从数据库中读出配置信息，读出静态IP地址信息，自动产生配置文件，重新启动DHCP Server

24 对DHCP Server的控制 将一些用户私自设立的静态IP地址排除 对于私自设立的静态IP地址，也要排除
为了避免IP地址冲突，DHCP在分配一个IP地址给用户的时候，会先ping一下，如果能ping通，说明已经在用，不会分配该IP。 由于很多机器设立了个人防火墙，现在ping的结果已经不可靠，这种工作方式经常会产生IP地址冲突 我们的做法是通过snmp协议，收集3层交换机上的ARP表（即IP-MAC对应表）信息，一旦发现某个不是DHCP分配的IP对应有MAC地址信息，即从地址池中排除该 IP 2天

25 DHCP系统的监控 除了定期检查是否有DHCP_NAK消息判断是否有私设的DHCP Server外，还应该对DHCP Server的工作状态进行监视，尤其要关注IP地址池中IP地址的利用率 通过分析DHCP Server的IP地址分配记录，结合固定的IP地址，用户私设的IP地址，统计出各个网段的IP地址利用率

26

27 认证/计费 2个数据库 1个sybase，存放帐务信息 1个mysql，存放帐号信息，从sybase同步数据
Mysql结构基于freeradius，增加了一些字段 Freeradius提供2个认证入口 PPP电话拨号radius认证 VPN radius认证 网络通的web界面则直接访问mysql数据库

28 网络通介绍 60路拨号系统满足校内家属区用户使用 2个出口/2种类型的VPN接入服务
“网络通”服务利用一个用户名和密码，具有如下功能： 校内无线认证接入(目前接入暂未启用认证) 拨号接入 60路拨号系统满足校内家属区用户使用 VPN接入 2个出口/2种类型的VPN接入服务 PPTP/OpenVPN，均提供电信/网通上用户的接入，主要针对教工和外地学生开放 灵活的对外访问服务 用户从校内可以自由选择多种出口组合对外访问

29 出口Web登录认证 是“网络通”服务的主要组成部分 用户自主选择教育网、电信、网通出口的组合来访问校外网络 采用包月制
所有校内用户，包括VPN连进来的用户，都可以使用 出校的认证界面

30 网络通登录界面 http://wlt.ustc.edu.cn

31 网络通登录界面 http://wlt.ustc.edu.cn

32 出口管理 网络费用分担的需要 缓解带宽有限与需求无限的矛盾 1%的用户使用超过10%的带宽 10%的用户使用超过50%的带宽
P2P应用普及，更是极大地放大了用户的需求 如何有效利用多个出口

33 出口Web登录认证 是“网络通”服务的主要组成部分 用户自主选择教育网、电信、联通出口的组合来访问校外网络 采用包月制
所有校内用户，包括VPN连进来的用户，都可以使用

34

35

36 网络通原理 教育网出口 抓包分析 电信出口NAT1 电信出口NAT2 带宽 控制 Linux机器 联通出口NAT3 Linux机器
校内网络 Linux机器完成认证、策略路由

37 内部的一种数据结构 长度 256*32 长度 256*16 长度 256*16 一个数组存放校内的IP段信息 每段有个数组存放该段的策略信息
100 101 102 …. 长度 256*16 100 101 102 …. 长度 256*16 一个数组存放校内的IP段信息 每段有个数组存放该段的策略信息 修改数据包查找路由时规则表的处理过程，利用以上结构来查 100 101 102 ….

38 用户带宽限制 QQSG设备限制带宽 对单个IP有最大限制 对P2P应用有最大限制 DoS检测 抓包的内容放在数据库中，方便掌握流量异常记录
程序隔2分钟抓包分析，对于超限制的或有DoS攻击异常行为（比如出去的数据包远远多于进来的）的IP直接从Web登录上踢下去，并发消息给用户提示 抓包的内容放在数据库中，方便掌握流量异常记录

39

40 学生宿舍计费控制 采用直接控制交换机端口开、关的方式 数据库中记录宿舍信息点和交换机端口的对应信息
通过snmp协议控制交换机对应接口的Adminstatus，如果Adminstatus设置为enable，信息点开通，如果设置为disable，信息点禁用 以上控制对用户完全透明，只要信息点缴费后开通，用户用起来跟在校内其他地方一样 使用net-snmp来控制

41 WWW/反向代理 公网对校内的各种服务器访问速度经常不理想 既然有多个出口，应该充分利用这些出口，来提高外网用户对服务器的访问速度
两个问题需要解决 如何通过DNS服务器的设置，把外网用户对服务器的解析分散到不同的IP上 如何解决外网用户访问多个IP地址对同一个服务器的访问

42 外网对服务器访问的优化 利用Linux下DNS服务器bind，针对不同区域（运营商）的IP设置多个view
不同来源的IP，查询同一个域名返回不同出口的IP地址 CERNET IP查询返回CERNET IP 电信IP查询返回电信IP 其他查询返回网通IP 做法可以google bind view

43 外网对服务器访问的优化 服务器多网卡设置多个IP地址，利用服务器的策略路由功能实现，只能在Linux上使用，适合流量大的服务器
专门的地址转换设备，利用地址转换实现，适合小规模的校园网 设立反向代理服务器或7层交换机实现，适用面广，使用方便 我们使用Nginx作为反向代理，设置3个IP地址，用来对上百个校内网站进行反向代理。Nginx处理的连接数比squid高1个量级，CPU占用低1个量级。 通过以上设置，外部用户对服务器的访问速度有非常明显的提高

44 服务器多IP策略路由的设置 ip addr add 202.38.64.10/25 dev eth0
ip route add 0/0 via table 100 vconfig add eth0 10 ip add add /25 dev eth0.10 ip route add 0/0 via table 101 ip route add /19 via table 99 ip rule add from 0/0 table 99 pref 90 ip rule add from table 101 pref 100 ip rule add from table 100 pref 101

45 反向代理工作示意图 电信 其它 1. DNS查询 2. HTTP访问 1 2 CERNET 反向代理 DNS WWW1 WWW2 WWW3

46 Nginx统计

47 VPN接入 PPTP与OpenVPN两种VPN，CERNET、电信、网通接入点 PPTP以前基于Windows，现在改为基于Linux
OpenVPN基于Linux，采用桥接方式，直接支持IPv6 均使用radius协议认证，并记录下使用者的公网IP和分配的校园网IP等日志信息

48 网络管理系统 环境监视、短信报警 流量监视 用户跟踪与日志

49 环境监视、短信报警 设备太多，无专人值班 设立各种设备服务监视的短信报警系统
Linux下，基于smstools开发，通过写脚本来扩展监视的对象 对环境状况、UPS状况、设备通断、服务正常与否等信息自动监视 分类型、分时段发短信给不同的管理员

50 流量监视 长期流量趋势监视 MRTG、cacti等，原理是利用snmp协议读取设备的统计信息，计算出流量等信息 当前流量直观显示 网络天气图
瞬间流量记录 把统计连接数的抓包结果，整理后，每隔20分钟保存在数据库中 记录有每个IP在抓包瞬间的流量统计

51

52

53

54

55 用户的跟踪与日志 出口网络通Web登录有用户登录日志 NAT设备有地址转换日志
采用DHCP自动分配IP地址后，必须有足够的信息和手段来跟踪校内用户 通过snmp协议采集交换机上的信息来跟踪用户 收集3层交换机的MIB信息可以得到交换机上的ARP表，即用户的IP地址和MAC地址对应表 收集2层交换机的MIB信息可以得到某个MAC地址是接在交换机哪个端口下的

56 NAT设备的日志 NAT设备采用Linux
修改Linux kernel，连接结束的时候把协议、转换前后的源目的地址、源目的端口、统计信息、URL等利用UDP协议发送给日志服务器 :00: :00:00 6: ( ):4316 --> :80 7 p 781 b 8 rp 4398 rb GET HTTP/1.1 :59: :00:00 6: ( ):4499 --> :80 5 p 665 b 6 rp 421 rb GET creen=1024x768 HTTP/1.1 :59: :00:00 6: ( ):57262 --> :21 7 p 331 b 8 rp 417 rb 每天产生日志5G左右，压缩后1.5G

57 用户的跟踪 获取信息存放在数据库中，可以完成如下功能： 任给IP地址，可以查出某个时间段对应的MAC地址
查找ARP攻击也很容易 结合网络通Web登录的日志，可以查出一个IP某个时间段是哪个用户在用

58 基于Linux系统搭建的网络服务 邮件、个人ftp/主页服务器 修改了vsftpd，能检查邮件软件生成的加密密码
PXE系统 pxe.ustc.edu.cn 吴峰光建立，目前放置在图书馆机房 Debian、CentOS等镜像服务

59 高性能计算 1994年Linux与曙光1号，从计算所来到了科大 早几年，网络服务和高性能计算是Linux的主要应用领域
HPC集群，大部分使用Linux 联想深腾1800 128个Intel E5410 CPU，峰值4.7TFLOPS 联想GPU机器 GPU峰值运算能力 200TFLOPS 曙光4000A 80多个AMD 4核CPU KD-50-I 384个龙芯2F CPU，峰值1T FLOPS

60

61 联想GPU集群 61/50

62 基于龙芯2F的KD-50-I

63 基于国产龙芯系列CPU的高性能机内部结构
KD-60 KD-50 63/50

64 KD-50-I系统整体结构 基于debian的无盘站

65 处理单元结构 每个处理单元（PE）包括一个龙芯2F CPU，1GBDDR2内存，RTL8110千兆以太网卡，BIOS Flash，串口芯片，实时时钟芯片以及各种电源变换电路等。 CPU工作时钟频率为750MHz，单CPU的计算能力是3Gflops。 DDR2内存的总线带宽可达到667MB/s。 SIO（串行接口）为处理单元调试接口。RTC为系统提供硬件时钟，并提供存储配置信息的SRAM。

66 处理单元 实物

67 四. 计算节点结构 节点内置12个龙芯2F处理单元（PE），每个处理单元具有1GB内存，内置千兆以太网卡。
节点内置两个交换底板，共4个4端口千兆以太网交换芯片，每3个处理单元连接一个交换芯片，输出一个千兆以太网接口。 节点内12个处理单元、4个交换芯片共用一套电源和散热系统。

68 计算节点结构图 12个龙芯2F处理单元（PE）组成一个计算节点

69

70 相关主页 网络信息中心 超级运算中心

71 对我们的工作建议和意见请联系 或在BBS上USTCnet版面提出