P2P网络概述

课程概述 对等网络(P2P网络)是分布式系统和计算机网络相结合的产物，在应用领域和学术界获得了广泛的重视和成功，被称为“改变Internet的新一代网络技术”。本课程由浅入深、全面系统地介绍对等网络，重点讲解三代P2P网络的结构和设计机制，并深入讨论P2P网络设计所要考虑的核心机制、优化网络性能的增强机制。

课程信息 http://p2p.sjtu.edu.cn/p2p/index.html 36学时，9周 参考书： 陈贵海，李振华，对等网络：结构、应用与设计，清华大学出版社，2007 易平，吴越，邹福泰　无线自组织网路和对等网路:原理与安全 ，清华大学出版社，2009 RALF STEINMETZ，PEER-TO-PEER SYSTEMS AND APPLICATIONS，机械工业出版社，2008 ANDY ORAM，PEER-TO-PEER：HARNESSING THE BENEFITS OF A DISRUPTIVE TECHNOLOGY，清华大学出版社,2003

教学计划 第一讲 P2P网络概述（4学时）第1周 第二讲 P2P研究简论（4学时）第2周 第三讲 P2P网络体系（12学时）第3,4,5周 第七讲　课程项目答辩（4学时）第9周

1.1 P2P网络的概念 信息交流与计算机网络 世界上最大的广域网——Internet 计算机网络的管理与控制的方式 集中式：Server/Client结点；易管理、工作效率低、可扩展性差 分布式：distributed system，结点地位平等 混合式：hybrid system

充分利用网络带宽、节点资源，提高工作效率 P2P：Peer to Peer对等网络 peer指网络结点在 行为上是自由的——任意加入、退出，不受其它结点限制，匿名 功能上是平等的——不管实际能力的差异 连接上是互联的——直接/间接，任两结点可建立逻辑链接，对应物理网上的一条IP路径 充分利用网络带宽、节点资源，提高工作效率

从C/S到P2P 实线表示物理连接，虚线表示逻辑连接

1999年Internet上第一个应用Napster，半年发展了5000万用户 其后涌现Gnutella, KaZaA, BitTorrent, eDonkey/eMule, Skype 发展的原因： 占据Internet一半以上的带宽 学术界重视

做了一件事情，成就了人生 Shawn enrolled at Boston's Northeastern University. Shawn rarely attended class and spent Christmas break working at the Hull, Massachusetts chess.net office with his uncle John pushing himself to get the Napster system completed. The system was launched in early 1999. Later he appeared on the cover of Wired magazine and rose to fame. Soon after, however, Napster was the target of several music industry-backed lawsuits, which ultimately ended up causing the cessation of the service.

从计算模式的发展史来理解P2P的必然性 主机终端计算模式 C/S计算模式 B/S计算模式 P2P计算模式

主机终端计算模式 终端 主机端 计算模式支点

随着时间的发展… 主机端 终端 计算模式支点

C/S计算模式 服务器端 客户机端 计算模式支点

异构性问题出现 服务器端 客户机端 计算模式支点

为了解决异构性的问题…B/S 服务器端 客户机端 计算模式支点

随着Internet的迅猛发展… 服务器端 客户机端 计算模式支点

如何利用终端的资源… 客户机端 服务器端 计算模式支点

History, motivation and evolution P2P represented ~65% of Internet Traffic at end 2006 1999: Napster, first widely used p2p-application

不同类型P2P网络几乎同时出现，无明确界定，大致分类 混合式P2P网络：C/S、P2P模式的混合 无结构P2P网络：分布/松散的结构 结构化P2P网络：准确、严格的结构 P2P网络实质上指TCP/IP模型(四层模型)中应用层的工作方式，包括结点工作模式与计算模式等；下面三层通常采用标准、单一的工作方式，本身并没有集中式与分布式之分，只是为应用层不同的工作方式提供底层的服务支持

P2P网络的核心机制，是在应用层建立逻辑上的覆盖网络(overlay network)，屏蔽下三层的工作细节 路由和定位、查询和搜索、动态结点算法、容错性

P2P网络的增强机制 数据复制、缓存、分片；负载均衡；拓扑一致性；匿名、声誉、信任、安全性 拓扑不一致问题 如：覆盖网上AE 实际上：ACDE

1.2 P2P网络的发展历程 第一阶段：1999～2000，应用研究 1999年，18岁的Shawn Fanning发布Napster软件，立刻风行，为Hybrid P2P体系的代表，因版权问题2001年关闭网站 2000年，第一个无结构P2P网络Gnutella（很快关闭），与Napster目标同为交换文件 几乎同时“自由、安全、匿名”的Freenet目标是信息共享平台 KaZaA（无结构）引入超结点，开发结点异构性（结点能力差异）

eDonkey：文件分块、同一文件可并行下载，网络结构类似KaZaA 2000年8月，出版商O’Reilly组织P2P峰会目的：诠释P2P的意义，描述P2P的作用，消除P2P的负面影响 同时，Intel成立P2P工作组，02年发布.NET基础架构上的P2P Accelerator Kit及P2P安全软件包，可建立P2P安全Web应用；IBM、HP等也利用P2P技术进行开放存储与网络共享打印等

二、第二阶段：2001～2003，学术商用 2001年，产生结构化structured P2P体系 IEEE成立P2P专业会议，ACM发表经典论文 P2P经典模型及应用体系：Chord, CAN, Tapestry, Pastry, CFS, OceanStore, PAST 学术团体及技术组织成立或完善了专门的P2P研究组，MIT, U.C. Berkeley, Microsoft/Rice Univ., Stanford

2002年，P2P专业会议IPTPS及其它如SIGCOMM等网络通信、分布式系统领域的重要会议关注P2P 2002年10月BitTorrent推出，2003年世界范围流行(尤其是在中国)。BitTorrent使用基于文件的分布式服务器，共享同一文件的用户构成一个独立的子网，单点失效不会影响整个网络，网络不易被关闭（与Napster比较）；分片优化、阻塞控制从而充分利用网络资源。它的快速文件分发下载的特性引起网络多媒体文档下载的一个浪潮。

2003年实质进入一个稳定期，在解决了P2P网络最核心的问题后，学术界将重点放在其性能增强，安全性、实用系统开发上 Skype，全球第一家P2P即时通信公司，P2P商业价值 Microsoft也加入研究

三、第三阶段：2004~迄今，共识实用 P2P网络的主要问题已解决，核心机制、整体架构已形成，在重大问题形成共识的基础上，追求g更细节、更高效、更实用，试图整合不同的P2P应用系统（类似web推出后的应用) 05年底，Springer在其LNS(Lecture Notes in Computer Science)系列中出版Peer-to-peer system and application, 提供了对P2P领域权威、全面的总结与展望 见http://www.informatik.uni-trier.de/~ley/db/conf/p2p/p2p2005lncs.html P2P目前更侧重应用拓展以及与其它领域的研究结合

1.3 P2P网络的优势 一、提高网络工作效率 对比C/S，结点间的协作效率更高。 结构化P2P有严格拓扑结构，基于DHT，将网络结点、数据对象高效均匀地映射到覆盖网中，路由效率高 二、充分利用网络带宽 P2P不通过服务器进行信息交换，无服务器瓶颈，无单点失效，充分利用网络带宽，如BT下载多个文件，可接近实际最大带宽，HTTP及FTP很少有这样的效果

三、开发了每个网络结点的潜力 结点资源：计算能力及存储容量 个人计算机并非永久联网，是临时性的动态结点，称为“网络边缘结点” P2P使内容“位于中心”转变为“位于边缘”，计算模式由“服务器集中计算”“分布式协同计算”

四、具有高可扩展性(scalability) 可扩展性衡量，当网络结点总数增加时： 结点负载如何改变 为适应规模扩大而需要增加的额外设备的数量 任意两个网络结点通信效率如何改变，尤其是路由效率 P2P网络中，结点间分摊通信开销，无需增加设备，路由跳数增量小

五、良好的容错性 冗余方法：空间换取容错 周期性检测：时间换取容错(结点自适应状态维护)

1.4 P2P网络的主要技术特点 网络拓扑结构严格 结点和数据对象位置确定 高效路由 星形、随机图、双层、带弦环、超立方体、多维空间、de Bruijn图、蝴蝶、CCC、跳表结构 结点和数据对象位置确定 分布式散列表将结点、数据对象映射到覆盖网 高效路由 服务器路由、无结构路由、双层路由、数值邻近路由、逐位匹配路由、位置邻近路由、层次路由、混合式路由

1.5 P2P网络的各种应用 文件共享：BitTorrent，eMule，Maze，Kugoo 多媒体传输：Skype（语音），PPLive（视频），TvAnts，AnySee 实时通信：QQ、MSN Messenger、Skype，都支持C/S、P2P模式 协同工作：Groove虚拟办公室 分布式数据存取：广域、海量，CFS、PAST、OceanStore、Granary

P2P搜索引擎：第三代搜索引擎技术，离实用有差距 P2P即可是简单的，又可是复杂的体系 分布式计算：GPU，Gnutella全球处理单元，计算任务由对等结点而非服务器分配，SETI@Home，U.C. Berkeley搜索外星文明 P2P搜索引擎：第三代搜索引擎技术，离实用有差距 P2P即可是简单的，又可是复杂的体系 TinyP2P—15行代码的P2P软件 JXTA—开放式P2P开发平台

TinyP2P 键入下面命令将程序运行在服务器模式： python tinyp2p.py password server hostname portnum [otherurl] 键入下面命令将程序运行在客户端模式： python tinyp2p.py password client serverurl pattern

JXTA Architecture

例子：Skype通信 Skype=VoIP+P2P(KaZaa) 传统VoIP的连接问题：大多数网络电话应用程序不能在防火墙和 NAT（网络地址转换) 设备后面使用，但几乎所有的宽带用户都使用 NAT 或防火墙，因此他们无法使用网络电话应用程序。Skype 通过P2P的节点 协作技术，几乎可以在任何防火墙和 NAT 后面使用！ Skype的P2P结构灵活(动态调整最优连接)而且安全，采用端到端的加密

Skype沟通两个防火墙后的用户通话 Skype的超级节点(选举出来的，具有public IP)可充当relay nodes Enables NAT traversals Alice would like to call Bob (or inversely) Alice Bob

Alice would like to call Bob (or inversely) Contact Relay Node Call Skype relay node Bob

进一步了解udp punch http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html

一些成功的应用 BT PPLive PPStream UUSee 迅雷 QQ旋风

BT 2002年10月 Bram Cohen穷困潦倒……  企业家Gilmore资助生活费  2003年BitTorrent流行  2003年末找到工作！

PPLive, PPS, UUSee 2003年，中国 PPLive：姚欣（华中科大本科） PPStream：张洪禹（哈尔滨师大本科）+ 雷量（成都一程序员） UUSee：李竹（清华本科）+ 刘怀宇（清华硕士）

迅雷，QQ旋风 迅雷 2003年，深圳 邹胜龙（硅谷海归）+ 程浩（硅谷海归） 中国最大的互联网资源聚合平台 QQ旋风 2007年，上海 腾讯研究院 No.2互联网资源聚合平台

1.6 P2P应用的成功之道 高度可扩展性 不需要支付昂贵的服务器或带宽 资源由参与的用户扩展性提供 例子： resistant to flash crowds (FIFA网站) flash crowd = a crowd of users all arriving at the same time 阅读论文： UNDERSTANDING THE FLASH CROWD IN P2P LIVE VIDEO STREAMING SYSTEMS Explain what a flash crowd is!!!

高可用性-大部分时间都可以访问， 抗DDoS(OceanStore) 易于组建-边缘计算力的自组织，免费的用户资源

History, motivation and evolution - Applications Application type: P2P is not restricted to file download! P2P Protocols: 1999: Napster, End System Multicast (ESM) 2000: Gnutella, eDonkey 2001: Kazaa 2002: eMule, BitTorrent 2003: Skype 2004: PPLive Today: TVKoo, TVAnts, PPStream, SopCast… Next: Video-on-Demand, Gaming File Download Streaming Telephony Video-on-Demand Gaming

History, motivation and evolution - Market share Marketshare in 2004 (source CacheLogic)

本课程研究探索路线

本课程项目参考介绍 项目说明： 1、每位同学必须参与一个项目 2、每个项目最多不超过3人，可自拟项目，但必须与P2P研究相关。 3、项目最终需要答辩并且提交一份完整的项目技术报告(Technical Report) http://p2p.sjtu.edu.cn/p2p下载项目参考

动手实践 TinyP2P：http://dougal.gunters.org/blog/2004/12/15/tinyp2p JXTA SHELL:http://www.javaworld.com/javaworld/jw-01-2002/jw-0111-jxtashell.html

课后要求 了解P2P当前研究进展，选择有创新性的项目方向，组织项目小组。