Project Description
整体要求 设计实现一个分布式系统 多客户端或服务器端 包含共享的状态和资源 多个单元(人或者机器)可以实时更新某些状态 如果一个节点发生故障,可以根据状态恢复 引入课上介绍的算法或设计模式
分布式系统举例(1) 多人协作文档编辑 类似与Google Doc 多人同时在线编辑文档 基本的容错功能
分布式系统举例(2) 多人在线游戏 坦克大战 吃豆子 太空入侵者 …..
分布式系统举例(3) 分布式文件系统 P2P模式 HDFS模式
2. Index构建 目的 要求 利用Map Reduce框架构建Wikipedia的索引 索引包含TF信息,DF信息(60) English Version 14.3G (zipped) 要求 索引包含TF信息,DF信息(60) 索引包含TF信息,DF信息,Position信息(20) 关键字检索(30) 其他 索引压缩 复杂检索 网页界面 …
3. Language Model学习 目的 要求 利用Map Reduce框架构建Tri-gram Language Model 中文语料 Sogou News 要求 利用大于20G语料直接计算 P(W3|W1 W2) (70) 加入Smoothing (30) 汉字输入预测 (30)
文档提交列表 任务说明与描述 参与人员任务分工说明 程序启动与操作说明 程序文件/类功能说明 架构以及模块实现方法说明