搜索小组本学期工作汇报 汇报人:许玉赢.

Slides:



Advertisements
Similar presentations
模板的使用 教育学 江西教育学院教育系 冯芳 2012 - 10. 第二章 教育学的产生和发展 第一节 教育学的研究对象和任务 第二节 教育学的产生与发展 第三节 学习教育学的意义与方法.
Advertisements

用 藥 安 全 用 藥 安 全 護 理 師 張 嘉 芬. 前 言 前 言 正確用藥的方法 藥袋上的秘辛 為了減少重大疾病或是醫療處理、 用藥不當的相關事件發生。
阿尔伯特亲王 阿尔伯特亲王纪念碑 维多利亚女王夫妇 维多利亚女王一家 建造水晶宫 水晶宫初建时的照片.
梦想启航 ——大学生活与职业规划专题讲座.
河北保定外国语学校 高三家长会.
党的十八届四中全会 依法治国精神解读. 党的十八届四中全会 依法治国精神解读 一、十八届四中全会概况 中国共产党第十八届中央委员会第四次全体会议,于2014年10月20日至23日在北京举行。 全会审议通过了《中共中央关于全面推进依法治国若干重大问题的决定》。
以信息化带动教育现代化,打造教育的“南山质量”
证券市场法律制度与监督管理 作者:张学亮.
示范流程培训课件.
个体税收征管政策讲解 浏阳市地方税务局.
封面 2015易驾考最新分享: 科目二考试方法秘诀 文章来源:易驾考官网.
基于行业的 企业技术创新信息保障体系研究 刘 华 博士 中国科学技术信息研究所.
第四讲 1949—1991年的中苏关系 及其经验教训.
中国历史 七年级下册.
“鼠标加水泥”的百货公司——武汉中百 朱巧巧 陆嘉怡 田泽宇.
合理控制索道游客流量 确保景区可持续发展 云南丽江玉龙雪山索道 陈加林 二0一五年十一月.
千里挑一的“征途” ——浅谈中国“国考”热.
对于湛江师范学院学生 学习目标与职业规划 调查总结
我怀念的乡村记忆 陈秀华 社会工作0841.
沟通技巧 主讲:涂育俊.
研修4组 学习简报(第3期) 主编:左文玲 2015年2月7日.
潘集小学英语班 学习简报(第5期) 主编:吴婷 2016年2月28日.
与领导、下级、同事的 沟通技巧.
潜能宇宙平衡法则 ——启动11.11天地人合新生命工程(分类系统) 凛然智慧(北京)教育咨询有限公司.
失眠的饮食及调理 北京国济中医院
中餐烹調實習Ⅲ 第九章中國菜系介紹 林可薇 製作.
新高考研究介绍 湖北省教育考试院项目研究组.
如东中专 学校文化课现状及提升举措的思考
第3讲 时间管理.
续班指导.
高等教育出版社 工作汇报 化学化工分社 翟怡.
******班班级学习简报(第*期) 主编:*** ****年**月**日.
采购控制程序 2008年9月.
单位:十堰离退休职工服务中心 时间:2016年2月1日
中国家电企业如何打造全球化品牌 黄 辉.
四川信托-汇誉10号集合资金信托计划.
《现代大学 英语》 说课程 公共课部 臧朝晖 益阳医学高等专科学校.
保大人还是保小孩 ---产房里的伦理学问题 小组成员 蔡婷 基础医学系 郭灵飞 基础医学系
超星尔雅 tsk.erya100.chaoxing.com 网络通识课程学习指导.
浅谈吉林省建筑采暖用能现有问题及解决方案
中药学 第十一章 祛风湿药.
形势与政策 2016年上.
幼儿园班务管理实践.
中 医 内 科 学 第一章 第一节 感冒.
中共江西省委党史研究室 从井冈山斗争中汲取信念的力量 沈谦芳 (江西省委党史研究室主任,博士、教授)
电气安全技术和管理 ——面对工厂管理者的电气安全管理 主讲人:林仿生.
班级小插曲.
第四节 存货 一、存货的分类 二、存货核算的主要内容 三、存货的确认条件 四、存货入账价值的确定 五、存货发出的计价 六、原材料
七年级下册《生物学》 神经调节的基本方式 小关镇第一初级中学 张书珺.
家庭教育 ----关爱成长 颜士杰.
2016年陕西省中考 语文试题分析(宝鸡市) 金台区教研室 马莉宁.
第三章 人类社会及其发展规律.
中 医 内 科 学 第二章 第二节 胸 痹.
小组成员:吴芋蓓,钟汶珊,程瑶,唐嘉馨,朱然
行銷與流通管理系 招生策略與管考簡報 簡 報 人:李國良 簡報時間:106 年 3 月 21 日 歡迎委員蒞臨僑光科技大學會計資訊係指導
2015长沙事业单位 政策解读 中公教育:邓颖莉 主讲:XX.
科技经费管理与监督检查 浙江省科学技术厅 计划财务处 2012 • 8.
第七章 固定资产.
認識檳榔與口腔癌 九湖國小 護理師 謝金枝.
无分类商品搜索引擎的性能优化 姚晓 计算机应用研究中心
班級家長日召開經驗分享 如何邀請家長參加家長日 家長日召開前置的作業 家長日資料的編寫與整理 家長日召開前一日的準備工作 家長日的召開
苍溪县小学语文工作坊 学习简报(第4期) 主编:李周国 2017年4月30日.
2019/5/30 北京市药品供应评价模块 操作说明 北京市医药集中采购服务中心.
合 理 化 建 议 ——病区设计定时开放电视机 普外科:应莲琴.
统计学 第7章 参数估计 教师:张文利.
点击此处添加标题文字 点击此处添加副标题.
如何 使用简介.
“大学生恋爱 登记制”的问 卷调查分析 小组成员:
美 术.
腾讯广告认证 销售顾问认证考试说明.
Presentation transcript:

搜索小组本学期工作汇报 汇报人:许玉赢

目录 完成的内容 01 展望 02

完成的内容 论文统计分析与抓取 论文搜索方面 论文认领 论文统计管理系统的开发 监控论文爬虫系统的运行,重新抓取异常数据 开发ACM、SCI和《计算机科学》等论文库的爬虫 论文搜索方面 添加按作者搜索论文功能 提高论文搜索的准确率 合并全网论文搜索与站内搜索 修改论文搜索首页,默认不再全部显示数据,加快速度 全网搜索/站内搜索可以根据paper类型进行搜索 论文认领 解决论文认领时重复推荐的问题 添加批量认领功能 把论文认领移到空间

完成的内容(续) 动态搜索等站内搜索 升级动态搜索、学者搜索(中文版和英文版)、团队搜索和课程搜索,由Mysql的like查询改为全文检索 修改各个搜索首页,按访问量分页展示全部数据 修改动态搜索首页的关键词为标签云展示 升级学者搜索的结果排序,在相关度的基础上再按访问量排序 按单位搜索课程和搜索团队 建索引的出错处理 升级solr搜索的分词器 添加过滤停词功能 添加搜索提示功能 添加繁简体互搜功能 改进分词算法 改进搜索排序算法 统一搜索导航栏

论文统计 按语言统计 按类型统计 按年份统计

按语言统计 语言 数量 中文 41423681 英文 33918084 德文 75728 法文 1179 荷兰文 1802 意大利文 952 其他 1820262 总数 77241688

按类型统计 类型 数量 期刊论文 72977716 期刊杂志 21525 会议论文 3622033 会议 31522 书籍章节 23280 学术专著 36050 学位论文 6850 其他 257343 总数 77241688

2015年抓取的论文 2015年共抓取论文11 014 701篇

近10年论文统计

近几年论文较少的原因 微软学术搜索改变,链接失效 知网禁止任何爬虫抓取其论文细节页 自2014年起不再抓知网的论文 2005 566449 年份 数目 2005 566449 2006 650094 2007 827255 2008 860307 2009 789082 2010 801915 2011 931506 2012 786817 2013 3524 2014 微软学术搜索改变,链接失效 知网禁止任何爬虫抓取其论文细节页 自2014年起不再抓知网的论文 抓取的知网论文统计

合并全网论文搜索与站内论文搜索

论文统计管理系统的开发

论文统计管理系统

升级动态搜索等站内搜索 原搜索是用mysql的like查询 耗时 返回的是精确匹配 无中文分词

修改各个搜索首页 按访问量分页展示全部数据

学者搜索首页

动态搜索的关键词展示

升级学者搜索的结果排序 识别是否搜索单位 按访问量排序

升级各个搜索的排序算法 部分匹配查询

部分匹配查询

添加搜索提示功能

按单位搜索课程

按单位搜索团队

繁简体互搜功能

升级分词算法 可以正确切分姓名 例子:切分文本“计算机学院汤庸教授” 新分词算法的结果 旧算法的结果

展望 完善、美化前端页面 开发爬虫运行监控系统 定时抽样,检查数据完整性 清洗论文数据,重新抓取缺少某些信息的论文

THANKS