多媒体搜索引擎 多媒体文档检索(2).

Presentation on theme: "多媒体搜索引擎 多媒体文档检索(2)."— Presentation transcript:

1 多媒体搜索引擎 多媒体文档检索(2)

2 Multimedia Search Engine
多媒体文档检索 多媒体查询输入 更复杂的查询输入手段 都不好用！ 如何解决？ 2019年11月17日 Multimedia Search Engine

3 Multimedia Search Engine
多媒体文档检索 多媒体查询输入 多媒体查询的特点 需求不明确 “我不知道我想要什么，我知道了就不需要再找了” 浏览和查询结合 因为需求不明确，必须浏览大量文件才能找到合适的 有较强的视觉查询需求 大量文字难以描述的信息 单纯考虑输入的问题难以解决 使用完全不同的系统 2019年11月17日 Multimedia Search Engine

4 Multimedia Search Engine
多媒体文档检索 检索系统应当基于完全不同的结构 推荐 需求不明：需要推荐 浏览大量文件：需要推荐 视觉查询：可在推荐的界面上实现 适合多媒体检索的应用特点 如何推荐？ 2019年11月17日 Multimedia Search Engine

5 Multimedia Search Engine
多媒体文档检索 条目式推荐难以适应用户需求 信息量小，但用户兴趣差异大 缺乏总体信息 如何克服？ 2019年11月17日 Multimedia Search Engine

6 Multimedia Search Engine
多媒体文档检索 推荐样例 2019年11月17日 Multimedia Search Engine

7 Multimedia Search Engine
多媒体文档检索 推荐样例 2019年11月17日 Multimedia Search Engine

8 Multimedia Search Engine
多媒体文档检索 推荐样例 2019年11月17日 Multimedia Search Engine

9 Multimedia Search Engine
多媒体文档检索 推荐样例 2019年11月17日 Multimedia Search Engine

10 Multimedia Search Engine
多媒体文档检索 推荐样例 2019年11月17日 Multimedia Search Engine

11 Multimedia Search Engine
多媒体文档检索 推荐样例：不仅仅局限于多媒体 2019年11月17日 Multimedia Search Engine

12 Multimedia Search Engine
多媒体文档检索 推荐样例：不仅仅局限于多媒体 2019年11月17日 Multimedia Search Engine

13 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 可视化（Visualization） 视觉是人类获取和处理信息最快的感知 “百闻不如一见” 把数据、文字信息转换成视觉信息可以提高人机信息交换速度和效率 文字条目也是利用“视觉”？ 并非真正的“利用”视觉 真正的：颜色分布，三维形状，动画等等 多媒体信息包含大量视觉信息 可以很容易在可视化界面上表示出来 2019年11月17日 Multimedia Search Engine

14 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 知识提取(Knowledge Discovery) 原始信息是大量的，用户关心的是极少数 大多数是“正常的”，“不需要特殊处理的” “狗咬人不是新闻，人咬狗才是新闻” 原始信息是细节，用户关心的是整体 “高屋建瓴” 原始信息是静态的，用户关心的是趋势 “是涨是跌？” 如何从原始信息提取出“用户关心”的信息？ 2019年11月17日 Multimedia Search Engine

15 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 可视化 需要好的“知识” 知识提取 需要用户的需求来自可视化界面的输入 使用类似EM算法的迭代？ 2019年11月17日 Multimedia Search Engine

16 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 与其它EM算法应用的差异 人在循环中 迭代次数不能太多 每次周期长 用户失去耐心 一开始就必须有比较不错的结果 差的开始难以吸引用户 差的开始需要迭代次数多 “第一推动力” the first impetus 2019年11月17日 Multimedia Search Engine

17 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 必须在没有用户输入时提取好的知识 反馈只是对知识作局部调整，展示更多局部细节 估计用户需求 通过收集的数据计算出用户需求 使用什么数据？ 如何计算？ 2019年11月17日 Multimedia Search Engine

18 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 估计用户需求 用户访问历史 最直观 获取困难 预测准确率差 其他用户最近的访问记录 最直接（“人肉搜索引擎”） 从众心理，热门的信息大家都爱看 获取困难，计算量巨大 仅极少数居垄断地位的公司可办到 如何实现？ 2019年11月17日 Multimedia Search Engine

19 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 估计用户需求 信息吸引力评价模型 如果已经知道一个信息：不感兴趣 如果尚未知道一个信息：可能感兴趣 类比通信和压缩：如果信息可被预测，则该信息可被压缩而不会导致信息丢失 压缩剩余的信息(无法被准确预测的信息)是必须传递的信息(用户感兴趣的信息) 2019年11月17日 Multimedia Search Engine

20 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 估计用户需求 信息吸引力评价模型 用用户的知识对当前信息进行预测，把预测准确的信息去除，则剩余信息是用户感兴趣的信息 如何建立用户知识模型？ 数据 有用信息 用户知识模型 2019年11月17日 Multimedia Search Engine

21 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 估计用户需求 建立用户知识模型 用户的知识来源：以前的数据 知识库 2019年11月17日 Multimedia Search Engine

22 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 估计用户需求 建立用户知识模型 如果收集到（用户记忆持续时间内）所有的历史数据，则所有这些数据基本可表示用户的知识 要考虑传播途径的影响 要考虑学习曲线和遗忘曲线 不可收集数据足够小 例：谣言 2019年11月17日 Multimedia Search Engine

23 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 如何表示知识 如何预测 如何可视化 当前数据 有用信息 历史数据 2019年11月17日 Multimedia Search Engine

24 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 知识表示技术 易于从海量数据提取 可保留尽可能多的信息 易于预测算法和可视化算法使用 语义关联网 2019年11月17日 Multimedia Search Engine

25 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 知识表示技术 语义关联网 语义原子为单位 最小语义单位 提取方便 记录语义原子和关联 同时保留关联信息 比矢量模型信息多 复杂的大型图结构 易于可视化 2019年11月17日 Multimedia Search Engine

26 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 知识表示技术 语义关联网 数学模型：把语义原子看做随机变量，则语义关联网表示了语义原子的概率密度函数和语义原子对的概率密度函数两个概率密度函数 概率密度函数易于统计，易于计算差异 2019年11月17日 Multimedia Search Engine

27 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 预测 可用KL-距离计算当前数据与历史数据的差异 当前数据 有用信息 历史数据 2019年11月17日 Multimedia Search Engine

28 Multimedia Search Engine
多媒体文档检索 实现好用的推荐需要的技术 可视化 人类视觉的特点：关注中心，兼顾四周 中心需要较多细节信息 四周需要较多结构信息 可以帮助掌握全局结构信息 可以在浏览过程中平滑地改变焦点 双曲几何可视化(Hyperbolic Visualization) 类似鱼眼效果 2019年11月17日 Multimedia Search Engine

29 Multimedia Search Engine
多媒体文档检索 可视化推荐 集成以上所有技术 2019年11月17日 Multimedia Search Engine

30 Multimedia Search Engine
多媒体文档检索 可视化推荐 集成以上所有技术 2019年11月17日 Multimedia Search Engine

31 Multimedia Search Engine
多媒体文档检索 多媒体搜索引擎 可视化推荐 提供“第一推动力” 提供视觉检索输入功能 提供方便的浏览功能和概念检索输入功能 QBE 提供视觉检索功能 关键字检索 提供概念检索功能 2019年11月17日 Multimedia Search Engine