Incremental Quality Inference in Crowdsourcing

Slides:



Advertisements
Similar presentations
模板的使用 教育学 江西教育学院教育系 冯芳 2012 - 10. 第二章 教育学的产生和发展 第一节 教育学的研究对象和任务 第二节 教育学的产生与发展 第三节 学习教育学的意义与方法.
Advertisements

月經異常的原因及警訊 組員: 陳少康、張康樂、許晉愷、何曄、方泠瑩、張 顓麟、蘇梓喬、溫鵬皓、林雅雯.
用 藥 安 全 用 藥 安 全 護 理 師 張 嘉 芬. 前 言 前 言 正確用藥的方法 藥袋上的秘辛 為了減少重大疾病或是醫療處理、 用藥不當的相關事件發生。
阿尔伯特亲王 阿尔伯特亲王纪念碑 维多利亚女王夫妇 维多利亚女王一家 建造水晶宫 水晶宫初建时的照片.
中國 (China) 組長 : 葉品宏 組員 : 王柏偉、戴瑞賢、張凱奇、 曾宏榮、趙方澤 組長 : 葉品宏 組員 : 王柏偉、戴瑞賢、張凱奇、 曾宏榮、趙方澤.
說明事項  大陸交換學習近況  大陸姐妹校介紹  申請資格和程序  研究生補助 大陸交換學習近況 2009 年秋首次進行,計有 6 校共 20 位學生來校交換學習。 來校交換生.
4.体词 体词包括:名词,处所词,方位词,时间词,区别词,数词,量词以及一部分代词。.
年終工作獎金 及考績獎金 法規與實務 苗栗縣政府人事處 副處長 陳 坤 榮 中華民國102年1月25日.
梦想启航 ——大学生活与职业规划专题讲座.
消失的吸管 隊名:吸管應該消失才隊.
河北保定外国语学校 高三家长会.
助學工作說明會 及 教育訓練.
報告書名:父母會傷人 班級:二技幼四甲 姓名:吳婉如 學號:1A2I0034 指導老師:高家斌
師資生修讀教育學程 重點提醒 師資培育暨就業輔導中心.
文書檔案組Q&A 崇右技術學院 文書檔案組 Q & A 總務處.
以信息化带动教育现代化,打造教育的“南山质量”
公職人員財產信託簡介 第一銀行信託處 編製.
經分表聘用兼任助理流程 完成 新增/修改 經分表 計畫無聘任兼任助理(新增) 紙本送所屬單位審核 計畫聘任兼任助理(新增)
个体税收征管政策讲解 浏阳市地方税务局.
未婚懷孕:你想清楚了嗎 瑞芳國中 林碧欣.
國科會經費報銷說明 報告人:陳秀合 分 機: 年11月 12日(一).
媽,我們真的不一樣 青少年期與中年期 老師: 趙品淳老師 組員: 胡珮玟4A1I0006 馬菀謙4A1I0040
課室經營-老師實務分享 課程名稱:幼兒園課室經營 指導老師:李芳靜 組員:1A3I0004蔡雨潔1A3I0009鄭益秀
實用技能學程答客問 Q&A 大明高中附設進修學校 教導處 編製.
畜牧類天然災害查報 及救助作業簡介 臺南市政府農業局畜產科 李東仁 臺南市政府農業局畜產科.
氣喘 組別:第一組 組員: 4A 蔡易儒 4A1I0026 鄭筠蒨 4A1I0034 韓宜瑄 4A1I0035 劉毓眉
財團法人台北市任兆璋修女林美智老師教育基金會
100學年度719班 親師懇談.
杜甫诗三首 《望岳》 《春望》 《石壕吏》 授课人:姚晓霞.
班級:二幼三甲 姓名:郭小瑄 、 詹淑評 學號:1A2I0029 、1A2I0025
社團資料製作 亞東技術學院課外組 岳擎天
道路、管線事故緊急應變處理課程.
指導老師:陳韻如 姓名:吳宜珊 學號:4A0I0911 班級:幼保二乙
財團法人台北市任兆璋修女林美智老師教育基金會
大 綱 國有財產之來源 國有財產之範圍 國有財產之種類 國有公用財產管理 使用原則 國有公用財產管理
監察院公職人員財產申報處 編製 報告人:林世忠
花的構造- (資料參考--鄭元春 植物Q&A一書) 花瓣 花萼 雌蕊 雄蕊.
認識股票 認識股票.
年終工作獎金 及考績獎金 法規與實務 苗栗縣政府人事處 副處長 陳 坤 榮 中華民國100年12月20日.
第2课 古代手工业的进步 课标:列举古代中国手工业发展的基本史实,认识古代中国手工业发展的特征.
103年度身心障礙福利機構評鑑 日間及住宿機構指標說明 ~會計及財務管理~
屏東縣政府對民間團體補助經費作業要點 & 簡易計畫書撰寫概要與核銷注意事項
--洲仔尾的鹼菜 與櫻桃鴨的結合-- 鴨賞的故事.
傳統童玩遊戲創新 組別:第八組 班級:幼保二甲 組員: 4A0I0005柯舒涵 4A0I0011謝孟真
戲水安全.
外僑扣繳實務講習 1.
職場性騷擾相關法 律責任-以上司對 下屬性騷擾為例
重点难点 参考文献 教学目标 一、中央集权国家的建立 二、秦始皇巩固统一的措施 三、统一的多民族封建国家的形成 练习与思考.
杜甫诗三首 《望岳》 《春望》 《石壕吏》.
主講人:曲軒 協理 就業情報資訊 日期:2003年5月8日
也許你很疑惑: 最近升官的同事,專業能力又沒你強! 情場得意的朋友,長的又沒你帥或美! 小曹要交新朋友,為什麼就是比較簡單!
衛生筷,衛生嗎? 綠的關懷協會 常務理事 董雅坋.
高粱酒香-金門城.
讀報教育 報告者:施子慧 資料來源:徐瑞美、施子慧.
103年度 健康促進學校輔導與網站維護─ 「臺灣健康促進學校之網站特色介紹」 張子超 教授
107年勞動基準法修法重點解析 高雄市政府勞工局.
國立中山大學管理學院 國際人才培育中心 大專人才培訓就業學程.
開課單位作業流程及Q&A 開啟衛生署積分系統首頁 畫面如下頁.
詩文的形成 有意義的字詞 句子 段落 一首詩文的形成,是由有意義的字詞組成句子,再由句子組成段落。
精算假設品質的基本要求 精算假設應提出明確的假設數值,同時應提供實際經驗率資料以作為假設訂定之依據,且精算人員應說明實際經驗率與假設數值間的合理關係。 精算假設若由其他單位提供(例如:利率或投資報酬率假設由投資部門提供),精算人員仍應了解其假設的方法,並就其假設合理性及假設方法提出意見。 精算假設若與前一年相較有所變更時,精算人員應說明假設改變的原因,對於有改變的精算假設數值宜列對照表比較並說明。精算人員應評估假設的改變對財務影響是否顯著,若顯著則應提供量化數值以說明其影響程度。
臺南市 107學年度 國中生志願選填試探與輔導知能研習
1.E化系統 之 專案登錄 核銷作業 2.常見退件原因 3.其他注意事項
國中志願選填試探與輔導知能研習 『學校適性輔導實務分享』 2015年12月1日(二) 分享者:蔡幸君.
2011年版大學學系探索量表測驗結果說明 輔導室 楊欣翰老師.
中小學教師科博館教學導覽教師研習工作坊 國立自然科學博物館 科學教育組 葉蓉樺博士.
101學年度繁星推薦校內甄選學生說明會 海山高中輔導處
培僑小學 成功父母學堂 常識科專題研習工作坊
104年度自我評鑑 學術單位內部評鑑工作研習會.
訪談地點:高雄縣大社鄉便當店 組員:王佩儀 B 王紀璇 B 許乃心 A
教育部彈性薪資說明會 主辦單位:教育部 執行單位:彈性薪資專案辦公室 主 持 人:周麗芳 國立政治大學財政學系教授 101年4月18日.
Presentation transcript:

Incremental Quality Inference in Crowdsourcing 众包环境下多谓词查询优化 冯剑红 胡卉芪 翁学平 冯建华 Jianhong Feng (Tsinghua, China) Guoliang Li (Tsinghua, China) Henan Wang (Tsinghua, China) Jianhua Feng (Tsinghua, China)

概览 研究动机 框架 基于随机序列的最优选择算法 基于过滤的序列选择算法 实验 结论

众包环境下的查询优化 研究动机 研究现状 不同的谓词顺序代价不同 传统查询优化技术不适用众包环境 不考虑谓词顺序生成的代价 Query: 图片中的人物是“男性” 并且“棕色头发” 并且“带眼镜” 研究动机 不同的谓词顺序代价不同 传统查询优化技术不适用众包环境 不考虑谓词顺序生成的代价 研究现状 利用人类本能设计问题 [A. Marcus, PVLDB-13]

众包环境下多谓词查询优化 研究挑战 研究思路 如何获得高质量的谓词顺序 如何控制谓词顺序生成代价 基于采样的众包多谓词选择查询 利用随机序列获得谓词顺序 利用谓词选择性筛选序列

基于采样的众包多谓词选择查询 谓词顺序生成

谓词顺序生成问题 输入 输出 样本集合规模直接影响谓词顺序质量 R:样本集合 :选择查询 减少谓词顺序生成代价, 同时获得高质量的谓词顺序 例如: 查询 {性别=男性,头发=棕色,眼镜=是} 最优谓词顺序:眼镜,头发,性别 减少谓词顺序生成代价, 同时获得高质量的谓词顺序

基于随机序列的最优选择算法 算法框架 第1步:生成m个随机序列: 第2步:人工验证随机序列并计算序列代价 例如:序列1{头发,眼镜,性别},所有图片的头发已经获得验证结果,序列2{眼镜,头发,性别},头发不需要再次验证 辅助矩阵记录已经验证过的问题 =1,-1 第3步:比较序列代价,选择最小代价的序列

基于随机序列的最优选择算法 通过随机序列数量m控制谓词顺序质量 确保 能够以大于 的概率位于k个最好的谓词顺序中 满足该公式的最小m

基于过滤的序列选择算法 观察 基本思路 谓词数量较多,基于随机序列的选择算法代价难以保证 质量较差的后续随机序列增加代价 过滤质量较差的谓词序列 利用辅助矩阵计算谓词选择性 当 =1, =1 质量较差序列: 并且Aj 位于Ai 的前面 设置阈值保证谓词选择性的有效性

基于过滤的序列选择算法 序列数量 OS-m: 采用基于随机序列方法的序列数量 在生成第i+1个序列的时候开始筛选序列 基于过滤的序列选择算法得到的结果 位于k 个最好的谓词顺序中的概率: 基于随机序列的最优选择算法 OS- :动态确定序列数量 只需要在 个较优的序列中选择一个序列 :已经获得谓词选择性分值的谓词数量 产生序列的终止条件:

实验评测 数据集 对比方法 People Cloth 1,000张人物图片 5个属性 Crowdflower 1,856张衣服图片 8个属性 Amazon Mechanical Turk 对比方法 暴力方法,真实最优谓词顺序

评测谓词顺序生成代价 People人物 Cloth衣服 样本代价:获得谓词序列产生的问题数量 基于过滤的方法样本代价少于基于随机序列的方法,谓词数量较少时,基于随机序列的方法样本代价少于暴力方法 随着k增加,基于随机序列的方法样本代价下降明显

评测谓词顺序质量 People人物 Cloth衣服 总体代价:采用谓词序列实现选择查询所需要的问题数量 基于过滤的方法始终优于基于随机序列的方法,非常接近真实最优谓词顺序 随着k增加,基于随机序列的方法总体代价上升明显

结论 众包环境下多谓词查询优化 提出了基于随机序列的最优选择算法 提出了基于过滤的序列选择算法 显著减少查询序列生成的代价,同时获得高质量的查询序列

Thanks! Q&A