Download presentation
Presentation is loading. Please wait.
1
Sparql Query Log 分析初步 Jiwei Ding present
2
研究背景 我们希望从大规模的Sparql查询日志中，分析出常用的原子查 询模式； 常见的原子查询模式有哪些；（哪些查询是可分割的？）
Filter 内常用的条件有哪些；（=, !=, <, >, Not Exist, …） 其他关键词使用情况；（Values, Bind, Union, SubQuery, …） 以及这些原子查询模式的组合方式； 例如 {<?x r1 e1>, <?x a c1>} 是一种常见的组合形式； 而 {<?x Max ?.0>, <?.0 Count ?.1>} 是几乎不会出现的组合； 整个Sparql查询图的形状；（链/树状、半径、围长、周长…） 以便于后续挖掘Sparql中的每个部件和自然语言表述的对应
3
参考文献 [1] (Wikidata query log 官方推荐文章) Adrian Bielefeldt, Julius Gonsior, Markus Krötzsch: Practical Linked Data Access via SPARQL: The Case of Wikidata. 2018 [2] (一个Sparql查询的图形化分析工具) Angela Bonifati, Wim Martens, Thomas Timm: DARQL: Deep Analysis of SPARQL Queries. WWW (Companion Volume) 2018: [3] (面向DBpedia等多个知识库的query log) Angela Bonifati, Wim Martens, Thomas Timm: An Analytical Study of Large SPARQL Query Logs. PVLDB 11(2): (2017)
4
数据源(Sparql query log) USEWOD - Usage Analysis and the Web of Data (Dbpedia、 Wikidata等) (16年版43G) LSQ - The Linked SPARQL Queries Dataset (Dbpedia、Linked Geo Data、Semantic Web Dog Food等) (DBpedia部分压缩后106M) Wikidata:SPARQL query service/queries/examples e/queries/examples (几百条，有对应描述，非常难！) Wikidata SPARQL Logs ( Wikidata_SPARQL_Logs/en) (10G+，几十万个organic query) DBPedia query logs for 2013, 2014, 2015 and 2016 directly from Openlink (未公开)
5
Robotic / Organic query [3]
![Robotic / Organic query [3]](http://slidesplayer.com/slide/17447805/102/images/5/Robotic+%2F+Organic+query+%5B3%5D.jpg "Robotic / Organic query [3]")
6
Robotic / Organic query，and query pattern [3]
![Robotic / Organic query，and query pattern [3]](http://slidesplayer.com/slide/17447805/102/images/6/Robotic+%2F+Organic+query%EF%BC%8Cand+query+pattern+%5B3%5D.jpg "Robotic / Organic query，and query pattern [3]")
7
Most frequent Wikidata properties [3]
![Most frequent Wikidata properties [3]](http://slidesplayer.com/slide/17447805/102/images/7/Most+frequent+Wikidata+properties+%5B3%5D.jpg "Most frequent Wikidata properties [3]")
8
各关键词的使用情况 [1] 各个数据集上关键词的分布差异极大，例如：Wikidata17数据集30%有Group by，42%有Order by；DBpedia12到16，分别有18%, 8%, 11%, 38%, 8%的问句有Distinct。
![各关键词的使用情况 [1] 各个数据集上关键词的分布差异极大，例如：Wikidata17数据集30%有Group by，42%有Order by；DBpedia12到16，分别有18%, 8%, 11%, 38%, 8%的问句有Distinct。](http://slidesplayer.com/slide/17447805/102/images/8/%E5%90%84%E5%85%B3%E9%94%AE%E8%AF%8D%E7%9A%84%E4%BD%BF%E7%94%A8%E6%83%85%E5%86%B5+%5B1%5D+%E5%90%84%E4%B8%AA%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%8A%E5%85%B3%E9%94%AE%E8%AF%8D%E7%9A%84%E5%88%86%E5%B8%83%E5%B7%AE%E5%BC%82%E6%9E%81%E5%A4%A7%EF%BC%8C%E4%BE%8B%E5%A6%82%EF%BC%9AWikidata17%E6%95%B0%E6%8D%AE%E9%9B%8630%25%E6%9C%89Group+by%EF%BC%8C42%25%E6%9C%89Order+by%EF%BC%9BDBpedia12%E5%88%B016%EF%BC%8C%E5%88%86%E5%88%AB%E6%9C%8918%25%2C+8%25%2C+11%25%2C+38%25%2C+8%25%E7%9A%84%E9%97%AE%E5%8F%A5%E6%9C%89Distinct%E3%80%82.jpg "各关键词的使用情况 [1] 各个数据集上关键词的分布差异极大，例如：Wikidata17数据集30%有Group by，42%有Order by；DBpedia12到16，分别有18%, 8%, 11%, 38%, 8%的问句有Distinct。")
9
各关键词的使用情况 [3] 机器查询有更多的Offset,Values; 人的查询有更多Filter,聚合
![各关键词的使用情况 [3] 机器查询有更多的Offset,Values; 人的查询有更多Filter,聚合](http://slidesplayer.com/slide/17447805/102/images/9/%E5%90%84%E5%85%B3%E9%94%AE%E8%AF%8D%E7%9A%84%E4%BD%BF%E7%94%A8%E6%83%85%E5%86%B5+%5B3%5D+%E6%9C%BA%E5%99%A8%E6%9F%A5%E8%AF%A2%E6%9C%89%E6%9B%B4%E5%A4%9A%E7%9A%84Offset%2CValues%3B+%E4%BA%BA%E7%9A%84%E6%9F%A5%E8%AF%A2%E6%9C%89%E6%9B%B4%E5%A4%9AFilter%2C%E8%81%9A%E5%90%88.jpg "各关键词的使用情况 [3] 机器查询有更多的Offset,Values; 人的查询有更多Filter,聚合")
10
查询中Triple的数量 [1] 统计Triple数量时仅考虑Select / Ask型问句，对于Union、Minus、Filter、Optional限定的triple只统计数量，不考虑上层关系。
![查询中Triple的数量 [1] 统计Triple数量时仅考虑Select / Ask型问句，对于Union、Minus、Filter、Optional限定的triple只统计数量，不考虑上层关系。](http://slidesplayer.com/slide/17447805/102/images/10/%E6%9F%A5%E8%AF%A2%E4%B8%ADTriple%E7%9A%84%E6%95%B0%E9%87%8F+%5B1%5D+%E7%BB%9F%E8%AE%A1Triple%E6%95%B0%E9%87%8F%E6%97%B6%E4%BB%85%E8%80%83%E8%99%91Select+%2F+Ask%E5%9E%8B%E9%97%AE%E5%8F%A5%EF%BC%8C%E5%AF%B9%E4%BA%8EUnion%E3%80%81Minus%E3%80%81Filter%E3%80%81Optional%E9%99%90%E5%AE%9A%E7%9A%84triple%E5%8F%AA%E7%BB%9F%E8%AE%A1%E6%95%B0%E9%87%8F%EF%BC%8C%E4%B8%8D%E8%80%83%E8%99%91%E4%B8%8A%E5%B1%82%E5%85%B3%E7%B3%BB%E3%80%82.jpg "查询中Triple的数量 [1] 统计Triple数量时仅考虑Select / Ask型问句，对于Union、Minus、Filter、Optional限定的triple只统计数量，不考虑上层关系。")
11
关键词之间共现的频次 [1, 3] Filter (F), And (A), Opt (O), Graph (G), Union (U), conjunctive pattern with filters (CPF) Join (J), Filter (F), Optional (O), Union (U), Path (P), Values (V), Subquery (S)
![关键词之间共现的频次 [1, 3] Filter (F), And (A), Opt (O), Graph (G), Union (U), conjunctive pattern with filters (CPF)](http://slidesplayer.com/slide/17447805/102/images/11/%E5%85%B3%E9%94%AE%E8%AF%8D%E4%B9%8B%E9%97%B4%E5%85%B1%E7%8E%B0%E7%9A%84%E9%A2%91%E6%AC%A1+%5B1%2C+3%5D+Filter+%28F%29%2C+And+%28A%29%2C+Opt+%28O%29%2C+Graph+%28G%29%2C+Union+%28U%29%2C+conjunctive+pattern+with+filters+%28CPF%29.jpg "Join (J), Filter (F), Optional (O), Union (U), Path (P), Values (V), Subquery (S)")
12
常见的查询形状(无向) [1] CQ: conjunctive query；F: filter(?x=?y)；O: Optional Tree: 任意两个顶点间只有一条边；Star: 是树，且只有一个顶 点有多于两个邻居；Forest: Tree的集合；Petal(花瓣): s 到 t 的 路径的集合，任意两条路径至少有一个不同的点；Flower: 一 个中心点x，以及一些附加的部分：从x出发的链、树、花瓣。
![常见的查询形状(无向) [1]](http://slidesplayer.com/slide/17447805/102/images/12/%E5%B8%B8%E8%A7%81%E7%9A%84%E6%9F%A5%E8%AF%A2%E5%BD%A2%E7%8A%B6%28%E6%97%A0%E5%90%91%29+%5B1%5D.jpg "CQ: conjunctive query；F: filter( x= y)；O: Optional Tree: 任意两个顶点间只有一条边；Star: 是树，且只有一个顶 点有多于两个邻居；Forest: Tree的集合；Petal(花瓣): s 到 t 的 路径的集合，任意两条路径至少有一个不同的点；Flower: 一 个中心点x，以及一些附加的部分：从x出发的链、树、花瓣。")
13
属性链的形态 [1] 文章在整个corpus中只找到了247,404个属性链； 在分析时，(!a)和(^a)均表示为a；
![属性链的形态 [1] 文章在整个corpus中只找到了247,404个属性链； 在分析时，(!a)和(^a)均表示为a；](http://slidesplayer.com/slide/17447805/102/images/13/%E5%B1%9E%E6%80%A7%E9%93%BE%E7%9A%84%E5%BD%A2%E6%80%81+%5B1%5D+%E6%96%87%E7%AB%A0%E5%9C%A8%E6%95%B4%E4%B8%AAcorpus%E4%B8%AD%E5%8F%AA%E6%89%BE%E5%88%B0%E4%BA%86247%2C404%E4%B8%AA%E5%B1%9E%E6%80%A7%E9%93%BE%EF%BC%9B+%E5%9C%A8%E5%88%86%E6%9E%90%E6%97%B6%EF%BC%8C%28%21a%29%E5%92%8C%28%5Ea%29%E5%9D%87%E8%A1%A8%E7%A4%BA%E4%B8%BAa%EF%BC%9B.jpg "属性链的形态 [1] 文章在整个corpus中只找到了247,404个属性链； 在分析时，(!a)和(^a)均表示为a；")
14
一个Sparql展示/日志分析工具 [2] 据说可以重现[1]中各数据集上的结果，或用于单个Sparql query的展示。
![一个Sparql展示/日志分析工具 [2] 据说可以重现[1]中各数据集上的结果，或用于单个Sparql query的展示。](http://slidesplayer.com/slide/17447805/102/images/14/%E4%B8%80%E4%B8%AASparql%E5%B1%95%E7%A4%BA%2F%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7+%5B2%5D+++%E6%8D%AE%E8%AF%B4%E5%8F%AF%E4%BB%A5%E9%87%8D%E7%8E%B0%5B1%5D%E4%B8%AD%E5%90%84%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%8A%E7%9A%84%E7%BB%93%E6%9E%9C%EF%BC%8C%E6%88%96%E7%94%A8%E4%BA%8E%E5%8D%95%E4%B8%AASparql+query%E7%9A%84%E5%B1%95%E7%A4%BA%E3%80%82.jpg "一个Sparql展示/日志分析工具 [2] 据说可以重现[1]中各数据集上的结果，或用于单个Sparql query的展示。")
15
未来工作 Sparql查询日志的质量相对较差，需要筛选出有意义的部分。
从图的角度进行Sparql分析的工作相对欠缺，对各Graph pattern之间的关系（Minus, Union, Subquery等）没有探讨。 对于Filter内使用的常见公式没有讨论。 [1]提及用户存在不断尝试写Sparql, 不断精化最终得到想要的 查询的过程，能否过滤出相关数据？ 如何将QueryLog中挖掘出的结构和自然语言对应仍有待思考。
Similar presentations
