A Novel Knowledge-Based System for Interpreting Complex Engineering Drawings : Theory , Representation , and Implementation 一种全新的基于知识表述，用于解析复杂工程图的系统：方法论，展示和实现.

Presentation on theme: "A Novel Knowledge-Based System for Interpreting Complex Engineering Drawings : Theory , Representation , and Implementation 一种全新的基于知识表述，用于解析复杂工程图的系统：方法论，展示和实现."— Presentation transcript:

1 A Novel Knowledge-Based System for Interpreting Complex Engineering Drawings : Theory , Representation , and Implementation 一种全新的基于知识表述，用于解析复杂工程图的系统：方法论，展示和实现 主讲人：李嫄姝

2 INTRODUCTION 解析系统（Interpretation system）
目的：将用绘制图元（graphical primitives）表示的工程图转成高层次描述。 个体本身属性信息（形状等）； 个体彼此间复杂的关系（引用、复制等）。 工程图的高层次描述 （High-level interpretation of engineering drawings） 如何高效而鲁棒的解释描述绘图内容的上下文信息 现实生活中的绘图除了包含几何形状外还有彼此间的约束和交互 建筑图的高层次描述是一个很有挑战性的课题，尤其是现实建筑图。现有方法多依赖清晰的光栅线图和低层次的矢量图，但少有方式使用几何推理（geometric reasoning）和识别程序（recognition processes）来恢复高层次描述。究其原因，有以下几点：1）怎样高效而鲁棒的解释描述绘图内容的上下文信息是个难题。有些基于知识的系统使用“规则+推理（rules+inference）”的表达方式，但这种非结构化（unstructured）的规则，由于其描述现实中复杂高层次个体间的能力有限，所以不实用。2）现实生活中的绘图除了包含几何形状外还有彼此间的约束和交互（constraint & interaction）。

3 INTRODUCTION 自动高层次分析方法 显式的图形约束（explicit graphical constraint）
如：连接，平行，图元间的交叉等 对潜在的工程个体进行形状查找 隐含推理（implicit reasoning） 如：省略、对称、引用等 对所有信息（同一或不同图纸间）交叉分析 通过观察建造师的理解过程，总结出自动高层次分析方法，该方法主要依赖显式的图形约束（explicit graphical constraint）和隐含推理（implicit reasoning）。前者包含连接，平行（parallelism），图元间的交叉，可以用来对潜在的工程个体进行形状查找。后者包括诸如省略、对称、引用（reference）等信息。推理需要对现有信息交叉考虑，可能是不同图元间的，甚至是不同图纸间的。

4 INTRODUCTION 本文关键之处 1）如何清楚而有效的表述图纸上复杂的建筑信息。
2）如何使用基于知识的表述来线性解析复杂的高层次工程图。 本文贡献之处 1）提出一种基于描述符的分层的知识表述方法（hierarchical descriptor-based knowledge representation method），来组织各类物体间复杂的高层次关系。 2）开发了一种新的解析系统，该系统基于建议知识表述方法（proposed knowledge representation method）将现实的工程图转变为内容导向（content-oriented）的高层次表述。

5 INTRODUCTION 表述 解析 知识域（显式&隐式） 扩展巴科斯范式（EBNF） 实例 由识别函数组成的线性序列 载入知识表述文件
我们首先从大量实例中定义出用于高层次分析的显式和隐式知识域，然后将这些知识定义在扩展巴科斯范式(Extended Backus Naur Form)（表达作为描述计算机编程语言和形式语言的正规方式的上下文无关文法的元语法符号表示法。）中，便于修改和维护。在解释时，该系统载入一个知识表述文件，然后将它转换成为一个树形结构。图形识别算法嵌入个体节点中。通过深度优先遍历，系统可以将复杂的解析过程转变为一个识别函数的线性序列。 载入知识表述文件 树形结构 由识别函数组成的线性序列

6 INTRODUCTION 本文较之前优势 1）对现实复杂工程图的高层次解析效果最好。
2）不是用“rules+inference”而是通过分析人对复杂高层次工程图的解析过程，通过定义EBNF来清楚而容易的表述各部件和它们间的联系。 3）该方法可以通过简单的修改基于EBNF的描述来适用于现实工程需要。

7 CHARACTERISTICS OF ENGINEERING DRAWINGS
工程图三部分 比例（scale） 工程体精确的几何投影。 图解（schematic） 各类快捷图标（shortcut）。 内部表达（internal representation） 隐含语义和关系。 通过实例总结出工程图实际上有三层表达：比例（scale），图解（schematic）和内部表达（internal representation）。 Scale：工程实体精确的几何投影 Schematic：各类的快捷图标（shortcut），如代表对称属性的点划线对称轴。 Internal representation ：隐含语义和关系，这部分可以简化图纸的表达，但对自动识别分析是种挑战。

8 CHARACTERISTICS OF ENGINEERING DRAWINGS
Tower 的建筑工程图，a是简化的梁柱图，附带图解。b 同一层简化的板图（slab drawing）。 Fig.1

9 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
实际工程图纸中的典型知识构架 外部知识（Explicit knowledge） 工程实体明确的几何定义，它们相关的维度集和注释。 内部知识（implicit knowledge） 【多视图】相同的个体会以不同角度呈现，不一定要相同的scale。 【省略】为避免重复，用文本表示细节，简化绘图。 【引用】导航线和文本可用于表述细节部分， reference source & referencer。 【继承】不同图纸间相同部分，inheritance source & inheritor。 【反射】用于对称结构，reflection source & reflecter。 【尺寸约束】维度、尺寸注释。 【图解或其他个人偏好】 外部知识（Explicit knowledge） 工程实体明确的几何定义，它们相关的维度集和注释。 内部知识（implicit knowledge）艺术和工程的交汇。 多视图；相同的个体会以不同角度呈现，不一定要相同的scale。 省略：为避免重复，用文本表示细节，简化绘图。 引用：导航线和文本可用于表述细节部分。有时会使用隐含形式（如不同的工程部件有相同的名称），我们叫有细节的为reference source，简化的那个叫referencer。 继承：不同图纸间相同部分，inheritance source & inheritor 反射：用于对称结构，reflection source & reflecter 尺寸约束：维度、尺寸注释。 图解或其他个人偏好：

10 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
Fig.2a表示Fig.1a中column的分层构造。三部分：dimension name shape Fig.2b展示两种隐含知识：引用和对称。引用可在一张图上或几张图上，对称主要体现在中轴线上，且通常是在一张图上。

11 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
Inheritance。 Fig.1a中找到的某部件，就可以迅速在fig.1b中找到。

12 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
自动解析系统步骤 在知识表述阶段，我们需要考虑目标物体显式的几何形状定义及与其他部分隐式的约束。 在自动解析阶段，系统可以在不同类型的模式下自由切换，在相关图画间反复解析。 隐式信息更可靠，因为形状定义模式各异和不精确的绘图等原因。 显式几何定义可以被用于识别的入口； 隐性约束可以用来引导随后的图形推理或一致性检测。 首先预定义知识域并存储在基于描述符表述的文件中。鉴于建筑图的复杂性，我们的总结了很多资料，抽取出共同点，找出彼此间联系。每个知识表述文件包含特定类型的显式和隐式知识。处理的图纸是已经矢量化过的。

13 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
自动解析子系统 由知识解释（knowledge interpreter）、知识分析（knowledge parser）和个体查找（entity searcher）组成。 根据输入图纸类型载入相应知识文件，然后将其重排为树形结构。 知识分析执行深度优先查询，从根节点遍历整个树确定目标个体。 节点访问序列事实上转换成为一系列识别或解析函数。 解析子系统是核心，它由知识解释（knowledge interpreter）、知识分析（knowledge parser）和个体查找（entity searcher）组成。首先，根据输入图纸类型载入相应知识文件，然后将其重排为树形结构。在这个树种，节点代表潜在的工程个体，边代表个体间关系。识别算法与个体节点相关。然后，知识分析执行深度优先查询，从根节点遍历整个树确定目标个体。当访问节点时，分析器抽取函数名称并将它们送至个体查询。后者启动该节点的识别函数，在给定集合里查找所需个体。相关的参数也发送至个体查询。通过这种方式，节点访问序列事实上转换成为一系列识别或解析函数。因为潜在的显式和隐式工程知识是在表述文件里预定义好的，工程个体能够识别的更加准确。

14 KNOWLEDGE ANALYSIS AND SYSTEM OVERVIEW
Fig.3

15 KNOWLEDGE REPRESENTATION
知识表述策略 人类的理解过程 【阅读】先读注释，以便了解缺省设置，然后自底往上读不同楼层图纸。 【分析】先找到网格线，然后通过查找他们典型构成（如名字）迅速定位。

16 KNOWLEDGE REPRESENTATION
符合人类理解方式的工程图自动解析方法包括以下几点： 识别出待解析的工程个体。快速找出各个有用个体。 有一个合适的解析顺序 放到整体环境中解析。例如，三视图。 我们用调整好朝向的（oriented）、有序的（ordered）、完整的（integrated）策略用于设计我们新的知识表述方法，而不是原先的“rules+inference”。

17 KNOWLEDGE REPRESENTATION
Oriented Strategy 清楚的预定义某工程个体可能存在的部件、约束和关系，以及其他隐含的描述。解析个体被清晰的预定义后，搜寻区域可以被缩小从而提高效率和正确率。 Ordered Strategy 避免各图纸间不必要的跳跃。 以塔图为例，自动解析的典型序列如下： 1）高层受低层影响，因此要选用自底向上方法。 2）Source 个体要先于其他访问。 3）某些明显的特征构成（如 a name text）应该最先被搜寻，因为他们通常可以加速分析。 Integrated Strategy 内部结构和整体环境都要考虑。 Oriented strategy 当解析一个给定的物体时，我们需要清楚的预定义相关可能存在的工程个体：他们可能存在的部件、约束和关系，以及其他隐含的描述。解析个体被清晰的预定义后，搜寻区域可以被缩小从而提高效率和正确率。 Ordered strategy 避免各图纸间不必要的跳跃。 以塔图为例，自动解析的典型序列如下： 1）高层受低层影响，因此要选用自底向上方法。 2）Source 个体要先于其他访问。 3）某些明显的特征构成（如 a name text）应该最先被搜寻到因为他们通常可以加速分析。 Integrated strategy 内部结构和整体环境都要考虑。

18 KNOWLEDGE REPRESENTATION
分层知识表述方法 条件驱动的自动解析过程 知识表述（knowledge representation） 基于知识的解析（knowledge-based interpretation） 工程领域知识首先用知识描述符表示出来，遵守恰当的oriented、ordered和integrated 策略。每个工程个体被一个特定描述符集合确定，叫做它的有效描述符（effective descriptor）。 解析图纸时，载入相应的描述符集合，不可预知的条件驱动解析过程转化为一系列明确的线性描述符访问过程。 把以上这些条件（conditions）作为知识描述符（knowledge descriptors）。条件驱动（condition-driven）解析过程分两步：knowledge representation 和 knowledge-based interpretation。工程领域知识首先用知识描述符表示出来，遵守恰当的oriented、ordered和integrated strategies。每个工程个体被一个特定描述符集合确定，叫做它的有效描述符（effective descriptor）。解析图纸时，载入相应的描述符集合，不可预知的条件驱动解析过程转化为一系列明确的线性描述符访问过程（descriptor-visiting）。 总的来说，解析目标分四层：项目（project）、图纸（drawing）、工程个体（engineering entity）和图元（graphical primitive）。

19 KNOWLEDGE REPRESENTATION
条件驱动的自动解析过程（以tower为例） figs.1a和1b的维度归同到全局坐标系中。 fig.1a中的reference source column section view被查找出以便提供圆柱体的细节属性（如名称和形状）。 referencer columns通过形状匹配识别出。 一旦fig.1a里的referencer columns 找到，他们的形状坐标转换到fig.1b进而快速搜寻inheritor column。 从fig.1b中删除识别出的维度和inheritor columns的图元，由于简化了查找空间，潜在的slab个体最终根据他们的图像构成定义（graphical composition definitions）被精确查找。

20 Fig.4 展示tower的解析过程： 最先，识别Figs.1a和1b的dimensions，以便建立全局坐标系。
然后，分析出Fig.1a中的reference source，包括名字文本、内部钢结构和外部轮廓。 之后Fig.1a中的referener column entities可以被迅速识别出（先搜名字，如果没找到，做形状匹配。） 之后Fig.1b中相对应的inheritor column 个体可被快速找到。

21 KNOWLEDGE REPRESENTATION
知识描述符 内部描述符（internal descriptor） 描述目标个体的内部构造 外部描述符（external descriptor） 描述和其他工程个体之间的关系。外部描述符总是导致不同目标间的跳跃。

22 KNOWLEDGE REPRESENTATION
典型内部描述符 Internal composition object（ICO） 定义分级重组的各部分。例如，名称、维度和形状是一个column区域视图个体的ICOs。 Internal relational constraint（IRC） 描述某一解析目标的ICO之间的关系，如平行、垂直。IRC对检测待识别工程目标体构造的关系的有效性很有用。例如，直线和说明文字需要跟随某特定图形约束来形成一个维度（dimension）。 Internal dimensional constraint（IDC） 定义形状、维度和相关注释之间的维度约束。维度提供检测几何有效性的约束。

23 KNOWLEDGE REPRESENTATION
典型外部描述符（按用途分） External necessary object（ENO） 一个必须体，需要在分析某特定物体前定义。例如，一个beam drawing是其相对应的 slab drawing的ENO。 External source object（ESO） 带有细节属性的相应的source entity 。 External flagging object（EFO） 标注工程目标的存在，例如，名字文本“C1”。

24 KNOWLEDGE REPRESENTATION
External leading method（ELM） 确定ENO、ESO或EFO和其他个体间关系。 distance-ELM（“C1”文本离哪个区域最近） graphical-ELM（ellipse&line） boundary-ELM（cloud shape）。 External source-tracking method（ESM） 确定目标体如何搜寻它的ESO。 分reference-ESMs、inheritance-ESMs和reflection-ESMs。 External dimension-direction constraint（EDC） 定义解析目标和它的ENOs间的维度和直接联系。维度集经常决定识别结果是否正确，或者加快识别进程。

25 KNOWLEDGE REPRESENTATION
基于描述符的分层知识表述 BNF有以下三个meta-symbol： “:=”---- 被定义为 “|” ---- 或者 “<>”----包围种类名称（surround a category name）

26 KNOWLEDGE REPRESENTATION
EBNF描述符

27 KNOWLEDGE REPRESENTATION
Tower例子的有效表述 Description 3 和2的区别在于： 1） D3 定义了一个必要的ENO描述符，表示一个slab drawing不能被解析，如果相应的beam drawing没有找到。 2） D3 提供inheritor beam 个体和在slab绘图中column个体的ICO描述符，表示这些个体很必要，需要在解析过程中，依据他们相应的inheritance source个体，被优先查找。依据的类型包括坐标转换盒形状匹配。

28 KNOWLEDGE REPRESENTATION

29 KNOWLEDGE-BASED INTERPRETATION
解析系统的核心模块 知识注释（knowledge interpreter） 知识语法剖析（knowledge parser） 个体搜寻（entity searcher） Knowledge interpreter首先将分层知识表述（hierarchical knowledge representation）载入一个EBNF树结构。EBNF树通过有效描述符和它们内在的分级关系，定义出潜在的解析目标。

30 KNOWLEDGE-BASED INTERPRETATION
图5中的两条边表示beam drawing 和slab drawing 都是该project的有效ICO。

31 KNOWLEDGE-BASED INTERPRETATION
叶节点是基本图元或者识别函数（identification function）。名为“line segment”的叶节点表示一个相关定义方程被调用来搜寻一个suitable line segment。 Knowledge parser traverses 从根节点进行深度遍历。遍历顺序代表分析顺序。顺序很重要啊很重要！ 当访问一个叶节点时，knowledge parser 抽取该节点相关分析方程，并将它们转换成个体搜寻。 Entity searcher 在函数库里调用函数搜寻解析目标。

32 KNOWLEDGE-BASED INTERPRETATION
个体搜寻（entity searcher）失败原因 没有严格遵循drawing rules 出现不在knowledge base中的个体 解决办法 记录该搜寻区域，创建一个警告消息，返回一个失败结果。自动解析过程终止后，用户双击warning message，相关的失败区域显现，进一步做人工一致性检测或交互（consistency-checking & interaction）。 在BENF树指引下，个体搜寻每次可以成功或失败。失败原因：没有严格遵循drawing rules，或者出现不在knowledge base中的个体，记录搜寻区域，创建一个警告消息，返回一个失败结果。自动解析过程终止后，用户双击warning message，相关的失败区域显现，进一步做人工一致性检测或交互（consistency-checking & interaction）。

33 EXPERIMENTS AND DISCUSSIONS
本文方法总结 首先，抽取各类建筑实体的共同特征并且在建筑和结构工程师的指导下找到他们之间隐性约束。 其次，将这些实体表述为知识描述符，并写入XML格式的文件中，这种格式适用于组织和核查分级数据。 最后，在解析过程中，系统载入带解析工程图纸和相应的XML文件。之后，通过深度优先遍历EBNF树，相应的函数被调用处理输入图纸。

34 EXPERIMENTS AND DISCUSSIONS
本文较之前方法优势 每个解析目标仅仅由一组简单的描述符表述，使得定义域知识可读并且更方便人工维护。 因为knowledge是分级组织构成的，各种先前知识不会带来链式修改。 动态解析过程能够通过重排序，添加，删除或修改一个工程目标的“静态”的描述符来简单制定。

35 EXPERIMENTS AND DISCUSSIONS
按复杂度分为A B C 三组，由19种建筑工程图组成，例如，column sections、column plans、beam sections、beam plans ，wall sections, slab plans , staircases,roofs , basements and several types of structured tables. 结果反映解析顺序和识别率。 首先，只有内部描述符的个体被优先识别，只需内部指示符表示的无需在图纸间跳来跳去。我们的方法有一个合理的解析顺序，成功的避免跳来跳去。 当然，也不能完全避免出现例外类型的情况。整体比人工识别快20-40倍。

36 EXPERIMENTS AND DISCUSSIONS
降低时间成本方法：并行查找 降低时间成本： 左图是顺序查找引用源圆柱区域视图（reference source column section views） 右图是并行查找。可以提高效率，因为已识别出的图元可以快速移除以便降低剩下的搜寻空间。

37 EXPERIMENTS AND DISCUSSIONS
失败案例 内部：1.内部几何形状定义没有包含在表述文件中。 2.内部表述符定义的很好，但是画的不好。 外部：1.外部关系定义没有包含在表述文件中。 2.画的有错，如丢失source entities，尺寸标注冲突等。 待提升处 1.解析参数更加智能化，少设限。 2.扩大适用领域。

38 O(∩_∩)O~