语料库的制作和应用 语料库的制作和应用 2014.7.14. CONTENTS 语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索 ( 普通、正则和 term list) 双语语料检索：基本检索和高级检索.

Presentation on theme: "语料库的制作和应用 语料库的制作和应用 2014.7.14. CONTENTS 语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索 ( 普通、正则和 term list) 双语语料检索：基本检索和高级检索."— Presentation transcript:

1 语料库的制作和应用 语料库的制作和应用 2014.7.14

2 CONTENTS 语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索 ( 普通、正则和 term list) 双语语料检索：基本检索和高级检索 语料数据后续处理： z-score; log-likelihood; factor analysis; correlation; keyness 微型教学语料库的创建和使用 翻译课堂教学用双语语料的制作和应用

3 语料库的基本特征 -1 Computer-readable: txt, xml, html, doc, pdf Consistency: o his mother; his mother; his\nmother Annotation: o 我们 _r; 我们 /r; 我们 ; 我们 Header: o 有关文本的元信息，涉及文本的作者、文体、出版时间等 o Chinese English MeiGuoShi WeiYeChou 1 3 G Shangwuyinshuguan 1929 B 23052 相对完整的语料文件范本

4 语料库的基本特征 -2 语料库可以视为结构合理的语料文件的集合。往往以 数据库形式存在（如文件夹）。这是语料库建库工作 中最重要的部分，也是最耗时费力的部分。 语料数据库建成之后，就可以从库中提取信息，称为 检索。检索效果高低要看能否充分运用检索手段，但 最终依赖语料库本身能提供多少可能性。 检索结果的处理需要技巧，事关处理的质量和效率。

5 语料抽样：理论与抽样操 作 有代表性、结构合理的语料文本集合，但不是任意搜集的文本数据库， 也不是越大越好，而是 “ finite-sized body of machine-readable text ” ， 语料库通常有抽样框架。一般说来，处于研究的需要，语料宜尽量平衡， 这样就不能照单全收，需要考虑从中抽取一部分。抽取多少，如何抽取， 这个问题可以说众说纷纭。 o Brown/LOB ：分层抽样，大小一致；分层抽样如文学中小说占 35% ， 散文占 8% ，戏剧占 2% 。 2 nd generation corpora: The Corpus di Italiano ScrittoThe Corpus di Italiano Scritto o BNC ：大小不一（ max ： 40 ， 000 words ）； 25%/75% （ lit./inf. ） o ENPC: 40%/60%(non-lit/lit) ； S. Johansson Size: 2.6 million words Language: English, Norwegian; N umber of texts/samples: 100 orig., 100 transl. P eriod: 1975 – 1995 抽样字数及分配 语料取样计算 抽样字数及分配 语料取样计算

6 语料文本的基本处理：主要处理方式 -1 语料的最常用存储方式是纯文本，纯文本顾名思义就是 只有文字，不支持任何其他字符格式，如粗体、斜体、 下划线、表格框，等等。语料以这种方式存储占用空间 极小，且几乎所有检索软件都支持。 将语料以这种方式存储只是检索的操作，更重要的是让 存储的文本内容规范，格式尽量一致，而且没有乱码， 不必要的空格和软回车、硬回车，等等文本噪音。要做 到这些，就需要对语料进行按部就班的处理。使用 Microsoft Word 可以对文本进行处理。文本噪音

7 语料文本的基本处理：主 要处理方式 -2 Word 中的替换、 Macro 的使用 Word 中的替换、 Macro 的使用 其他语料文本处理工具的使用（ Editplus ） 其他语料文本处理工具的使用

8 语料文本的基本处理：主 要处理方式 -3 规范语料文件的生成：无噪音、符合预期的加 工规范（标记充分）。 Header | POS 存储格式（ txt|xml ） 辅助软件的使用：通常会包含包含文本除噪程 序的 headadder ， txtmarker 。其实除噪是执 行一些替换性的操作（ see next slide ） headadder

9 语料文本的基本处理：主 要处理方式 -4 $line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all

10 语料文本的基本处理：主 要处理方式 -5 添加 metadata 后的语料样态

11 语料文本的基本处理：主要处理方式 -6

12 双语语料的对齐：方式和 方法 -1 对齐就是源文和译文对应。翻译语料的主要特征是对齐。 对齐的语言层级： o 段对齐 o 句对齐 o 段对齐中的句对齐 对齐方式不同，与创建语料库的目的有关。比如，如果仅仅 用于辅助翻译，就可以采用句对齐。而要用于翻译研究，就 需要考虑段落层面的语言使用信息，如衔接、话语标记等。 对齐软件有很多， CAT 类软件、 Paraconc 、专门软件。 CAT 类软件

13 双语语料的对齐：方式和 方法 -2 初始对应：源语、目标语文本段对齐， word 下完成校 对。这一步最重要。 Paraconc 可以考虑添加 s 标记。 对齐：软件对齐。如 aligner ， paraconc ； Trados ， dejavu ， bitext2tmx 。前两者提供段对齐和句对齐； 后三个软件一般只提供句对齐。 aligner paraconc Trados bitext2tmx

14 语料赋码 Annotation, 就是加标签（ tagging ）. 标注的分类：自动标注、人工标注；词性 - 句法标注、功 能标注；标注标记 _ 、 / 、 <> 。 标注词性 - 句法标注、功 能标注 人工标注主要是指功能性标注，如语义标注、翻译手段的 标注，以及为满足特定研究目的进行的附码如话轮、间接、 直接言语行为，等等。从一定意义上说，人工标注涉及更 深语言层面，标注充分对于研究自然更有意义。 自动标注主要包含词性标注和句法标注，可以通过软件来 实现。

15 语料编码、存储格式 使用 text 文本时，缺省编码为 ANSI 。用于 WordSmith 用的语料文本 一般应为 unicode 。许多软件如 Antconc 等支持 utf-8 编码，这种编 码各种语言通用，最不易出现乱码。实现方式： txt 文本，另存为， “ 编码 ” 对话框中选择 utf-8 即可。 存储方式 o 语料数据文件最好能在不同的检索程序上通用，甚至可以在一些现成的管 理程序如 excel 上执行数据信息的计算，分析和管理。要实现这样的功能， 简单存储为 txt 文本显然不能满足以上要求。这时就需要一种比较完整地数 据存储方式 xml 。 o 可扩展标记语言 (Extensible Markup Language) 可以用来标记电子文件， 标记后的文件有结构性的标记语言。既然标记数据就可以通过标记定义数 据的类型，而且标记可以根据我们自己的需要自行定义，合乎语法就行。 Xml 生成 Xml 生成

16 语料检索：基本检索和高级检索 -1 检索与语言使用的范畴、特征 曲折变化： move, moves, moving, moved 派生： move, movement 词性： move(v.), wove(n.) ； in, at, on, over, upon, from 人称： I, me, we, us 短语、组合能产： a lot of, a part of, a cup of, a piece of 结构能产： give me a book; send his father a message V NP NP ; V NP NP 语言使用的特征决定了检索不太可能是 token ，许多情况 下要检索到 type ，或者需要词性线索。

17 语料检索：基本检索和高级检索 -2 检索语种数量 o 主要的单语检索软件： Wordsmith ， Monoconc ， Antconc o 双语检索： Paraconc ， CAT ，自行设计的检索软件 （历时语料检索） 基本检索 o 以 Antconc 为例实施检索。基本检索包含 token 检索 和 wild card 检索，检索前先要熟悉语料的存储方式。 Antconc 高级检索 Antconc 中的单语高级检索：正则表达式检索，使用正 则表达式的 term list 检索。正则表达式检索 term list

18 双语语料检索：基本检索 和高级检索 Paraconc 中的双语高级检索：正则表达式检索 Paraconc正则表达式检索 满足某些研究需要的正则表达式检索：历时语料 库检索平台 omegaT 检索历时语料 库检索平台omegaT 检索

19 语料检索小结 正则表达式的检索功能有些使用通配符也能做到，但有些则 是通配符检索无法实现的。实际检索时发现，在词汇层面， 汉语的叠词以及隔词重复的精确检索只能使用正则表达式， 使用通配符也能勉强检索，但无法精确检索；在句子层面， 正则表达式能使准确的句段长度检索和严格的句段内部结构 检索成为可能。 正则表达式的使用看上去有些繁琐，但只要肯花点时间熟悉 元字符的意义，使用起来也比较方便，它还有助于提高检索 的准确性和效率，进而提高语言研究的质量。

20 语料数据的后续处理 -1 语料检索的目的是发现问题，而语料库检索发现的问题主要 表现在频次、频率上。语料库的这一长处必须充分发挥，才 称之为语料库语言研究。 频次、频率典型表达为数字，处理数字问题关系到研究结论 的可信度，需要使用一些处理方法，常用的处理方法有： o 频率对比：特定的词、词丛、词性赋码串；使用 WS 或 Antconc 中 keyness 工具对比词表、词丛表对比词表 o 搭配强度计算： Z-score Z-score o 频率差异显著性计算： log-likelihood 计算 log-likelihood 计算 一般说来，词表对比的结果可以重新标注用于分类处理

21 语料数据的后续处理 -2 重复词项计算 Facotor analysis (SPSS) Facotor analysis Correlation analysis (SPSS) Correlation analysis

22 平行语料库辅助翻译应用 基本思路：已有翻译为参照，为当下翻译提供参考； 建立术语库，使术语统一成为可能。 CAT 的主体部分是 TM 和 Term Database CAT 软件： Trados ， Deja vu ，雅信，（免费） OmegaT Trados 商业使用最为广泛 D é j à vu 易操作 D é j à vu Omega T 免费，更易操作，但只能单用不能基于 web Omega

23 微型教学语料库的创建和 使用 建库目的和内容 o 针对学生翻译习作 o 反映学生个体和总体特征 o 翻译技巧和翻译评估相结合 o 提取信息方便 o 易于操作 使用 Excel 基本满足此类要求 Excel 基本满足此类要求

24 翻译课堂教学用双语语料 的制作和应用 建库目的：翻译教学；自学 设计要求： o 方便呈现多样译文； 便于对比； 方便评注； o 不需要句对齐，段对齐即可 载体：网页文件，可以经 excel 生成经 excel 生成 编辑： Dreaweaver Dreaweaver

25