纸质档案数字化工作流程 与规范要求
背 景 数字化:利用计算机技术将模拟信号转换为数字信号的处理过程。 档案数字化:传统载体档案数字化的过程。 背 景 数字化:利用计算机技术将模拟信号转换为数字信号的处理过程。 档案数字化:传统载体档案数字化的过程。 数字档案馆是指运用现代信息技术对电子档案及其他数字资源进行采集、存储、管理,并通过各种网络平台提供利用的档案信息集成管理体系。 (《电子档案管理基本术语》DA/T58-2014) 数字档案室是指机关在履行职能过程中,运用现代信息技术对电子档案和传统载体档案数字副本等数字档案信息进行采集、整理、存储、管理,并通过不同类型网络提供共享利用和有限公共档案信息服务的档案信息集成管理平台。(《数字档案室建设指南》2014年,国家档案局)
背 景 2005年 2015年 2015年 (DA/T31-2005) (征求意见稿) (修订稿) 背 景 2005年 2015年 2015年 (DA/T31-2005) (征求意见稿) (修订稿) 国家档案局出台了《纸质档案数字化技术规范》(DA/T31-2005) 国家下发了纸质档案数字化技术规范(征求意见稿) 国家档案局召开全国档案工作标准化技术委员会第二十三次年会,会议原则通过对《纸质档案数字化规范》(修订)的审查
背 景 国家信息化建设和档案事业发展需要 馆(室)藏档案数字化工作是数字档案馆(室)资源体系建设的重要手段和方式,国家档案局对档案数字化工作十分重视。 2002年 国家档案局中央档案馆关于印发《全国档案信息化建设实施纲要》(档发【2002】8号)的通知中要求各地综合档案馆在“十五”期间以档案信息资源建设为核心,以扩大档案信息资源开发利用为目标,加强档案目录数据库建设,积极推进档案全文数据库和多媒体数据库建设,以现实需要为前提,分阶段、分步骤实施档案数字化进程。 2010年 国家档案局印发《数字档案馆建设指南》,指出传统载体档案数字化是现阶段数字档案资源建设的一个重要途径。应当统筹规划,分步实施。应当通过数字化工作,对馆藏档案进行全面的梳理。如果对馆藏档案无法一次性全面数字化,可以按照特殊载体优先、重要程度优先、共享性强优先等原则分布实施。 2013年10月 时任国家档案局局长杨冬权在全国数字档案馆(室)建设推进会上的讲话,要求数字档案馆(室)建设的首要任务,就是要把纸质档案、音像档案等传统载体的档案数字化。不完成这项任务,档案馆(室)就不能实现转型升级,就必然要在大数据时代落伍,就肯定不能跨进现代化的门槛。
背 景 信息技术不断发展 计算机网络的普及促进了信息化的进程,网络技术、数据库技术、数据存储等各种信息技术的迅猛发展,为档案信息资源的开发利用创造了前所未有的技术条件。 信息技术的发展使数字化环节不断细化,数字化标准不断提高,数字档案馆(室)建设使档案部门对数字化工作的定位,从之前的“方便利用”逐步向“替代原件”过渡。这就需要档案部门从业务规范、人员管理、工作流程等多个方面,保证数字副本的真实性、可靠性、完整性与可用性,现有的《纸质档案数字化技术规范》DA/T-2005已经无法推动纸质档案数字化工作向前发展。
解 读 1 范围 本标准规定了纸质档案数字化技术和管理要求。 本标准适用于采用扫描设备对纸质档案的数字化加工处理及数字化成果的管理。 解 读 1 范围 本标准规定了纸质档案数字化技术和管理要求。 本标准适用于采用扫描设备对纸质档案的数字化加工处理及数字化成果的管理。 2005版范围:采用各种设备对纸质档案的数字化加工处理及数字化成果的管理。
解 读 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 2887 计算机场地通用规范 GB/T 12628 硬磁盘驱动器通用规范 GB/T 20530-2006 文献档案资料数字化工作导则 GB/T 26163.1 信息与文献 文件管理过程 文件元数据 第1部分 原则 GB/T 26225 信息技术 移动存储 闪存盘通用规范 DA/T 1 档案工作基本数据 DA/T 15 磁性载体档案管理与保护规范 DA/T 18 档案著录规则 DA/T 38 电子文件归档光盘技术要求和应用规范 DA/T XX 档案信息系统运行维护规范 ISO/TR 13028 信息与文献 档案数字化实施指南(Information and Documentation — Implementation guidelines for digitization of records)
解 读 3 术语和定义 GB/T 20530-2006、DA/T 1、DA/T18界定的以及下列术语和定义适用于本文件。 3.1 解 读 3 术语和定义 GB/T 20530-2006、DA/T 1、DA/T18界定的以及下列术语和定义适用于本文件。 3.1 数字化 digitization 利用计算机技术将模拟信号转换为数字信号的处理过程。 3.2 纸质档案数字化digitization of paper-based records 对纸质档案进行数字化加工处理,使其在保持纸质档案内在联系的基础上,转 化为存储在磁带、磁盘、光盘等载体上的数字副本,并按照纸质档案的内在联系,建立起与目录数据和元数据的可靠关联的处理过程。 2005版纸质档案数字化定义: 采用扫描仪或数码相机等数码设备对纸质档案进行数字化加工,将其转化为存储在磁带、磁盘、光盘等载体上并能被计算机识别的数字图像或数字文本的处理过程。
解 读 元数据:描述电子档案的内容、结构、背景及其整个管理过程的数据。(《电子档案管理基本术语》DA/T58-2014 ) 解 读 元数据:描述电子档案的内容、结构、背景及其整个管理过程的数据。(《电子档案管理基本术语》DA/T58-2014 ) 元数据:描述文件的背景、内容、结构及其整个管理过程的数据。 [GB/T 26163.1-2010,定义 3.12] 元数据是管理数据的数据,是证明数字档案信息真实、完整、可靠具有凭证性的关键。
表A.1纸质档案数字化建议采集的基本元数据项 解 读 表A.1纸质档案数字化建议采集的基本元数据项 序号 元数据项 1 数字化时间 10 扫描设备类型 2 数字化对象描述 11 扫描设备制造商 3 数字化授权信息 12 扫描设备型号 4 色彩空间 13 数字化软件名称 5 扫描分辨率 14 数字化软件版本 6 扫描色彩模式 15 数字化软件生产商 7 存储格式名称 16 阅读所需软硬件条件 8 格式版本 17 数字化成果移交接收信息 9 存储路径
解 读 4 总则 4.1 各单位应统筹规划、科学开展纸质档案数字化工作。 解 读 4 总则 4.1 各单位应统筹规划、科学开展纸质档案数字化工作。 4.2 纸质档案数字化工作的开展应遵循ISO/TR 13028和GB/T 20530提出的要求和建议。 4.3 纸质档案数字化应遵循档案管理的客观规律,真实反映档案内容,最大程度地展现档案原貌。 4.4 应加强纸质档案数字化各环节的安全管理,确保纸质档案实体和档案信息的安全。应避免或减少各环节操作对纸质档案实体的破坏,最大程度地维持纸质档案的原貌。 4.5 纸质档案数字化成果包括扫描产生的纸质档案数字副本、存储档案目录数据及数字化过程中捕获的必要元数据的数据库、数字化工作中产生的工作文件、存储载体等。档案目录数据、元数据与纸质档案数字副本之间应建立正确、可靠的关联。 4.6 应采取有效的管理和技术手段,确保纸质档案数字化成果质量。 4.7 加工涉密档案时,应按照涉密档案相关的管理和技术要求开展工作。
解 读 5.纸质档案数字化工作的组织 5.1 机构及人员 解 读 5.纸质档案数字化工作的组织 5.1 机构及人员 5.1.1 应建立完善的纸质档案数字化工作组织架构,以支持对纸质档案数字化工作进行统筹规划、组织实施、协调管理、安全保障、技术保障、监督检查、成果验收等,确保纸质档案数字化工作的顺利开展。 5.1.2 应配备具备相应素质和技术水平的工作人员,并通过科学规范的管理制度对工作人员进行规范化管理。为强化纸质档案数字化工作的安全性,应加强对外聘工作人员的审核。
解 读 5.2 基础设施 5.2.1 应配备专用加工场地,加工场地的选择及其温湿度等环境的控制应有利于档案实体的保护。场地应进行合理布局,形成档案存放、数字化前处理、档案著录、档案扫描、图像处理、质量检查等工作区域。场地内应配备可覆盖全部场地的防火、防水、防有害生物、防盗报警、视频监控等安全管理系统。 5.2.2 应合理规划、配备和管理纸质档案数字化设施设备,确保设施设备安全、先进,能够满足纸质档案数字化工作的需要。
解 读 5.3 管理制度 5.3.1 应制定科学化、规范化的管理制度,并在数字化工作过程中严格执行,以使纸质档案数字化工作质量和档案安全得以有效保障。 5.3.2 纸质档案数字化管理制度建设应从岗位管理、人员管理、场地管理、设备管理等方面的制度建设进行。岗位管理制度主要规定数字化工作各岗位的目标和职责,形成明确的岗位业务流程规范、考核标准、奖惩办法等;人员管理制度主要对人员的安全保密、日常行为、外聘人员信息审核及管理、非工作人员来访登记等进行规范;场地管理制度主要对工作场地内基础设施及环境、网络、监控设施、现场物品及证件等的管理进行规范;设备管理制度主要对数字化工作各环节涉及的全部设备的管理进行规范,确保设备安全、科学、高效运行。
解 读 5.4 工作流程控制 5.4.1 纸质档案数字化包括确定数字化对象与制定总体方案、档案出库、数字化前处理、建立数据库、档案扫描、图像处理、档案入库、数字化成果验收等环节。 5.4.2 应依据相关的法律法规和各类技术标准,制定相关的工作流程和各环节操作规范等,对数字化全过程进行有效的控制,确保数字化成果质量。 5.4.3 应加强对纸质档案数字化工作的全流程安全管理,及时对档案扫描、图像处理等各个环节产生的数据进行备份。 5.4.4 应建立完善的问题反馈机制,对纸质档案数字化工作过程中后端环节发现前端环节中产生的问题进行及时反馈和修正。及时获取数字化成果后续管理和利用过程中的效果反馈,提高数字化工作质量。 2005版数字化环节: 档案整理、档案扫描、图像处理、图像存储、目录建库、数据挂接、数据验收、数据备份、成果管理等。
解 读 为什么纸质档案数字化工作要进行全过程有效控制? 一、保证档案实体和档案信息的安全。 二、降低成本,提升效率,提高数字化成果质量。 解 读 为什么纸质档案数字化工作要进行全过程有效控制? 一、保证档案实体和档案信息的安全。 二、降低成本,提升效率,提高数字化成果质量。 三、为今后纸质档案数字副本法律地位奠定基础。
解 读 5.5 工作文件管理 5.5.1 应针对数字化全过程,建立完善的管理工作文件,以此加强对数字化工作的管理。 解 读 5.5 工作文件管理 5.5.1 应针对数字化全过程,建立完善的管理工作文件,以此加强对数字化工作的管理。 5.5.2 纸质档案数字化工作文件主要包括数字化工作方案、档案原件数字化审批书、档案出入库交接单、纸质档案数字化流程单、质量检查情况登记单、数据验收单、项目鉴定验收报告、数字化成果移交清单等,采取委托外部机构实施时,还应包括项目招标文件、投标文件、中标通知书、项目合同、保密协议等。数字化工作各环节应准确、完整地填写工作文件。 5.5.3 应加强对数字化工作文件的管理,明确纸质档案数字化工作过程中形成的工作文件的整理、归档、移交等管理要求。在数字化工作完成的同时建立起完整、规范的记录。
解 读 5.6 委托外部实施 5.6.1 纸质档案数字化工作如需委托专业数字化加工企业实施,档案部门应从企业性质、股东组成、安全保密、企业规模、注册资金情况等方面严格审查数字化加工企业的相关资质;按照GB/T 20530-2006第5章的要求考查数字化加工企业的技术能力;从规章制度的建立建全程度等方面考查加工企业的管理能力;遵照政府采购法相关要求确定纸质档案数字化项目承担企业。 5.6.2 在项目实施过程中,档案部门应指派本单位人员参与档案数字化工作委外业务的监督、指导。也可采用第三方监理协助完成质量监控、进度监控、投资监控、安全监控和协调沟通等方面的工作。 5.6.3 建议档案部门自行配备数字化加工设备,若必须使用加工企业的设备,验收时应将设备中的存储部件或整体设备全部验收移交至档案部门。
解 读 6 确定数字化对象与制定总体方案 6.1 确定数字化对象 6.1.1 数字化对象的确定应符合国家相关法律法规的规定。 解 读 6 确定数字化对象与制定总体方案 6.1 确定数字化对象 6.1.1 数字化对象的确定应符合国家相关法律法规的规定。 6.1.2 应综合考虑档案的珍贵程度、开放程度、利用率、亟待抢救程度等因素确定纸质档案数字化对象。 6.1.3 应制定并执行科学规范的审批程序,由档案原件法定持有保管单位的法人或授权代表对数字化对象进行审批,并签署纸质档案数字化审批书等凭证性文件,与纸质档案数字化工作过程中形成的其他文件一并保存。 2005版数字化对象的确定原则: 应当对所要进行数字化的对象按照一定的原则和方法进行确认,只有符合一定要求的纸质档案才能进行数字化。 纸质档案的数字化,必须符合国家档案开放规定以及有关规定。 属于归档范围且应永久或长期保存的、社会利用价值高的档案可列入数字化加工的范围。
解 读 6.2 制定总体方案 6.2.1 应在充分调研的基础上,制定科学合理的总体方案,确保纸质档案数字化工作达到预期目标。 解 读 6.2 制定总体方案 6.2.1 应在充分调研的基础上,制定科学合理的总体方案,确保纸质档案数字化工作达到预期目标。 6.2.2 纸质档案数字化总体方案的制定应综合考虑数字化目的、档案状况、设备情况、费用情况等,做出合理规划。 6.2.3 纸质档案数字化总体方案应包括工作目标、工作内容、成本核算、数字化技术方法和主要技术指标、验收依据、人员安排、责任分工、进度安排、安全管理措施等内容。 6.2.4 重大纸质档案数字化项目,或有条件的情况下,应对总体方案进行专家论证,确保其科学、规范、合理。 6.2.5 纸质档案数字化总体方案应经相关领导审批后严格执行。
解 读 7 档案出库 应严格按照档案库房管理规定为数字化对象办理出库相关手续,清点无误后出库,进行纸质档案数字化工作。
解 读 8 数字化前处理 8.1 确定扫描范围 纸质档案数字化工作应特别注意保持纸质档案数字副本的完整性,原则上应将确定为数字化对象的纸质档案全部扫描,不宜进行挑扫。 2005版数字化扫描范围: 区分扫描件和非扫描件:按要求把同一案卷中的扫描件和非扫描件区分开。普发性文件区分的原则是:无关和重份的文件要剔除,有正式件的文件可以不扫描原稿。
解 读 8.2 档案整编 8.2.1 编制页号 8.2.1.1 应对没有页号或页号不正确的档案重新编制页号。 解 读 8.2 档案整编 8.2.1 编制页号 8.2.1.1 应对没有页号或页号不正确的档案重新编制页号。 8.2.1.2 应在统一位置书写页号,且不压盖档案内容。页号应从“1”开始连续编制。 8.2.1.3 书写页号所使用的笔、墨等不应破坏档案原件或对档案长期保存造成影响。 8.2.1.4 应将破损页面、缺页等特殊情况进行登记。 8.2.2 拆除装订 如果纸质档案装订物影响扫描工作进行,且装订拆除后可复原的档案,可拆除装订物进行数字化。拆除装订物时应注意保护档案不受损害。对排列顺序不准确的档案应进行重排。
解 读 8.2.3 规范目录 8.2.3.1 纸质档案数字化过程中,应进一步完善档案原件的排列、编目等工作。 解 读 8.2.3 规范目录 8.2.3.1 纸质档案数字化过程中,应进一步完善档案原件的排列、编目等工作。 8.2.3.2 应按照纸质档案基本整理单位对档案进行精确划分,同时,对照档案原件对目录内容进行修改、补充,并在后续工作中采集入数据库中。对每个基本整理单位的档案中,需要在利用过程中特别处理的页面,在目录中进行标识,并在后续工作中采集入数据库中,以便在利用时进行有针对性地处理。 8.3 技术修复 破损严重、无法直接进行扫描的档案,应先由专业技术人员采用科学的技术方法进行技术修复。折皱不平影响扫描质量的原件应先进行压平或熨平等相应处理。平整页面时不得破坏档案原件固有形态,不得强行撕破档案页面。
解 读 9 建立数据库 9.1 档案目录数据与纸质档案数字化过程及后期数字化成果管理工作中形成的元数据均应存入数据库。数据库结构的设计应特别注意保持档案的有机联系,有利于数字化成果的管理和利用。 9.2 按照DA/T 18的要求确定档案目录数据的著录项。 9.3 将纸质档案数字化前处理工作中对纸质档案目录进行修改、补充的结果录入数据库,形成准确、完整的目录数据。 9.4 纸质档案数字化过程及后期数字化成果管理工作中,应捕获必要的元数据,用以记录数字化项目信息、数字图像生成环境、数字化各类技术参数及数字化成果管理、利用情况等。数字化过程中需采集的元数据参见附录A。 9.5 应按照GB/T 26163.1提出的原则进行纸质档案数字化元数据的建立、捕获、存储、描述、维护、利用,以及方针、策略和方法的制定。 9.6 应采用计算机自动校对与人工校对相结合的方式,对目录数据和元数据的质量进行检查,包括著录项目的完整性、著录内容的规范性、准确性,元数据元素的完整性和赋值规范性等。发现不合格的数据应及时进行修改。
表A.1纸质档案数字化建议采集的基本元数据项 解 读 表A.1纸质档案数字化建议采集的基本元数据项 序号 元数据项 1 数字化时间 10 扫描设备类型 2 数字化对象描述 11 扫描设备制造商 3 数字化授权信息 12 扫描设备型号 4 色彩空间 13 数字化软件名称 5 扫描分辨率 14 数字化软件版本 6 扫描色彩模式 15 数字化软件生产商 7 存储格式名称 16 阅读所需软硬件条件 8 格式版本 17 数字化成果移交接收信息 9 存储路径
解 读 10 档案扫描 10.1 基本要求 10.1.1 档案扫描应根据纸质档案原件实际情况、数字化目的、设备情况等选择相应的扫描方式,进行相关参数的设置和调整。参数的设置和调整应保证图像不失真,效果最接近档案原件。 10.1.2 纸质档案数字化参数的选择,应考虑到数字化后续进行COM输出、OCR识别、出版、仿真复制等利用时的要求。 10.1.3 应定期对扫描仪和显示器等设备作色彩管理,以尽量避免色彩偏差,使扫描图像色彩接近档案原件色彩。 10.1.4 为保证扫描图像质量,应使扫描仪保持正常的工作状态,每次开启扫描仪后,宜进行预热,再正式进行扫描。 2005版数字化参数的选择: 扫描分辨率参数大小的选择,原则上以扫描后的图像清晰、完整、不影响图像的利用效果为准。
解 读 10.2 扫描方式 10.2.1 扫描方式的选择应特别注意对档案实体的保护,原则上应采用平板扫描仪等对档案实体破坏性小的扫描设备进行数字化。 10.2.2 根据档案幅面的大小选择相应规格的扫描仪进行扫描。超出所使用扫描仪扫描尺寸的档案可采用更大幅面扫描仪进行扫描,也可以采用小幅面扫描仪分幅扫描后进行图像拼接的方式处理。分幅扫描时,相邻图像之间应留有足够的重叠,若后期采用软件自动拼接的方式,重叠尺寸建议不小于原件的1/3。
解 读 10.3 扫描色彩模式 10.3.1 扫描色彩模式的选择,应综合考虑档案原件情况、档案数字化规模、计算机网络条件、存储条件、利用目的等多种因素选择扫描色彩模式。 10.3.2 为最大限度保留档案原件信息,利于多种方式的利用,宜全部采用彩色模式进行扫描。永久保存的档案应全部采用彩色模式进行扫描。页面中有红头、印章或插有照片、彩色插图、多色彩文字等的档案,应采用彩色模式进行扫描。 10.3.3 页面为黑白两色,并且字迹清晰、不带插图的档案,也可采用黑白二值模式进行扫描。 10.3.4 或页面为黑白两色,但字迹清晰度差或带有插图的档案,也可采用灰度模式扫描。 10.3.5 同一份档案对应的档案页面,宜采用相同的色彩模式进行扫描。 2005版数字化扫描色彩模式: 扫描色彩模式一般有黑白二值、灰度、彩色等。通常采用黑白二值。
解 读 10.4 扫描分辨率 10.4.1 扫描分辨率的选择,应保证扫描后图像清晰、完整,并综合考虑档案数字副本的保管期限、利用方式等因素。 解 读 10.4 扫描分辨率 10.4.1 扫描分辨率的选择,应保证扫描后图像清晰、完整,并综合考虑档案数字副本的保管期限、利用方式等因素。 10.4.2 扫描分辨率应不小于200dpi。综合考虑信息技术的不断发展,为最大限度地采集档案信息,满足后续多种利用目的的需要,扫描分辨率建议不小于300dpi。如文字偏小、密集、清晰度较差时,应适当提高分辨率。如有仿真、印刷、出版等其他用途时,可根据需要调整分辨率。 2005版扫描分辨率: 采用黑白二值、灰度、彩色几种模式对档案进行扫描时,其分辨率一般均建议选择大于或等于100dpi。特殊情况下,如文字偏小、密集、清晰度较差等,可适当提高分辨率。 需要进行OCR汉字识别的档案,扫描分辨率建议选择大于或等于200dpi。
解 读 分辨率单位长度内图像包括的点数或像素数,一般用每英寸点数(DPI)表示。(《纸质档案数字化技术规范》(DA/T31-2005)) 解 读 分辨率单位长度内图像包括的点数或像素数,一般用每英寸点数(DPI)表示。(《纸质档案数字化技术规范》(DA/T31-2005)) 分辨率细分为:垂直分辨率和水平分辨率 PPI就是Pixel(像素)Per Inch,中文就是每英寸的像素。 DPI就是Dots(点) Per Inch,中文就是每英寸的点数。 DPI与PPI区别:计算机、数码设备多用PPI表示。打印输出、鼠标多用DPI表示。 DPI中的点可以说是硬件设备最小的显示单元,而像素则既可是一个点,又可是多个点的集合。在扫描仪扫描图像时,扫描仪的每一个样点都是和所形成图像的每一个像素相对应的,因此扫描时设定的DPI值与扫描形成图像的DPI值是相等的,此时两者可以划等号。
解 读 10.5 存储格式 10.5.1 纸质档案数字化副本应存储为无损压缩TIFF格式。根据需要,可再存储一份JPEG、JPEG2000、PDF等格式的数字副本,压缩率的选择可根据实际应用的需求而定。 10.5.2 纸质档案数字化副本提供网络查询时,也可从网络浏览速度、易操作性、存储空间占用等方面进行综合考虑,将图像转换为其他格式。 2005版存储格式: 采用黑白二值模式扫描的图像文件,一般采用TIFF(G4)格式存储。采用灰度模式和彩色模式扫描的文件,一般采用JPEG格式存储。存储时的压缩率的选择,应以保证扫描的图像清晰可读的前提下,尽量减小存储容量为准则。
解 读 10.6 图像文件命名 10.6.1 图像文件命名方式的选择应遵循如下原则: a) 应依据档号为图像文件命名; 解 读 10.6 图像文件命名 10.6.1 图像文件命名方式的选择应遵循如下原则: a) 应依据档号为图像文件命名; b) 应确保纸质档案数字化成果管理系统中数字图像命名的唯一性; c) 应支持对同一份档案中不同稿本、附件等的区分。 10.6.2 扫描后的图像存储为单页文件时,可按档号与图像流水号的组合对图像文件命名。若同一份档案存在不同稿本,可按档号、稿本代码、图像流水号等的组合对图像文件命名。 10.6.3 扫描后的图像存储为多页文件时,可采用该档案的档号对图像文件命名。若存在不同稿本,可按档号、稿本代码等的组合对图像文件命名。 10.6.4 应科学建立纸质档案数字副本的存储路径,确保数据挂接的准确性。 2005版图像文件命名: 纸质档案目录数据库中的每一份文件,都有一个与之相对应的唯一档号,以该档号为这份文件扫描后的图像文件命名。 多页文件可采用该档号建立相应文件夹,按页码顺序对图像文件命名。
解 读 11 图像处理 11.1 图像拼接 对大幅面档案进行分幅扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字图像的整体性。拼接时应确保拼接处平滑地融合,拼接后整幅图像无明显拼接痕迹。应采用有效的技术手段,提示后续检查时对拼接部位进行重点查看。 11.2 旋转及纠偏 对方向不符合阅读方向的图像应进行旋转还原。对出现偏斜的图像应进行纠偏处理。 2005版图像处理: 对大幅面档案进行分区扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字化图像的整体性。 对出现偏斜的图像应进行纠偏处理,以达到视觉上基本不感觉偏斜为准。对方向不正确的图像应进行旋转还原,以符合阅读习惯。
解 读 11.3 裁边 如需对数字图像进行裁边处理,应在距页边最外延至少2至3毫米处裁剪数字图像,不得裁掉纸质档案原有页边,包括破损、歪斜页边。 11.4 去污 如需对数字图像进行去污处理,以去除在扫描过程中产生的污点、污线、黑边等影响图像质量的杂质,处理过程中应严格遵循展现档案原貌的原则,不得去除档案页面原有的纸张褪变斑点、水渍、污点、装订孔等。 2005版图像处理: 采用彩色模式扫描的图像应进行裁边处理,去除多余的白边,以有效缩小图像文件的容量,节省存储空间。 对图像页面中出现的影响图像质量的杂质,如黑点、黑线、黑框、黑边等应进行去污处理。处理过程中应遵循在不影响可懂度的前提下展现档案原貌的原则。
解 读 11.5 图像质量检查 11.5.1 图像不完整、无法清晰识别或图像失真时,应重新扫描。 解 读 11.5 图像质量检查 11.5.1 图像不完整、无法清晰识别或图像失真时,应重新扫描。 11.5.2 对于漏扫、重扫、多扫等情况,应及时改正。 11.5.3 扫描图像的排列顺序与档案原件不一致时,应及时进行调整。 11.5.4 对图像拼接、旋转及纠偏、裁边、去污等处理情况进行检查。发现不符合图像质量要求时,应重新进行图像处理。 2005版图像质量检查: 对图像偏斜度、清晰度、失真度等进行检查。发现不符合图像质量要求时,应重新进行图像的处理。 由于操作不当,造成扫描的图像文件不完整或无法清晰识别时,应重新扫描。 发现文件漏扫时,应及时补扫并正确插入图像。 发现扫描图像的排列顺序与档案原件不一致时,应及时进行调整。 认真填写相关表单,记录质检结果和处理意见。
解 读 12 数据挂接 12.1 应借助相关软件对数据库中的目录数据、元数据与纸质档案数字副本进行挂接,以实现目录数据、元数据与其对应纸质档案数字副本的关联。 12.2 逐条对挂接结果进行检查,包括目录信息、元数据与纸质档案数字副本对应的准确性、已挂接图像文件与实际扫描数量的一致性、图像文件是否能正常打开等。发现错误及时进行纠正。 2005版数据挂接: 档案数字化转换过程中形成的目录数据库与图像数据库,通过质检环节确认为“合格”后,通过网络及时加载到数据服务器端汇总。通过编制程序或借助相应软件,可实现目录数据对相关联的数字图像的自动搜索、加入对应的电子地址信息等,实现批量、快速挂接。 以纸质档案目录数据库为依据,将每一份纸质档案文件扫描所得的一个或多个图像存储为一份图像文件。将图像文件存储到相应文件夹时,要认真核查每一份图像文件的名称与档案目录数据库中该份文件的档号是否相同,图像文件的页数与档案目录数据库中该份文件的页数是否一致,图像文件的总数与目录数据库中文件的总数是否相同等。通过每一份图像文件的文件名与档案目录数据库中该份文件的档号的一致性和唯一性,建立起一一对应的关联关系,为实现档案目录数据库与图像文件的批量挂接提供条件。
解 读 13 档案入库 13.1 恢复装订 数字化工作完成后,拆除过装订物的档案应按档案保管的要求重新装订。恢复装订时,应注意保持档案原貌,做到安全、准确、无遗漏。 13.2 档案入库 按照档案入库相关要求对纸质档案进行处理和验收,并履行档案入库手续。
解 读 14 数字化成果验收 14.1 验收方式与验收指标 14.1.1 建议档案部门成立专业的数字化成果验收组对数字化成果进行验收。 解 读 14 数字化成果验收 14.1 验收方式与验收指标 14.1.1 建议档案部门成立专业的数字化成果验收组对数字化成果进行验收。 14.1.2 应采用计算机自动检验与人工检验相结合的方式对纸质档案数字化成果进行验收检验。能够采用计算机自动检验的项目应采用计算机自动检验的方式进行100%检验,检验合格率应为100%。对于无法用计算机自动检验的项目,可采用抽检的方式进行人工检验。抽检比率不得低于5%,抽检合格率应为100%。 2005版数据验收: 以抽检的方式检查已完成数字化转换的所有数据,包括目录数据库、图像文件及数据挂接的总体质量。一个全宗的档案,数据验收时抽检的比率不得低于5%。一个全宗的档案,数字化转换质量抽检的合格率达到95%以上(含95%)时,予以验收“通过”。 目录数据库与图像文件挂接错误,或目录数据库、图像文件之一出现不完整、不清晰、有错误等质量问题时,抽检标记为“不合格”。
解 读 14.2 验收内容 14.2.1 应对目录数据与元数据进行验收,主要包括数据库中各条目的内容、格式等的准确程度、必填项是否填写等。 解 读 14.2 验收内容 14.2.1 应对目录数据与元数据进行验收,主要包括数据库中各条目的内容、格式等的准确程度、必填项是否填写等。 14.2.2 应对图像文件进行验收,主要包括数字化参数、存储路径、命名的准确性、数字副本的完整性、排列顺序的准确性、图像的清晰度、图像处理的精确程度等。 14.2.3 应对数据挂接进行验收,主要包括目录数据与数字副本的挂接的准确性等。 14.2.4 应对工作文件进行验收,主要包括《纸质档案数字化流程单》等数字化工作过程中形成的工作文件的完整性等。 14.2.5 应对存储载体进行验收,主要包括载体的可用性、有无病毒等。 14.3 验收结论 14.3.1 每批纸质档案数字化质量检验达到本标准14.1和14.2的要求,予以验收“通过”。验收未通过应视情况进行返工或修改后,重新进行验收。 14.3.2 验收完成后须经验收组成员签字。验收“通过”的结论,必须经验收组长审核、签字后方有效。
解 读 15 数据存储 15.1 存储范围 验收合格的完整数据应及时进行存储,包括纸质档案数字副本、存储目录数据与元数据的数据库、纸质档案数字化工作过程中产生的各种工作文件等。 15.2 存储载体及存储方式 15.2.1 存储载体的选择应考虑载体存储容量、数字化成果存储目的、保管期限、经费情况、载体市场环境、载体生产厂商提供服务的能力等方面的因素。存储载体的选择可多样化。 15.2.2 可采用在线、近线、离线相结合的方式在磁盘、磁带、光盘等载体上实现多套存储,并按有关要求进行异地备份。 15.3 存储记录 数据存储后,应及时进行存储记录。同时,应在相应的存储载体上做好标签,并列出目录,以便查找和管理。
解 读 介质 磁带 光盘 硬盘 物理优点 易生产 使用广泛 数据不可修改 存储容量大 可长期保存 物理缺点 数据易受外界环境影响 解 读 介质 磁带 光盘 硬盘 物理优点 易生产 使用广泛 数据不可修改 存储容量大 可长期保存 物理缺点 数据易受外界环境影响 保存时磁塑介质易粘连 片基易老化 盘片易划损 抗冲击力较弱,内部含有皮带、电容等器件需要定期使用 使用管理优点 系统成熟 低能耗 通用性较高 信息易定位 定期备份信息快速 通用性较高、易管理 使用管理缺点 速度慢 定位信息困难 需专门设备读取 使用中光盘数量大 读写速度较低 需定期启动保证正常工作 后期管理 需定期对介质 检验,读取,重新拷贝 需要对大量同类介质 进行分类检验,并重新备份 通过技术对数据进行自检重新拷贝数据速度也较快 保存 为保证数据的安全完整需要的保存环境较苛刻 对保存环境要求较弱 但是长时间保存光盘基片易老化导致盘片损坏 较易保存 且保存时占用空间较小 价格 需专门磁带设备读取 6.5TB价格为750元 使用普遍 一盘DVD容量为4.7GB 价格5元左右 4TB企业级硬盘价格为 1500元/块以内
解 读 在线存储是指存储设备安装在系统中,系统可直接访问数据的存储技术(《电子档案管理基本术语》DA/T58-2014) 解 读 在线存储是指存储设备安装在系统中,系统可直接访问数据的存储技术(《电子档案管理基本术语》DA/T58-2014) 存储设备和所存储的数据时刻保持“在线”状态,可供用户随意读取,满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储设备,价格相对昂贵,但性能较好。 离线存储是指存储设备经人工安装后,系统才能访问数据的存储技术。 (《电子档案管理基本术语》DA/T58-2014) 对在线存储数据的备份,以防范可能发生的数据灾难。离线存储的数据不常被调用,一般也远离系统应用,所以人们用“离线”来生动地描述这种存储方式。 近线存储是指存储设备自动安装后,系统能够自动访问数据的存储技术。 (《电子档案管理基本术语》DA/T58-2014) 是随着客户存储环境的细化所提出的一个概念,所谓的近线存储,外延相对较广泛,主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到,或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。(例如客户一些长期保存的不长用的文件的归档)。因此,近线存储对性能要求相对来说并不高,但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的比较大的比重,这也就要求近线存储设备在需要容量相对较大。
解 读 16 数字化成果管理 16.1 基本要求 16.1.1 应加强对纸质档案数字化成果的管理,记录数字化成果的管理和使用情况,及时获取和补充数据管理过程中的元数据,并采取有效的技术手段,确保数据不被非法改动,确保其安全、完整和长期可用。 16.1.2 应建立有效、可操作性强的存储载体与存储设备维护规范,对状态检测、预防性检查、常规性作业等提出具体要求。 16.2 环境要求 纸质档案数字化成果存储硬件设备和系统的机房环境应符合GB/T 2887的规定。不同类型存储载体保存与工作环境应符合下列规范要求: a) 光盘保存和工作环境要求见DA/T38;b) 磁带保存和工作环境要求见DA/T 15; c) 硬磁盘保存和工作环境要求见GB/T 12628;d) 闪存盘保存和工作环境要求见GB/T 26225。 2005数字化成果管理: 应加强对纸质档案数字化成果的管理,确保其安全、完整和长期可用。 纸质档案数字化成果提供网上检索利用时,应有制作单位的电子标识,并根据具体情况分别采用可下载或不可下载的数据格式。
解 读 16.3 数字化成果检验及处理 16.3.1 应定期对数据内容进行检验。主要采用计算机自动检验的方式,对图像文件正常读取等进行检验,确保存储数据完整、可用。及时对出现问题的数据所在的载体及其同批次载体进行更新。 16.3.2 离线存储的载体每年至少联机检测一次。如发现载体或出现问题,及时对数据进行复制、迁移。每年使用专用机器对离线存储的磁性载体进行不少于2小时的稳压、稳频加电维护。 16.3.3 应综合运用介质更新、数据迁移等有效的技术手段,防止因载体老化等原因造成的数据损毁。 16.4 数字化成果管理系统运行维护 16.4.1 应针对纸质档案数字化成果管理系统进行运行维护工作,确保成果管理系统安全、持续、可靠的运行,以提高工作效率和质量,使其更好地服务于档案信息管理工作。 16.4.2 纸质档案数字化成果管理系统运行维护工作筹备、策划、实施、检查和改进等方面的要求见DA/T XX。
背 景 2015版与2005年版的区别 (一)纸质档案数字化的定义更加符合数字档案馆(室)建设需要 1、数字副本要与纸质档案保持内在联系 背 景 2015版与2005年版的区别 (一)纸质档案数字化的定义更加符合数字档案馆(室)建设需要 1、数字副本要与纸质档案保持内在联系 2、提出元数据概念,数字副本与目录数据和元数据建立起可靠关联 (二)数字化工作环节更加细化更加科学合理 1、增加了确定数字化对象与制定总体方案、档案出库、档案入库 2、重视档案基础工作,将建立数据库放在档案扫描前面 (三)要求数字化工作进行全过程有效控制 1、对数字化工作各个环节进行全过程有效控制 2、加强数字化工作的全流程安全管理 3、对数字化工作过程中后端环节发现前端环节中产生的问题进行及时反 馈和修正。 (四)重视档案实体安全和数字档案信息安全
问 题 一、数字化前期准备不充分 (一)忽视档案基础工作的作用。 (二)缺乏科学合理的数字化工作方案。 (三)缺少档案数字化标准规范的储备。 问 题 一、数字化前期准备不充分 (一)忽视档案基础工作的作用。 (二)缺乏科学合理的数字化工作方案。 (三)缺少档案数字化标准规范的储备。 二、数字化过程缺少监管 (一)档案实体安全得不到保证。 (二)对数字化各个环节缺少控制 (三)对数字化工作过程中产生的工作文件不够重视 三、数字化成果没有得到安全管理和有效利用 (一)数字化成果缺乏安全完整的备份策略 (二)数字化成果缺少与档案实体内在联系
建 议 一、制定科学合理的数字化方案。 二、做好档案基础工作。 三、严格确保档案实体和信息安全。 四、选择适合的数字化加工方式。
谢 谢!