地震台网数据处理系统 JOPENS 5.2 吴永权 2014年4月 广州.

Slides:



Advertisements
Similar presentations
MySQL 基础技能与原理 —— 基础技能 MySQL DBA Team 彭立勋( )
Advertisements

2011/11,12 南台資管 吳昭儀. 1. 使用者介面 (User Interface)  使用者操作畫面的安排  Textbox, ComboBox, ListBox, CheckList, … 2. 流程控制 (Process Control)  使用者輸入資料檢查  計算  資料輸出.
第 7 章 数据库 1. Overview  数据库概述  数据库管理系统  数据库的体系结构和数据库模型  SQL 语言  数据库技术  构建数据库系统 2.
Linux 安裝入門與基本管理 課程目標: 學習Linux平台下的安裝設定 與 建置一個基本的Linux伺服器
辅导老师:隋秀峰 2008年10月22日 Lab3:MPI Programming 辅导老师:隋秀峰 2008年10月22日.
第八单元 数据库MySQL应用基础 MySQL数据库应用基础 MySQ数据库操作使用 Mysql管理工具 第25章 数据库的增加/删除操作
Wireshark 03/03/2017.
電腦硬體裝修丙級 ----安裝微軟windows作業系統----
第 4 章 网络层.
大型、高负载网站架构和应用初探.
因特网 TCP/IP协议 IP路由技术 Internet接入技术 Internet服务.
資料庫 (Database) SQL Server 2008實作
数据库概述 简而言之,数据库(DataBase)就是一个存储数据的仓库。为了方便数据的存储和管理,它将数据按照特定的规律存储在磁盘上。通过数据库管理系统,可以有效的组织和管理存储在数据库中的数据。如今,已经存在了Oracle、SQL Server、MySQL等诸多优秀的数据库。在这一章中将讲解的内容包括。
自由軟體SFS3 SFS3 學務系統是採用開放原始程式碼所架構的校務行政電腦化系統,目標是希望使各中小學校能擁有一個自由開放強大的校務E化平台。 本系統採用 Apache+PHP+MySQL,具備強大的模組功能,並且跨平台支援 Linux/FreeBSD/Windows等作業環境。 最大的特色是:自由、開放、模組化、高度可擴展能力。
Linux 的檔案管理.
MySQL資料庫安全管理.
JOPENS 地震台网观测系统 0.4版.
UBLink集團 裕笠科技股份有限公司 遠豐科技股份有限公司 鉅創科技股份有限公司
常优
Xoops架站器介紹 基隆市教育網路中心 王言俊 按一下以新增備忘稿.
第六章 Linux的系統管理基礎 課前指引 身為Linux系統管理員,除了熟悉作業系統的安裝、圖形介面的操作及系統指令的使用與軟體套件的安裝外,更需要瞭解基礎的Linux系統管理技巧。本節,將針對此部分進行說明。
資訊安全與系統管理 2013/3/13 Chien wei lin.
Netman Linux 的防火牆設計與應用 Netman
网络地址转换(NAT) 及其实现.
J2EE与中间件技术 ——Lab.
Linux.
主讲:邓 志 龙 Linux网络技术 主讲:邓 志 龙
2018/11/11 CGI程式設計進階 (for UNIX Perl) 國立中央大學電算中心 陳慶彥.
第 2 章 上機使用 Unix/Linux 內容: 操作介面 主機連線 登入主機 認識系統環境 使用者常用命令.
第 19 章 檔案系統與 權限設定.
Web Server 架設.
主講人:葉致偉 交大校園網路策進會 臺灣學術網路竹苗區域網路中心 89年網路教育推廣訓練課程 Proxy Server 規劃管理 主講人:葉致偉 交大校園網路策進會
PHP與MySQL 入門學習指南 凱文瑞克 著 第 23 章 資料型別.
第十一章 資料庫設計與權限設定.
網路伺服器應用 Linux Server Andres, Wen-Yuan Liao
課程名稱:資料庫系統 授課老師:李春雄 博士
第 7 章 建立資料表與 資料庫圖表.
Installation, advance wireless module and evaluation 2008/11/11
系統與網路管理工具.
第二天 计算机基础技能培训 (一)linux基础知识
第3章 MySQL教學範本 主從式資料庫系統 - CH3.
Stress Test Tool for SIP
MySQL数据库基础与实例教程 之 MySQL表结构的管理 郭水泉.
SC Client V1.8 胡永平
浅谈MySql索引及锁的应用 厦门大学数据库实验室 刘颖杰 2014年3月8日.
曙光集群简明使用手册 技术支持中心.
MSDP-DM 地震台网数据处理及数据库管理软件 用 户 培 训
Ch4.SQL Server 2005資料庫組成員元件介紹
Linux核心編譯與模組管理 2013/01/19.
第 10 章 数据库编程.
第20章 MySQL数据库.
98年-ichip使用與轉移教育訓練 注意事項 使用者資料備份與還原 資料庫資料匯出與匯入 環境設定備份(時光回溯) 系統基礎操作
MySQL开发规范 DB组-张浩.
雲端計算.
利用ICE通信中间件构建分布式应用程序开发框架
雲端計算.
系统管理员培训(I期) 浙江省基层人民法院 -V8版介绍及系统管理培训 二OO八年四月二十三日 法院事业部经理:周春宏
Confidential Property
CS, ZJU 4/18/2019 Chapter 7 数据库.
第12章 MySQL資料庫系統的使用 12-1 網頁資料庫的基礎 12-2 MySQL資料庫系統
OceanBase 0.4:从API到SQL 日照
杨振伟 清华大学 第一讲:Linux环境下编程(1)
第六類 資料庫備份與回復.
如何連上工作站 WorkStations: 1. Solaris 2. Linux Use X-Win32 (for Solaris)
課程名稱:資料庫系統 授課老師:李春雄 博士
作業一: 安裝Linux於btrfs上 中正大學 作業系統實驗室 指導教授:羅習五
杨振伟 清华大学 第一讲:Linux环境下编程(1)
Mobile Nodes and Multiple Interfaces in IPv6 (Monami6)
第六章 文件系统与文件管理 6.4 Linux文件管理 1、比较MS DOS 与 Linux的目录结构 一、Linux文件系统的树形结构
Presentation transcript:

地震台网数据处理系统 JOPENS 5.2 吴永权 2014年4月 广州

重要提示: 本演示文稿只介绍JOPENS5.2新增加的内容 ,并非完全的JOPENS5.2培训教程。

主要内容 一、JOPENS5.2简介 二、JOPENS5.2的更新内容 三、JOPENS5.2的系统架构 四、JOPENS5.2各模块的更新

一、 JOPENS5.2 简介

一、 JOPENS5.2 简介 在中国地震局的支持下,广东省地震局一直致力于推 动JOPENS系统的创新与发展,多年来发布了多个版 本的数据处理系统,使得系统的功能日趋完善。 JOPENS 0.3 JOPENS 0.4.3 建议 经验 JOPENS 5.2 JOPENS 0.4.4 JOPENS 0.1 创新

JOPENS 5.2 简介 增加了多个新的软件模块 大幅度修改了系统架构 简化了系统的安装与配置过程 增强了系统的稳定性 提高了数据处理的效率 提升了数据处理结果的精度 丰富了系统的功能 提供了实用的工具软件

二、 JOPENS 5.2的更新内容

JOPENS 5.2的更新内容 1、增加AWS模块。 AWS模块用于连续波形在线存储,建议用户将连续波 形数据都存储在AWS模块中。JOPENS数据库保留了存储 连续波形数据的功能,但不建议在数据库中存储连续波形 数据,只存储事件波形、事件结果、震相数据、台站参数 等数据库。 这样做可以避免因连续波形数据表结构更改、数据占 满磁盘或者机器突然掉电等多种可能因素导致 Waveform_con表结构破坏,需要重建整个JOPENS数据库 ,进而导致的事件波形、事件结果、震相数据、台站参数 等数据的迁移,丢失等问题,这样可以有效提高JOPENS 数据库的安全性和稳定性,保障数据的安全,减轻系统管 理员数据库维护的困难和负担。

JOPENS 5.2的更新内容 2、增加了地震超快速报(预警)JEEW模块。

JOPENS 5.2的更新内容 3、软件配置过程简化。 JOPENS5.2简化了系统的配置过程,把系统各模块 的IP地址、服务端口、用户名、密码、路径等信息 都集中到了conf目录下的jopens-config.properties 文件里,这样用户就不必到每个模块的配置文件里 修改这些信息,有效简化了系统配置过程。

JOPENS 5.2的更新内容 4、更改软件打包结构 JOPENS5.2中各模块的可执行程序包都统一打 包放在lib目录下,各模块目录里只存放配置文件、 启动脚本及日志文件,不再存放可执行程序包。

JOPENS 5.2的更新内容 5、数据库Waveform_con和Waveform_event 表结构有更改,还新增加了近几年我国地震行 业新开发引进的地震仪器模板参数。新版本的 数据库必须与相同版本的软件模块一起使用, 错误的版本搭配可能导致服务不正常。

JOPENS 5.2的更新内容 6、SSS流服务升级 新增加支持了近几年我国地震行业新开发 引进的地震仪器实时数据流接收,增加了持久 用户的长时间断点重传功能,增加了数据抽样 与重组功能,台站名支持正则表达式配置,用 户IP地址限制支持CIDR地址表达方式,可以 把用户限定在一段IP地址内。

JOPENS 5.2的更新内容 7、RTS模块升级 提升了地震参数自动测定的速度和精度, 增强了可靠性,修复了RTS内存释放不畅导致 内存溢出,RTS停止运行的问题,把RTS-PICK 和RTS-LOC两个进程再次合并为一个RTS进程 。

JOPENS 5.2的更新内容 8、MSDP模块升级 更新了地图数据,增加了定位算法、震相自 动拾取与转换的方法、自动量取仿真震幅,增加 了地震参数测定台站快速选择、地震速报地名自 动匹配等功能,Hypsat定位增加了使用3D走时模 型,增加了3D走时模型和定位算法,增加了 IscLoc定位算法。有效提高了人机交互地震速报 和地震编目的效率。

JOPENS 5.2的更新内容 9、为方便地震台网编目工作,JBOSS模块增加了 最新格式的地震台网观测报告文件自动导出功能 ,简化了控制台台站信息配置过程。 10、增加了一些地震数据格式转换,地震波形数 据导入的工具软件,方便地震台网的日常工作。

JOPENS 5.2的更新内容 11、升级了第三方依赖软件包的版本 JOPENS5.2需要在Jdk1.6.0(或者openjdk6)以 上的JAVA运行环境中运行,建议使用JDK1.7。 Mysql数据库使用Mysql5.5版本。

JOPENS 5.2的更新内容 12、由于计算机技术发展快速,64位的计算机服 务器已经成为主流,因此JOPENS5.2版只发行64 位版本。使用一台性能较好的64位服务器,可以 把JOPENS所有模块安装在一台服务器上,维护使 用较为方便。

三、 JOPENS 5.2的系统架构

JOPENS 5.2的目录架构 JOPENS系统的软件模块都会被安装在/usr/local/jopens目录下面 conf目录:系统配置文件目录 utils 目录:JOPENS实用工具目录 rts目录:地震参数自动测定模块 ipplot 目录:简单的实时波形显示模块 lib 目录:JOPENS系统软件库 msdp目录:交互分析模块 sss 目录:流服务器模块 aws目录: 波形数据在线服务模块 traceView目录:有震相显示的实时波形显示模块。 monitor目录:监控系统模块

JOPENS 5.2的系统总配置文件jopens-config.properties #配置AWS模块的IP地址和服务端口 jopens.aws.host=localhost jopens.aws.port=16000 #配置AWS模块使用持久用户登录到SSS的用户名及密码 jopens.aws.sss.user=aws jopens.aws.sss.password=aws #FreeBSD config #jopens.aws.archiveDir=/home/jopens/tank #Linux config jopens.aws.archiveDir=/var/lib/tank

JOPENS 5.2的系统总配置文件 #配置数据库的IP地址、端口、用户名、密码 jopens.mysql.host=localhost jopens.mysql.port=3306 jopens.mysql.user=root jopens.mysql.password=rootme #配置Memcached的IP地址、端口 jopens.memcached.host=localhost jopens.memcached.port=11211

JOPENS 5.2的系统总配置文件 #配置AMQ消息服务器的IP地址(即JBOSS的IP地 址)、服务端口 jopens.amq.host=localhost jopens.amq.port=61616 jopens.amq.user=manager jopens.amq.password=manager

JOPENS 5.2的系统总配置文件 #配置MSDP发送EQIM地震速报信息的EQIM服务器参数 jopens.eqim.host=localhost jopens.eqim.port=5000 jopens.eqim.user=GD(配置登录EQIM服务器的用户代码 ) jopens.eqim.password=** (配置登录EQIM服务器的用 户密码) jopens.eqim.db.user=GD(配置登录EQIM数据库的台网 代码,一般为台网代码) jopens.eqim.db.password=** (配置登录EQIM数据库的 密码)

JOPENS 5.2的系统总配置文件 #配置台网代码与台网名,e.g. GD jopens.networkInfo.code=GD jopens.networkInfo.chineseName=广东地震台网 jopens.networkInfo.englishName=Guangdong Seismic Network

JOPENS 5.2的系统总配置文件 #配置FreeBSD/Amd64系统下,MSDP模块的外挂 定位程序路径 FreeBSD/Amd64 setting jopens.location.hyp2000.program=../lib/hyp2000/ hyp2000.freebsd.amd64 jopens.location.hyposat.env=HYPOSAT_DATA=../. ./lib/hyposat/data jopens.location.hyposat.program=../lib/hyposat/bi n/hyposat

JOPENS 5.2的系统总配置文件 #配置Linux/x86_64系统下,MSDP模块的外挂定 位程序路径 # Linux/x86_64 setting jopens.location.hyp2000.program=../lib/hyp2000/ hyp2000.linux.amd64 jopens.location.hyposat.env=HYPOSAT_DATA=../. ./lib/hyposat/data jopens.location.hyposat.program=../lib/hyposat/bi n/hyposat-linux.amd64

JOPENS 5.2的系统总配置文件 配置苹果公司的Mac OSX系统下的外挂定位程序 # Mac OSX setting jopens.location.hyp2000.program=../../lib/hyp200 0/hyp2000 jopens.location.hyposat.env=HYPOSAT_DATA=../. ./lib/hyposat/data jopens.location.hyposat.program=../../lib/hyposat .win/bin/hyposat

JOPENS 5.2的系统总配置文件 配置Windows系统下,MSDP模块的外挂定位程序 路径 # Windows setting jopens.location.hyp2000.program=../lib/hyp2000/ hyp2000.exe jopens.location.hyposat.env=HYPOSAT_DATA=../. ./lib/hyposat.win/data jopens.location.hyposat.program=../lib/hyposat.w in/bin/hyposat.exe

JOPENS 5.2的系统总配置文件 #配置MSDP自带的ISC定位程序工作路径 jopens.location.iscloc2.configDirectory=../lib/ISCl ocRelease/etc jopens.location.iscloc2.instructionFile=work/iscloc _instruction.conf

四、 JOPENS 5.2各模块的更新

1、SSS流服务模块的更新 增加了部份新型号数采实时数据流的接口程序。 增加了持久存储功能,持久存储由数据源服务器提 供,当数据源服务器支持持久存储功能时能完成超 长时间数据的断点重传。 Sbox-config.xml配置文件增加了支持正则表达式的 配置方法,简化了配置过程。 采用CIDR规则限定访问SSS用户的IP地址。 增加了数据抽样功能,可以把接收到的数据重新抽 样,降低采样率后提供给用户(简要介绍)。

新型号数采接口程序

SSS的持久存储功能 对于持久用户,流服务在sss目录下建立一个buffer目录,当 持久用户链接中断后,SSS会把该持久用户需要的数据存储 在buffer目录里,当持久用户再次上线后,SSS会把buffer里 的数据快速传输给持久用户,这样可以完成长时间的断点续 传。持久存储采用数据源流服务持久存储的原则,只有数据 源流服务支持持久用户功能才可实现。用户需要设定哪些用 户是持久用户,在sbox-config.xml文件里,Server部份的台 站列表之后,有以下配置 <persistUsers> <user name="aws" bufferSize="100000" /> <user name="s2s" bufferSize="100000" /> </persistUsers> 其中bufferSize是以十六进制表示的缓冲存储数据包个数 ,默认设置为0x100000,换算为十进制为1048576个数据包 ,每个数据包为512字节大小。

SSS的正则表达式配置方法 正则表达式的概念 正则表达式是对字符串操作的一种逻辑公式,就 是用事先定义好的一些特定字符、及这些特定字符 的组合,组成一个“规则字符串”,这个“规则字符串” 用来表达对字符串的一种过滤逻辑。 给定一个正则表达式和另一个字符串,我们可以达 到如下的目的: 1. 给定的字符串是否符合正则表达式的过滤逻辑( 称作“匹配”); 2. 可以通过正则表达式,从字符串中获取我们想要 的特定部分。

SSS的正则表达式配置方法 为了简化sbox-config.xml文件的配置过程,特别 是在台站很多的情况下,编辑sbox-config.xml显得 比较繁琐,JOPENS5.2的SSS支持了台站代码的正则 表达式配置方式。正则表达式的使用方式很多,在 sbox-config.xml文件里,有以下两种常用的用法: .*表示所有的台网及台站代码 台网代码/.*表示某个地震台网的所有台站。

正则表达式在SSS的用法示例1 在Server2Server里,如果需要在两个流服务之间传输数据源流服务器 管理的所有台站数据,则可以如下配置: <Server2Server enable="YES" profile="Server2Server"> <source host="192.168.168.168" port="5000" user="newdown" password="download" networkID="GD" /> <target host="localhost" port="5000" user="newup" password="upload" networkID="GD" /> <cfg> <station>.*</station> </cfg> </Server2Server> 如果希望在两个流服务之间传输GD台网的所有数据,则可如下表达 : <station>GD/.*</station>

正则表达式在SSS的用法示例2 在用户管理配置里,如果允许某个用户下载或上传 SSS所管理的所有台站或某几个台网的台站,则可以 如下配置: <user name="liss" allowIP="0.0.0.0/0" comment="download ... monitorRight="1"> <access station=".*" /> <access station="GD/.*" /> <access station="FJ/.*" /> </user>

SSS的CIDR规则限定用户IP地址 CIDR规则 英文缩写: CIDR (Classless InterDomain Routing) 中文译名: 无类别域间路由选择 CIDR 地址中包含标准的32位IP地址和有关网络前缀 位数的信息。以CIDR地址192.168.168.168/24为例 ,其中“/24”表示其前面地址中的前24位代表网络部 分,其余位代表主机部分。

SSS的CIDR规则限定用户IP地址 生成用户密码时可以采用CIDR的方式把用户的IP地 址限制设定为一个地址段内。为下面讲述用户管理 工具生产新密码的用法: 例如需要更新upload用户允许的IP地址为 192.168.168.*,密码为新密码upload,则可以输入: ./ UserManager.sh -p upload@192.168.168.0/24 upload

SSS的抽样功能 JOPENS5.2版本的SSS增加了抽样功能,可以把SSS 从数采里接收到的数据再次抽样得到更低采样率的 实时波形数据,而且SSS能同时提供一个台多种采样 率的实时数据。例如GZH台,数采设置的是100的采 样率,那SSS默认收到的也是100的采样率数据, SSS可以为GZH台再抽样,得到50,20,10,1,0.1 ,0.01等多种采样率的实时数据。

SSS的抽样功能 SSS再抽样的配置文件为: /usr/local/jopens/sss/SProcessor.xml。 配置文件里定义了原始数据的输入类型,只有完全 匹配输入类型参数的数据,SSS才对这些数据再抽样 ,用户可以设定只为某个台网、台站、通道的数据 做抽样。如果不需要做抽样时,只需把数据输入的 条件的台网代码改为”XX”,这样输入数据就不能与 ”XX”匹配,数据抽样功能就不生效。用户可以为一 个台站的数据定义抽样出多种采样率的数据,并以 不同的通道名命名。(详情请参考用户手册)

2、新增加的AWS模块 JOPENS系统在台网运行多年,我们常遇到以下难题 : 1、数据库存储容量有限,在不改变数据库结构的 前提下,扩展数据库存储容量比较困难; 2、数据库具有复杂的表结构,大量数据的迁移和 备份比较困难; 3、有时因特殊原因导致数据库连续波形表结构损 坏,必须重建数据库,数据库中的长期存储的地震台 网事件数据就存在丢失损坏的风险。 基于以上问题,我们开发了AWS模块,用于存储海量 的连续波形数据,为用户提供海量数据的长期实时在 线服务的问题,这有利于地震台网的数据管理、提高 观测数据的使用效率、保障观测数据的安全,

AWS模块的特点 为用户提供超大容量(数万通道)长期(十年)实时在线服务,主 要具备以下功能和特点: 1、建立三层存储服务机制,内存缓冲(Memory Cache)、 内存文件系统(MFS)和常规文件系统。最新数据放在内存缓冲 中,次之数据放在内存文件系统中,更次之数据按照命名规 律放在常规文件系统。最新数据总能得到优先快速的服务。 2、存储容量的易于扩展特性: 系统采用数据文件和索引的方式存储数据,当数据存储容 量快饱和时,只需增加磁盘阵列等类型的数据存储设备,包 括iSCSI设备、SAN设备和InfiniBand 网络设备等,挂载入系 统,系统就会自行往新设备中存储数据文件,并建立起数据 索引,系统的存储容量就可以扩大。随着硬件设备的不断发 展,系统的存储容量可以持续扩大,几乎不受存储空间容量 的限制,至少可以提供10年以上数据的在线服务。

AWS模块的特点 3、数据迁移简单方便: 因为系统采用文件加索引的存储管理方式,所以当 需要做数据迁移时,只需将需要迁移的数据文件复制 到目的地,系统根据数据文件的更改时间和大小等信 息,重新为数据文件再做一次索引即可使用。 4、实时与长期数据在线服务特性: 系统可持续接收数据流服务器接收到的实时数据, 将数据以MiniSEED格式写入数据文件,并为数据在系 统管理软件中建立数据索引,系统也可以将以前长期 记录到的数据导入系统,形成数据文件和索引,因此 系统可为用户提供实时和长期的数据在线服务。

AWS模块的特点 5、数据管理与服务的高效性: 系统为数据建立的索引存储在管理模块的内存中, 需要有高效智能的索引管理策略,在索引的效率和容 量之间取得平衡,使得系统非常容易从索引中查找数 据位置。用户需要调用数据时,系统只需从内存的索 引中快速查找数据位置,便可直接从相应位置中调出 数据提供给用户。索引在文件系统中存储时采用 NetCDF格式,NetCDF非常合适管理定长的的矩阵型 索引数据,索引按需采用LRU算法调入内存。因此数 据查找非常快速,系统具有高效的数据自动管理和服 务功能。

AWS模块的特点 6、多种数据格式服务: 系统管理可存储长期的地震台站定长采样观测数据 ,如地震波形和大部分前兆类型数据,存储采用定长 512字节的MiniSeed压缩格式。当用户需要获取某一 段数据时,在JOPENS系统的台站参数配合下,可以 转换出SEED、SAC、EVT、ASCII等多种格式的数据文 件给用户。

AWS模块服务

AWS模块服务的配置 AWS需要在内存中开辟内存介质文件系统,因此需要 系统支持内存盘设备,FreeBSD系统需要在rc.conf 文件中配置。SUSE 11 Linux系统默认已支持MD。 mdconfig_md0="-t malloc -s 3g" #内存磁盘空 间大小根据AWS的配置来计算,详见AWS部份,对 于一个有50个台站的台网,如果单个文件存储1024 个PACK,则需设置为不小于150M,如果机器内存足 够大,设置大一点也是可以的。 mdconfig_md0_owner="jopens" mdconfig_md0_perms="755"

AWS模块服务的配置 AWS的系统配置文件很简单,默认配置的数据存储路 径等在全局配置文件/usr/local/jopens/conf/jopens- config.properties 里完成。 用户可以修改数据存储路径,建议存储数据目录的空 间容量尽量大,而且路径不要太深。如果不修改,那 用户需确认此目录是否存在,如果不存在则要自行创 建一个tank目录,并确认此目录的属性为jopens用户 拥有读写权限。

AWS模块服务的配置 AWS采用三级管理数据的模式,为提高数据服务效率,最新 的数据都存储在内存理,因此内存空间的管理很重要,这些 参数的设置也与台网的台站数量和服务器内存空间有关,需 要用户在ArchiveWaveServer.xml配置文件里灵活设置。 <bean id="archiveBufferNode" class="cn.org.gddsn.jopens.wfpool.ArchiveBufferNod e" scope="prototype"> <propertyname=“cacheDays” value=“5” /> #内存中存储 数据索引的天数。一小时的数据最多存储100个索引,一个索 引为24字节(冗余考虑按32字节计算)。一个有100个三通 道台站的台网,一天索引文件的大小为 32*100*24*3*100/1024/1024=21.97M。对于中型台网来说 ,5天是一个合理的数据,一般不需要改。

AWS模块服务的配置 <propertyname="segSize" value="0x200" /> 设置mfs系统一个存储文件包含的数据包个数。以十 六进制表示。 需要计算在内存中开辟mfs系统的空间,为保证系统 在大多数机器都能正常运行,默认的设置较小,实际 使用是,用户可以适当调整。一个有100个三通道台 站的台网,需要设置的mfs空间大小为 100*3*2*512(0x200)*512/1024/1024=150M。 广东台网有一百多个台站的数据,实际运行时,我们 把segSize的值设为0x800,mfs空间至少为600M。

AWS模块服务的配置 <propertyname="cacheBufSize" value="16" /> 一个通道直接存储在内存中的最优级数据缓冲空间, 单位为可k,对于100个3通道台站的台网,缓冲空间 为100*3*16/1024=4.7M。 -->

AWS模块服务的配置 默认情况下,AWS将登录SSS下载所有台站的实时波形数据并存储到指 定的目录,如果用户不想存储SSS上的所有台站数据,也可以使用正则 表示式的表示方法,只存储某几个台网的数据,或者在 ArchiveWaveServer.xml文件里配置希望存储的台站列表,配置内容为: <bean id="sssPort" class="cn.org.gddsn.liss.port.sss.SSSPort"> <property name="lissClient" ref="lissClient" /> <property name="chanMask" value="0x01fffffff" /> <!-- "*" for all station --> <property name="stationCode"> <list> <value>.*</value> </list> </property> </bean>

AWS模块服务的配置 过期数据自动删除 虽然AWS的存储空间是可以扩充的,但是有些用户不 需要存储时间太久的连续波形数据,希望能自动删除 过期数据。AWS没有自动删除过期数据的功能,但是 由于数据是以文件形式存放在目录的,因此删除过期 数据的工作可以交由计算机操作系统去做。无论是 FreeBSD系统或者是SUSE Linux系统,存在 /etc/crontab文件,此文件的作用是配置系统定期自动 去执行一些命令,我们可以在此文件中配置定期去删 除过期的连续波形数据文件。

AWS模块服务的配置 # /etc/crontab - root's crontab for FreeBSD # Adjust the time zone if the CMOS clock keeps local time, as opposed to # UTC time. See adjkerntz(8) for details. 1,31 0-5 * * * root adjkerntz -a 0 0 * * * root find /home/jopens/tank/waveform -type f -ctime +100d –delete (FreeBSD) 0 0 * * * root find /var/lib/tank/waveform -type f -ctime +100 –delete (SUSE Linux)

2、数据库表结构更改 我们更改了波形数据的分区格式,采用一天一个分区,分区 号采用to_days标记,也就是当天是从0000年以来的第几天, 这样分区号就永远不会重复,SSS流服务在每天00:00分清楚 过期的分区数据,再创建一个新分区存储当天的数据。此更 改涉及到waveform_con和Waveform_event两个表。 计算当天的to_days值可登录Mysql后用Mysql语句: select to_days(now()); +----------------+ | to_days(now()) | +----------------+ | 734023 | +----------------+ 1 row in set (0.00 sec)

数据库表结构更改 Waveform_event表结构更改为: CREATE TABLE `Waveform_event` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `Net_code` varchar(2) NOT NULL, `Sta_code` varchar(5) NOT NULL, `Loc_id` varchar(2) NOT NULL, `…… KEY `CL_HASH` (`cl_hash`), KEY `Channel_id` (`Channel_id`), KEY `id` (`id`), KEY `Event_id` (`Event_id`), KEY `Start_time` (`Start_time`), KEY `End_time` (`End_time`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 PARTITION BY RANGE (YEAR(Start_time)) SUBPARTITION BY HASH (cl_hash) ( PARTITION p2000 VALUES LESS THAN (2000) ENGINE = InnoDB, PARTITION p2017 VALUES LESS THAN (2001) ENGINE = InnoDB, …… PARTITION p2018 VALUES LESS THAN (2018) ENGINE = InnoDB, PARTITION p2019 VALUES LESS THAN (2019) ENGINE = InnoDB, PARTITION p2020 VALUES LESS THAN (2020) ENGINE = InnoDB );

3、RTS实时处理模块的更新 JOPENS5.2的RTS模块经过优化升级后,增加了FP5触 发检测算法。FP5触发算法的检测参数配置文件为 cfg/FP5Detector.par,该参数文件与NgDetector.par 类似,用户也不必修改其参数。 提高了震相组合匹配的效率与Ml震级计算的速度,解 决了RTS占用内存空间释放回收的问题,增加了更多 的事件过滤策略,减少了误报率。内存资源利用效果 更高,RTS运行更稳定,在此基础上,为简化用户的 维护过程,JOPENS5.2版本的RTS再次从RTS-PCIK 和RTS-LOC两个进程合并为一个RTS进程。

4、TraceView模块的更新 JOPENS5.2版本的TraceView增加波形的实时滤波 功能,可以显示按照原始、近震、远震波形特征滤波 过的波形。

5、JBOSS模块的更新 JOPENS5.2版本JBOSS删除了波形自动归档功能。 如果JOSS与数据库、memcached不是安装在同一 台计算上,那么还需分别到以下文件中修改数据库和 memcached服务的IP地址。 jopens-ds.xml SeedCached.xml文件

6、新增加的Monitor模块 JOPENS5.2的Monitor模块是单独打包出来的系统监控 模块,JOPENS0.4.3之前的版本中,Monitor模块是挂 载在控制台上运行的。为了系统安装调试的便利,在 此版本的JOPENS中单独打包出此模块。 JOPENS5.2的监控平台的信号中断报警增加了报警策 略,可以最大限度地减少不必要的报警,但是当系统 或传输链路出现故障时又能及时准确地报警。

7、台站信息配置

台站信息配置

8、编目报告产出 JOPENS5.2系统增加了在控制台产出符合最新格式规 范的地震台网观测目录功能。 编目查询与观测报告生成: jboss启动完成后,用浏览器打开地址: http://jboss_ip:8080/JOPENSCat , 会弹出查询页面, 如下图所示。

8、编目报告产出

8、编目报告产出 点击查询,后会显示查询到的目录结果,页面中有生 成观测报告的时间、位置范围、震级范围、及其他参 数可以作为生成报告时的查询条件,当然用户生成观 测报告时不需要每个项目都填,不填写的选项表示不 限制。例如台网生成观测月报时,只需选择月报的起 止日期,选择目录类型为编目结果(C类),点击查 询,就会显示查询到的月报编目目录结果,如下图所 示。

8、编目报告产出

8、编目报告产出

五、 JOPENS 5.2的安装与配置 FreeBSD系统下的安装与配置 SUSE Linux系统下的安装与配置

1、在FreeBSD系统下安装JOPENS5.2 一、设置软件源 #setenv PACKAGESITE ftp://ftp.freebsd.org/pub/FreeBSD/ports/amd64/pac kages-9-stable/Latest/ 二、安装第三方软件(在超级用户下,确保系统接入Internet) 2.1 安装openjdk7 #pkg_add –r openjdk7 2.2 安装memcached #pkg_add –rf memcached

1、在FreeBSD系统下安装JOPENS5.2 2.3 安装Mysql5.5 #pkg_add –r mysql55-client #pkg_add –r mysql55-server 创建mysql的工作目录,并复制mysql性能参数文件到mysql目 录 #cd /home/ #mkdir mysql #chown mysql:mysql mysql #cp /usr/local/share/mysql/my-innodb-heavy-4G.cnf /home/mysql/my.cnf 在复制过来的my.cnf文件中,注释掉log-bin=mysql.bin这一行 。

1、在FreeBSD系统下安装JOPENS5.2 2.3安装Mysql5.5 在/etc/rc.conf文件中加入系统自动启动Mysql的参数 mysql_enable=“YES” mysql_dbdir=“/home/mysql” 启动mysql #/usr/local/etc/rc.d/mysql-server start

1、在FreeBSD系统下安装JOPENS5.2 2.4 创建和挂载online目录 #mkdir /online 编辑/etc/fstab文件,在系统下配置挂载内存文件 系统 fdesc /dev/fd fdescfs rw 0 0 proc /proc procfs rw 0 0 /dev/md0 /online ufs rw,async 0 0

1、在FreeBSD系统下安装JOPENS5.2 把jopens-freebsd9-ports-0.5.2.tar.gz文件解压到 /usr/ports下 #tar xvf jopens-freebsd9-ports-0.5.2.tar.gz -C /usr/ports 进到解压生成的目录 #cd /usr/ports/jopens #make install clean 这时系统就会自动从JOPENS软件的发布服务器上 下载各个软件模块并自动安装,直到出现“#”提示符 后提示命令执行完毕,系统安装成功。

1、在FreeBSD系统下配置JOPENS5.2 四、 配置rc.conf文件 配置rc.conf文件,根据情况设定软件各模块的启动参数,需 要启动的项目,把”NO”改为”YES”。 memcached_enable="YES" seedlink_enable=”NO” seedlink_flags=“-Xmx512m” aws_enable=”YES” aws_flags=“-Xmx2G” mdconfig_md0="-t malloc -s 3g" #具体设置多大可根据台 网情况计算,见AWS配置。 mdconfig_md0_owner="jopens" mdconfig_md0_perms="755"

1、在FreeBSD系统下配置JOPENS5.2 五、 修改系统总配置文件 jopens-config.propeters 六、初始化数据库(确认mysql已经启动) 进入数据库初始化文件所在路径 # cd /usr/local/jopens/sss/schema/ #mysql -u root -p –f <jopens-0.5.2-mysql55.sql 为网络用户注册访问权限 #mysql> grant all on jopens.* to root@'xxx.xxx.xxx.%' identified by 'rootme';

1、在FreeBSD系统下配置JOPENS5.2 七、 配置数据库中的台站参数 确认系统的/etc/hosts文件中机器名和IP地址关联是否正确 /etc/hosts文件示例如下: #::1 localhost localhost.gddsn.org.cn 127.0.0.1 localhost localhost.gddsn.org.cn 10.44.**.** bak.gddsn.org.cn bak 10.44.**.** bak.gddsn.org.cn. 红色所示的第一行为IPV6的本地地址配置,需要删除或注释 掉这一行。 确认正常后,执行下面一行命令,启动JBOSS #/usr/local/etc/rc.d/jboss4 start 然后用浏览器访问控制台并配置台网及台站参数。

1、在FreeBSD系统下配置JOPENS5.2 八、 配置SSS,根据情况配置SSS的sbox-config.xml 文件,接收相关台站的数据。 九、 创建AWS模块数据存储目录。 检查jopens-config.properties文件中设定的AWS波 形文件存储的目录是否存在,如果不存在就需用户自 己创建一个目录,目录的路径应与文件中设定的一致 ,并且目录允许jopens用户读写。 默认FreeBSD系统下的AWS文档路径为: /home/jopens/tank,如果不存在,则使用以下命令 创建: #mkdir /home/jopens/tank #chown jopens /home/jopens/tank/

1、在FreeBSD系统下配置JOPENS5.2 十、为让AWS系统使用内存文件系统,还需要在tank 目录下建立一个符号链接文件online到内存磁盘。确 认/online目录是否存在,如果不存在就使用下行命名 创建。 #mkdir /online 建立链接 #ln -sf /online /home/jopens/tank/online 可以重启服务器让相关设置生效,相关软件模块自动 启动。如果不希望开机自启动,可也是人工依次启动 软件模块。

1、在FreeBSD系统下配置JOPENS5.2 十一、重启计算机使得设定生效,自动启动相关软件模块。 #reboot 十二、 手工启动软件模块(重启过计算机就不必手工启动) 启动md内存文件系统管理服务 /etc/rc.d/mdconfig start #启动内存文件系统 /etc/rc.d/mdconfig2 start #启动内存文件系统 FreeBSD系统下JOPENS模块启动命令 /usr/local/etc/rc.d/jopens-sss start #启动SSS流服务 /usr/local/etc/rc.d/jopens-aws start #启动AWS流服务 /usr/local/etc/rc.d/jopens-seedlink start #启动 Seedlink2Server /usr/local/etc/rc.d/jopens-rts start #启动RTS进程

2、在SUSE Linux系统下配置JOPENS5.2 安装前准备: 安装好Linux系统后,卸载掉Linux系统缺省安装的 低版本的MySQL及JDK包,关闭系统防火墙。关掉 Linux系统对的IPv6支持:YaST>Network Devices>Network Settings>Global Options> 反选 Enable IPv6. 如果是重装JOPENS5.2,需删除之前安装时系统自动 在/var/lib/tank/目录下建立的online目录。 #rm –r /var/lib/tank/online

2、在SUSE Linux系统下配置JOPENS5.2 解压jopens-0.5.2-linux.tar.gz软件包: #tar –xvf jopens-0.5.2-linux.tar.gz JOPENS5.2只发布64位操作系统版本,解压完成后会 生成一个jopens目录,在jopens目录下有一个pkg目录 ,一个安装启动脚本,一个卸载脚本。 # cd jopens # ./install 命令执行后JOPENS系统就自动开始安装,在安装 的过程中会分别创建jopens用户,并会提示用户创建 密码,直到出现#提示符提示命名执行完毕,这表示 系统安装成功。

2、在SUSE Linux系统下配置JOPENS5.2 注意:如要启动jboss的用户,需要在/etc/init.d/jboss 文件中,把localhost改为网卡实际配置的IP地址。 JAVA_OPTS=${JAVA_OPTS:-"- Djava.rmi.server.hostname=10.44.***.***"}

2、在SUSE Linux系统下配置JOPENS5.2 三、编辑系统配置文件 编辑/usr/local/jopens/conf/jopens-config.properties 系统总配置文件,根据情况修改相关参数。 JOPENS5.2配置此文件后,其它模块不需要配置就应 能正常启动服务。

2、在SUSE Linux系统下配置JOPENS5.2 四、初始化数据库 确认mysql已经正常运行。 进入数据库初始化文件所在路径 # cd /usr/local/jopens/sss/schema/ #mysql -u root -p –f <jopens-0.5.2-mysql55.sql 为网络用户注册访问权限 mysql> grant all on jopens.* to root@‘xxx.xxx.xxx.%' identified by 'rootme'; (用户手册P175页错误,请更改)

2、在SUSE Linux系统下配置JOPENS5.2 五、配置数据库中的台站参数 启动JBOSS就启动了JOPENS的控制台,可以通过浏览器登 陆控制台配置台站参数,但是在启动JBOSS前,请确认系统 的/etc/hosts文件中机器名和IP地址关联是否正确,如果关联 不正确会导致JBOSS不能正常启动运行。 /etc/hosts文件示例如下: #::1 localhost localhost.gddsn.org.cn 127.0.0.1 localhost localhost.gddsn.org.cn 10.44.**.** bak.gddsn.org.cn bak 10.44.**.** bak.gddsn.org.cn 红色所示的第一行为IPV6的本地地址配置,需要删除或注释 掉这一行。 确认正常后,执行下面一行命令,启动JBOSS #/etc/init.d/jboss4 start

2、在SUSE Linux系统下配置JOPENS5.2 六、 配置SSS 根据情况配置SSS的sbox-config.xml文件,接收相关台站 的数据。 七、启动各软件模块 /etc/init.d/jopens-sss start #启动SSS流服务 /etc/init.d/jopens-aws start #启动AWS流服务 /etc/init.d/jopens-comserv start #启动ComServ2Server /etc/init.d/jopens-s2s start #启动Server2Server /etc/init.d/jopens-seedlink start #启动Seedlink2Server /etc/init.d/jopens-rts start #启动RTS进程 ……

六、 JOPENS 5.2附带工具软件

工具软件 SM 数据库中台站参数配置工具; AutoExportSeedVolume.sh:RTS触发事件波形导出工 具; Event2Edas.sh:把JOPENS支持的数据转为evt; Event2SAC.sh:把JOPENS支持的数据转为sac; DelayRecord.sh:延时计算结果显示; Event2Server.sh:事件数据送到流服务; MiniSeed2Server.sh:miniSeed格式数据送到流服务; MiniSeedArchiverUtil.sh:归档服务器工具

1、SM工具 地震台网以前记录到的SEED格式的波形数据文件 或者Dataless文件(Dataless文件可以在JOPENS控制 台的台站信息列表界面生成),使用SM工具从SEED 文件或Dataless文件中导入台站参数,需要注意的是 ,文件里台站参数的结束时间必须大于当前时间,否 则SM不导入该参数。

1、SM工具 导入参数之前必须保证Mysql数据库和JBOSS正常 运行,并且已经完成jopens数据库的初始化,SM导入 参数时不会导入数据库已经有的台站参数,如果希望 通过SM更新台站参数,则必须先删除数据库中的参数 。因为Seed文件格式里没有仪器类型参数,因此使用 SM导入参数后,还需要人工在控制台配置各台站的仪 器类型,配置完成后运行台站参数检查,确认参数无 误后才可以使用。

1、SM工具 SM工具在/usr/local/jopens/sm目录下。SM的用法如下: #./sm.sh -help 2:根据seed文件或dataless文件批量导入所需的台站信息到 数据库: #./sm.sh -merge2 GD.dataless # ./sm.sh -merge2 GD.SEED 3:选择性导入台站参数 #./sm.sh -merge2 GD.seed -net GD -loc 00 -sta GZH 4:删除TST台参数 #./sm.sh -delSta -sta TST

2、AutoExportSeedVolume RTS模块检测到地震事件后会往数据库自动提交 触发事件,触发事件的波形数据还在AWS模块存储, 数据库只是存储事件的震相信息和结果信息。本工具 软件是为地震台网导出这些RTS模块触发的地震事件 而开发的。该导出工具可以从归档服务器中导出指定 起始时间和长度的波形数据,也可以自动定时导出指 定条件的事件波形数据,导出的数据格式统一为SEED 。

2、AutoExportSeedVolume 配置文件为conf/jopens-config.properties和 utils/AutoExportSeedVolume.xml,其中需要配置的地 方为主要有: jopens-config.properties文件需要配置波形归档服务 器的IP地址jopens.aws.host和端口jopens.aws.port, 另外需要配置jboss的ip地址jopens.jboss4.host。

2、AutoExportSeedVolume AutoExportSeedVolume.xml需要配置的地方如图所示:

2、AutoExportSeedVolume AutoExportSeedVolume.sh:事件波形自动导出有两种工作模 式:1.设定条件,每天定时自动导出;2. 定制条件手动导出 。 模式1:每天定时自动导出符合设定条件的地震事件波形数据 ,此时使用数据库中事件截取的起始时间和长度来导出。直 接运行脚本 sh AutoExportSeedVolume.sh或者 ./AutoExportSeedVolume.sh即可。

2、AutoExportSeedVolume 模式2:手动导出时有三种方式导出,可以输入 sh AutoExportSeedVolume.sh –help查看。输入命令后会有如下 的帮助信息: 表示按起始时间为“yyy-MM-dd HH:mm:ss”和长度nsec为参数导出事件波形。 表示按目录信息为参数导出事件波形。 表示按起始时间和需要导出的天数为参数导出事件波形。

3、DelayRecord.sh 地震台站数据传输延时统计软件可以统计计算各台站的数据 延时,该软件统计的数据延时是数据打包延时、传输延时之 和。 DelayRecord软件有两种运行模式:界面模式和字符终 端模式。 DelayRecord软件启动前不需要配置,只需执行启动脚本即可 运行,然后在软件界面上填写SSS流服务的IP地址、用户名及 密码即可。如图所示:

3、DelayRecord.sh

4、Event2Edas文件格式转换工具 Event2Edas工具可以批量将某目录下的MSDP可以打开的文 件转换成港震格式的EVT格式文件。 Event2Edas工具在/usr/local/jopens/utils目录下。 例如:将/usr/local/jopens/seed文件下的seed文件转换成 evt文件并保存在/usr/local/jopens/evt下,可以执行以下命令 : #./Event2Edas.sh /usr/local/jopens/seed /usr/local/jopens/evt

5、Event2SAC文件格式转换工具 Event2SAC工具可以把JOPENS支持格式的事件文件转换成 SAC格式的文件,Event2SAC有两个参数 -a 和 -b,其中“-a” 表示转换为 ASCII格式的SAC文件,“-b”表示转换为Binary( 二进制)格式的SAC文件。 例如: (1) 把SEED格式的数据文件转换为ASCII格式的SAC文件 ,并保存在/tmp目录下 #./Event2SAC.sh -a GD.seed /tmp (2)把SEED格式的数据文件转为二进制格式的SAC文件, 并存在/tmp下 #./Event2SAC.sh -b GD.seed /tmp

6、Event2Server工具 Event2Server工具可以将SEED格式或EVT格式文件的数据发 送到流服务里,用于地震波形事件的回放,还可以通过SSS写 入到数据库中,该功能在软件调试时非常有用。使用 Event2Server工具导入数据时,必须保证Mysql数据库和SSS 流服务正常运行,并且所回放的台站必须包含在SSS提供数据 服务的范围内,

6、Event2Server工具 使用此工具需要先在jopens/conf/jopens-config.properties文 件中配置流服务信息: 在jopens/util/Event2Server.xml文件中配置以下信息即可

6、MiniSeed2Server工具 MiniSeed2Server工具可以批量将设定目录里miniseed格式 数据依次发送到SSS流服务中,使用MiniSeed2Server工具导入 台站数据时,必须保证Mysql数据库和SSS流服务正常运行。并 且所回放的台站必须包含在SSS提供数据服务的范围内. 应用举例:1、地震预警、自动速报系统调试、演示。 2、波形数据通过SSS写入数据库,再通过MSDP打 开数据后导出其他格式的数据文件,实现波形数据格式的转换 。

6、MiniSeed2Server工具 在jopens/util/ MiniSeed2Server.xml文件中配置以下信息即 可

7、MiniSeedArchiverUtil.sh 将Miniseed文件转换成归档服务器aws格式文件,可以用来补 充缺失的数据。 应用举例: (1) 将流动台记录的数据并入台网记录的数据库中,使用 MSDP打开后就可以进行联合分析。 (2)如果台站传输链路中断,导致数采记录到的重要数据没 有传回台网中心,那么可以将数采中记录的文件数据通过此工 具写入AWS,这样就可以补齐丢失的那段重要数据。

7、MiniSeedArchiverUtil.sh 使用方法: ./ MiniSeedArchiverUtil.sh 0|1 poolDir seedDir 参数: 0: SDS类型,jopens的波形归档服务器用这种类型,所以默认 用0 1:BUD类型(美国共享数据类型) poolDir:缓冲池目录 seedDir:seed文件存放目录 程序运行结束后,将poolDir目录中内容拷贝到归档服务器目录 即可实现补数功能。

结束语 我们希望培训完成后,各地震台网都逐步切换到JOPENS5.2来 完成地震台网的工作,培训完成后,我们将只支持JOPENS5.2 的技术咨询与服务工作。 我们期望JOPENS5.2能长期稳定地为各地震台网服务。

谢谢!