科学工作流技术及在天文研究中的应用探讨 昆明理工大学 中国科学院云南天文台 关宇 邓辉 王锋 季凯帆 许骏.

Slides:



Advertisements
Similar presentations
四川财经职业学院会计一系会计综合实训 目录 情境 1.1 企业认知 情境 1.3 日常经济业务核算 情境 1.4 产品成本核算 情境 1.5 编制报表前准备工作 情境 1.6 期末会计报表的编制 情境 1.2 建账.
Advertisements

1 计算机软件考试命题模式 计算机软件考试命题模式 张 淑 平 张 淑 平. 2  命题模式内容  组织管理模式 − 命题机构和人员组成 − 命题程序  试卷组成模式.
主编:邓萌 【点按任意键进入】 【第六单元】 教育口语. 幼儿教师教育口 语概论 模块一 幼儿教师教育口语 分类训练 模块二 适应不同对象的教 育口语 模块三 《幼儿教师口语》编写组.
第一組 加減法 思澄、博軒、暐翔、寒菱. 大綱 1. 加減法本質 2. 迷思概念 3. 一 ~ 七冊分析 4. 教材特色.
海南医学院附 院妇产科教室 华少平 妊娠合并心脏病  概述  妊娠、分娩对心脏病的影响  心脏病对妊娠、分娩的影响  妊娠合病心脏病的种类  妊娠合并心脏病对胎儿的影响  诊断  防治.
植树节的由来 植树节的意义 各国的植树节 纪念中山先生 植树节的由来 历史发展到今天, “ 植树造林,绿化祖国 ” 的热潮漫卷 了中华大地。从沿海到内地,从城市到乡村,涌现了多少 造林模范,留下了多少感人的故事。婴儿出世,父母栽一 棵小白怕,盼望孩子和小树一样浴光吮露,茁壮成长;男 女成婚,新人双双植一株嫩柳,象征家庭美满,幸福久长;
客户协议书 填写样本和说明 河南省郑州市金水路 299 号浦发国际金融中 心 13 层 吉林钰鸿国创贵金属经营有 限公司.
今天我们会去一个充满神秘色彩的地方 你知道是哪吗.
领舞者:聋人邰丽华 观看了聋人表演的《千手观音》,你想说点什么呢?.
校第六届“新天瑞”杯创业计划大奖赛 赛前培训
每周法治热点幻灯版:个人信息倒卖产业链悄然形成 小心,千万别让自己在网上“裸奔”
第六 章数据库访问页 6.1 数据访问页视图 6.2 创建数据访问页 6.3 编辑数据访问页 6.4 查看数据访问页 退出.
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
儿科护理 说课 李国琴.
                                     “金质工程”(一期) 综合信息服务系统 系统介绍 “金质工程”(一期)项目组 二〇〇九年十一月 主讲人:战勇.
仰望星空与脚踏实地 深一模反思 龙城高级中学 高三年级 政治科组 邢晨钟.
厘清监管边界 畅通券商创新通道 吴晓灵 清华大学五道口金融学院院长 全国人大常委、财经委副主任委员
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
舆情管理与危机应对 主讲人:杨博智.
综合布线技术与实践教程 第九章:综合布线系统工程网络分析 课程网站:
小学语文第三册第八课 难忘的一天 生字 图片 朗读 词语 写字 音乐.
夯实基础 提质增效 促进机关工作规范化再上新水平
Oracle数据库 Oracle 子程序.
黑色产业链行情分析及展望 浙商期货研究中心 同创,同享,同成长。.
知识点回顾 太阳辐射 全球(单圈)环流 三圈环流 气压带、风带 气压带、风带季节移动 受热不均 高低纬 地球自转偏向力 近地面
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
Chinese Virtual Observatory
从现在做起 彻底改变你自己 Sanjay Mirchandani EMC公司高级副总裁、首席信息官.
SOA – Experiment 3: Web Services Composition Challenge
李杰 首都经济贸易大学 安全与环境工程学院 个人主页:
大学计算机基础 典型案例之一 构建FPT服务器.
Jul 2014 HEAT部署Hadoop集群
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
第一单元 初识C程序与C程序开发平台搭建 ---观其大略
数 控 技 术 华中科技大学机械科学与工程学院.
数据挖掘工具性能比较.
动态规划(Dynamic Programming)
用event class 从input的root文件中,由DmpDataBuffer::ReadObject读取数据的问题
产品防伪防窜管理系统 运营中心操作指引 信息管理部.
SOA – Experiment 2: Query Classification Web Service
解决变化问题的自底向上 流程建模方法 严志民 徐玮.
内容摘要 ■ 课程概述 ■ 教学安排 ■ 什么是操作系统? ■ 为什么学习操作系统? ■ 如何学习操作系统? ■ 操作系统实例
C语言程序设计 主讲教师:陆幼利.
微机系统的组成.
标准配色方案 背景 文本和线条 阴影 强调色 主色一 主色二 主色三 主色四 推荐应用顺序. 标准配色方案 背景 文本和线条 阴影 强调色 主色一 主色二 主色三 主色四 推荐应用顺序.
VisComposer 2019/4/17.
小朋友们好! 场景一:线索人物孙悟空自我介绍,配合自动语音。.
实验四、TinyOS执行机制实验 一、实验目的 1、了解tinyos执行机制,实现程序异步处理的方法。
提供机构:XXXXXXXXX 机构级别:X级X等(无级别可不填写)
计算机网络与网页制作 Chapter 07:Dreamweaver CS5入门
Web安全基础教程
实验三 16位算术逻辑运算实验 不带进位控制的算术运算 置AR=1: 设置开关CN 1 不带进位 0 带进位运算;
北京中科进出口有限责任公司 PQDT论文全文库检索平台.
iSIGHT 基本培训 使用 Excel的栅栏问题
Logo 思维 力量 商务展示·企业内训.
Visual Basic程序设计 第13章 访问数据库
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
计算机绘图 AutoCAD2016.
OpenStack vs CloudStack
GIS基本功能 数据存储 与管理 数据采集 数据处理 与编辑 空间查询 空间查询 GIS能做什么? 与分析 叠加分析 缓冲区分析 网络分析
第六章 Excel的应用 五、EXCEL的数据库功能 1、Excel的数据库及其结构 2、Excel下的数据排序 (1)Excel的字段名行
機構督導: 范盛翔 督導 實習生: 佛光大學社會學系江佳穎 實習日期: 7/1(二)~8/29(五)
基于列存储的RDF数据管理 朱敏
Chinese Virtual Observatory
上节复习(11.14) 1、方式2、方式0的特点? 2、定时/计数器的编程要点? 3、实验5方案优化问题.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
入侵检测技术 大连理工大学软件学院 毕玲.
网页版报名流程 Step 4 点击“详情”查阅具体岗位信息,输入身份数据及申请序列码进行最终报名
2019/9/19 互联网产业、立法与网规 张钦坤 腾讯法务部.
Presentation transcript:

科学工作流技术及在天文研究中的应用探讨 昆明理工大学 中国科学院云南天文台 关宇 邓辉 王锋 季凯帆 许骏

Contents 背 景 1 科学工作流技术(SWF) 2 对数据处理模式的改变 3 总 结 4 科学工作流技术(SWF) 2

背景 上世纪后期以来,天文学研究获得了突飞猛进的进展,主要推动力来自于众多的地面和空间的大中型观测设备所产生的海量观测数据。

数据的开放和共享使科学产出趋于最大化和最优化,对天文研究有一定的推动作用 背景 星表 TB级 数据释放平台(天文数据库) 多波段天文数据交叉证认检索 查询数据库 数据 PB级 数据的开放和共享使科学产出趋于最大化和最优化,对天文研究有一定的推动作用

背景 在数据处理与展现系统的实现过程中,科学工作流(Scientific Workflow)技术起到了关键性作用。 科学工作流针对科学研究工作的特点,专注于大规模科学处理(e-Science)的定制,对科学数据进行管理、分析、模拟、仿真,提供辅助科学发现的环境。

背景 目前,科学工作流在生物领域、经济学等领域已经有了系统原型和初步应用。 Taverna  生物信息学 Kepler  理工类诸多学科 Triana  信号、文本、图片处理 DiscoveryNet  商业性质 GridNexus 将科学工作流应用于科学数据的处理和展现,对科学研究的应用有一定的推动作用。

科学工作流(SWF) 工作流定义 工作流(Workflow) 是一类能够完全或者部分自动执行的经营过程,根据一系列过程规则,文档、信息或任务能够在不同的执行者之间传递、执行。 --Workflow Management Coalition 工作流(Workflow) 是一系列用来管理业务处理或计算活动的运营操作或任务。 --Workflows for e-Science

科学工作流(SWF) 科学工作流定义 科学工作流(Scientific Workflow),是指将一系列在科学研究中所遇到的数据管理、计算、分析、展现等工作变成一个个独立的服务,再把这些服务通过数据链接组合在一起,满足研究人员在科学实验和数据处理中的需要,从而实现相应的处理与科学计算。

科学工作流(SWF) 特点一 SWF BWF 科学工作流采用数据驱动(Data Driven)模式 Data Driven Command Driven - 依赖于科学实验数据 在数据处理过程中,前一级的数据 输出成为后一级处理的数据输入 - 以业务为导向 工作流中的某个任务在满足规定的 控制条件才会被触发执行

科学工作流(SWF) 特点二 SWF BWF 科学工作流的定义与设计是全动态的 动态工作流 静态工作流 - 设计过程中,整个任务序列是未知 或者不确定的,需要依据前一个任 务的处理结果才能确定下一处理任 务,或者需要随时动态调整某几个 处理任务来尽可能满足研究需求 可重用,可不断完善,可重现 业务工作流是由工程师用专业软件 创建的。创建的工作流一旦使用就 不会轻易改变

科学工作流(SWF) 特点三 SWF BWF 科学工作流处理的数据量大、数据类型更为复杂 数据类型复杂自由 数据量大 数据类型简单 数据量可预知 天文数据格式: FITS、VOTable、二进制文件 针对企业用户,业务数据格式: Word、PDF、Excel、电子表单

科学工作流(SWF) 特点四 SWF BWF 科学工作流强调数据的可信度 强调数据的可信度 强调“事务” (实现“溯源”)对每一步处理过程的 可信度存在较高要求,对全程数据 的变化过程需要进行监控 以一个整体的长时间运行的商业事 务方式运行 某个子任务执行出错,可实现回退

科学工作流对数据处理模式的改变 过去

科学工作流对数据处理模式的改变 现在 提高处理 数据的效率 代码模块化 科学处理软件包 自动观测系统 批处理、管道技术

科学工作流对数据处理模式的改变 将来 科学工作流 可定制的自动批处理系统 处理的对象可以是数据,也可以是一个计算方法 科学家的工作,就是根据自己科研的需要,通过简单的设置,对数据、处理方法进行组合,构建出一个自动数据处理系统

科学工作流对数据处理模式的改变 基 本 应 用 思 想 功能服务化 业务标准化 科学研究角度的科学工作流 处理分布化 功能定制化 对数据处理中的主要功能进行设计,形成标准化(软件包) 功能服务化 利用 Web Service 将标准化后的功能进一步服务化(服务重用) 处理分布化 调用位于不同服务器的标准服务 利用数据的分布存储提高海量数据的访问效率 功能定制化 对网络上的服务进行任意定制与调用,并可根据业务处理需要,快速变化、组合 科学研究角度的科学工作流 基 本 应 用 思 想

科学工作流对数据处理模式的改变 传统的批处理模式 并行处理的科学工作流处理模式 处理工作量小 处理流程完全固定 处理工作量大

科学工作流对数据处理模式的改变 并行处理的科学工作流处理模式 优势 动态调整处理过程,对计算流程进行灵活重组与再定制,根据实际情况的变化新增或删除某些处理模块 根据处理任务的变化动态调整某一个处理单元的数量,以确保整体的计算能力 容易构建定时执行与自动执行机制,满足全自动处理的需求 优势

总结 科学工作流可以有效地满足当前数据处理、展现、发布等多种需要,对未来数据处理有一定的推动作用。

Thank You!