光变曲线数据高效生成方法研究 天津大学 天文信息技术联合研究中心 李琨、孙超、赵青 2017-11-30
主要内容 研究背景 系统总览 结构与算法设计 实验与总结
背景介绍 光变曲线——反映天体的属性随时间的变化 天文星表——天文学上的元数据 201 Penelope light curve[1] 通过按行和列组织数据，每一行是一个星体，每一列是星体的一个属性 201 Penelope light curve[1] 天文星表——天文学上的元数据 [1] “A light curve image created by MATLAB,” https://en.wikipedia.org/wiki/Li-ght curve.
背景介绍 特定的光变曲线 – 有目标的研究 – 数据利用率低 研究的问题 – 实现海量数据的普查 – 提高精度并缩短生成时间
研究现状 数据库性能瓶颈 交叉证认研究现状 – 数据类型转换、加载数据等初始化成本 – 不适应时域天文学查询特点 – 不同源之间的融合 – 空间索引、高性能计算技术 满足极高读写性能需求的Key-Value数据库Redis；满足海量存储需求和访问的面向文档的数据库MongoDB；满足高可扩展性和可用性的面向分布式计算的数据库HBase，以及满足处理科学数据需求的面向多维数组数据的数据库SciDB
系统总览
数据预处理
划分函数 数据库性天区块中文件大小的域为D，进程数为N。划分函数是一个天区块到进程的映射，可以表示为P：D→[ 1，…，N ]。 计算出每一个进程的平均值，可以将问题转化为01背包问题，采用动态规划的方法依次解决各个进程的分配。
交叉证认
实验结果
实验结果
光变曲线
总结 灵活性 扩展性 – 可调节天区块大小 – 可配置进程数 – 每个天区块对应一个基准表 – 修改配置文件适用于不同星表 Li K, Yu C, Sun C, Zhao Q, et al. Flexible Light Curves Generation System for Astronomical Catalogs[C]//ISPA, 2017 IEEE.
谢谢！敬请指正！