OTF谱线数据 处理介绍 逯登荣、孙继先 紫金山天文台青海站 中国虚拟天文台2015年学术年会 2019/5/15 OTF谱线数据 处理介绍 逯登荣、孙继先 紫金山天文台青海站 2015-11-27，甘肃天水
概况 2019/5/15 青海站介绍 OTF观测设备及过程 OTF谱线数据处理 谱线数据处理的“瓶颈”
青海站简介 青海观测站位于青藏高原柴达木盆地东北部，在青海省海西州德令哈市以东30公里处，海拔3200米。这里有我国唯一工作在毫米波段的口径为13.7M射电望远镜，望远镜配备了3*3多波束接收机，工作频段85—115GHz，后端由18路高分辨数字频谱仪FFTS组成，每路的通道数为16384，带宽为1000MHz。 2019/5/15
多波束系统+OTF观测模式，大大提高了观测效率，是多谱线系统的50多倍。同时也增加了数据处理的困难度。 2019/5/15 多波束系统+OTF观测模式，大大提高了观测效率，是多谱线系统的50多倍。同时也增加了数据处理的困难度。
针对这种大数据量，配备了容量为48T的光纤存储，满足一个月的数据保存；2个内存为32G的R910服务器用来处理数据 谱线数据的存储设备及处理 Dell R910 物理CPU个数 4 逻辑CPU的个数 48 CPU 核 6 CPU主频 1862MHz CPU型号 Xeon E7-4807@1.87GHz 内 存 32G emc存储 48TB 处理数据服务器的参数 2019/5/15 针对这种大数据量，配备了容量为48T的光纤存储，满足一个月的数据保存；2个内存为32G的R910服务器用来处理数据
OTF观测模式，就是天线以恒定的速率对指定的区域进行扫描，多个位置源点可以共用参考点和黑体校准，而我们使用了“隔行扫描法” 2019/5/15 OTF观测模式，就是天线以恒定的速率对指定的区域进行扫描，多个位置源点可以共用参考点和黑体校准，而我们使用了“隔行扫描法”
OTF谱线数据的处理过程 2019/5/15 首先，根据设备状态、天气情况等剔除异常数据； 其次，利用波束的间隔矩阵和效率矩阵分别对每个beam扫描点的进行位置归算和效率修正，还有主波束效率修正等； 再次，剔除噪声偏大的谱线数据； 最后，对9个波束数据合并到一起做重采样（regrid）处理。
OTF谱线数据regird处理，就是将无规则的数据先进行“网格”处理 2019/5/15 OTF谱线数据regird处理，就是将无规则的数据先进行“网格”处理
将圆圈内的数据与Guass公式进行卷积，得出位置（0,0）处的谱线，以此类推求出所有规则交叉位置点的数据 OTF谱线数据的处理过程-续 2019/5/15 将圆圈内的数据与Guass公式进行卷积，得出位置（0,0）处的谱线，以此类推求出所有规则交叉位置点的数据
OTF谱线数据的处理过程-续 2019/5/15
实际上需要处理2000*2000角秒区域的数据，处理这么一组数据需要花费约半小时时间 OTF谱线数据的处理过程-续 实际上需要处理2000*2000角秒区域的数据，处理这么一组数据需要花费约半小时时间 Regrid处理 2019/5/15 处理前 处理后
OTF谱线数据处理中的 使用时间 2019/5/15 处理2000*2000角秒区域中约13万条谱线，其中regrid所需时间约为10分钟，其他时间用于读写文件。读写8G的文件需要5分钟，24M/s。（为什么慢？）
OTF谱线数据处理中的困难 2019/5/15 1、30*30角分的观测区域受到CLASS只能处理8.3G的限制； 2、有什么办法可以提高数据处理的速度，包括读写及运算（如：并行计算等）？ 3、我们的存储设备经常会出现“只读”情况，导致无法操作文件？
预处理后的数据，实时的上传到毫米波射电天文数据库，用户可以根据自己的需求通过该网站获取网址： www.radioast.csdb.cn/ 数据的发布 2019/5/15 预处理后的数据，实时的上传到毫米波射电天文数据库，用户可以根据自己的需求通过该网站获取网址： www.radioast.csdb.cn/
2019/5/15 谢谢大家！
2019/5/15 圆堡内的望远镜
2019/5/15 照片由戴建峰、周雁南拍摄 银河
2019/5/15 北斗七星 照片由戴建峰、周雁南拍摄
2019/5/15 照片由戴建峰、周雁南拍摄