海量巡天数据在线可视化调研 张磊 国家天文台.

Presentation on theme: "海量巡天数据在线可视化调研 张磊 国家天文台."— Presentation transcript:

1 海量巡天数据在线可视化调研 张磊 国家天文台

2 BIG DATA 随着众多先进的地面与空间天文设备的投入使用，特别是大规模CCD的使用，使得观测数据量急速增长。面对动辄TB、PB量级的数据规模，如何对分布在天球上的数据进行分析、编码、整合从而保证在短时间内高效的实现可视化的技术一直以来都是国内外天文领域的研究热点。

3 一、海量巡天数据的分层可视化技术

4 HiPS——Hierarchical Progressive Survey
“ The more you zoom in on a particular area, the more details show up” • Mult-resoluton HEALPix data structure for Images, Catalogues, 3-dimensional data cubes, ... • Keep scientfc data propertes • Seamless mult-scale visualisaton • No databases or dedicated servers required, just HTTP upon a file hierarchy HiPS技术是一种新型的可以处理海量数据的分层可视化技术，是基于HEALPix发展而来，它是由法国斯特拉斯堡数据中心开发的，主要对大数据量，高分辨率的天文图像，星表等数据格式进行多分辨率分层可视化。 多分辨率的HEALPix 数据结构，保持科学数据属性，无缝的多尺度可视化，没有数据库或专用服务器的要求，只是在层次结构上的HTTP HEALPix球面网格划分示意图

5 HiPS——Hierarchical Progressive Survey
Tiles and Pixels HIPS对离散网格以瓦片（tile）的方式进行管理，可对大型数据集进行归档，实现数据的快速访问、加载，最终实现多分辨率海量数据分层可视化。

6 More a more HiPS clients :
→ Aladin Desktop (CDS), Aladin Lite (CDS), MIZAR (CNES) + Aladin Lite implementation: ESAsky (ESAC), JUDO2 (JAXA) ... + Aladin Lite web page inclusion: Simbad, VizieR, GLIMPSE360, ADS allsky, AstroDEEP, CDS portal v2… + Aladin Desktop usage “diversion”: Arches walker

7 TOAST——Tessellated Octahedral Adaptive Subdivision Transform
用于将全天空数据导入WWT的地图投影 每个TOAST像素是一对HTM三角形 HTM的球面网格划分示意图

8 TOAST——Tessellated Octahedral Adaptive Subdivision Transform
WWT导入的所有TOAST数据都是256x256 PNG（或JPEG）图像的形式。 这些最高级别覆盖整个天空。 下一层是一组覆盖经度象限（N-S个HTM八分之一）的四个图像，等等，以适合数据的分辨率。 TOAST图像金字塔

9 二、skyview展示形式

10 WWT Desktop WWT Web Client

11 Aladin和Aladin-Lite

12 MIZAR(CNES)

13 Aladin Lite implementation
Imaging Toolbox ESASky JUDO2

14 Aladin Lite web page inclusion
VizieR SIMBAD

15 Aladin Lite web page inclusion
AstroDEEP CDS portal v2

16 Aladin Lite web page inclusion
GLIMPSE360 ADS allsky 同时也可以在WWT中查看

17 Aladin Desktop usage “diversion”
Arches walker

18 Tile Manager: Leaflet DECaLS(DECam Legacy Survey) CFHTLS
(Canada-France-Hawaii Telescope Legacy Survey) HSC-SSP (Hyper Suprime-Cam Subaru Strategic Program)

19 三、生成skyview的工具

20 2 HiPS generators: 2 TOAST generators: Aladin/Hipsgen (image & cubes)
Hipsgen-cat (catalogs) 2 TOAST generators: WWT SDK Montage

21 使用Hipsgen生成的image hips
使用Aladin生成image hips 使用Hipsgen生成的image hips 文件目录结构

22 使用Hipsgen-cat生成的catalogs hips
文件目录结构

23 WWT SDK 在WWT中展示m17 使用WWT SDK生成的M17目录结构

24 Montage Version 5.0 provides support for HEALPIX data and for consumption of images by the WorldWide Telescope (WWT). 使用Montage生成的 All-Sky Planck Map 目录结构

25 ImageMagick & Trilogy Tile Manager: Leaflet Projection: Mercator
Examples: DECaLS、CFHTLS、HSC-SSP··· HSC-SSP

26 Thanks！