《FitHAS进展及下一步工作 - Chinese Virtual Observatory.ppt》由会员分享,可在线阅读,更多相关《FitHAS进展及下一步工作 - Chinese Virtual Observatory.ppt(20页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、FitHas进展及下一步工作,于建军中国科学院计算机网络信息中心协同工作环境研究中心,提纲,FitHas介绍FitHas 2特性下一步工作,FitHas介绍,FitHasFits Head Archive SystemFit头文件入库系统存储Fit头文件中的元数据信息目标:屏蔽不同FITS文件的差异向用户提供统一的接口对大量的FITS文件进行快速有效的访问和方便的管理有效满足China-VO对于海量数据存储和访问的需求,同时具有很强的可扩展性,FitHas作用,必要性改变靠遍历访问大量数据文件的做法可行性FITS有标准的格式约定,可方便提取,也适于在数据库中进行灵活的查询经济性:FITS头元数
2、据占用空间较小。以天文台已归档的部分SDSS的光谱数据为例,1T的FITS文件,存入数据库的元数据所占用的空间仅几百M易用性数据库SQL语句和结构查询方法,满足用户在海量数据的检索结果和检索时间上的要求。 关联性在入库的元数据中,还可以扩充其他重要信息,例如文件的位置,语义信息等,这样就构成了元数据和对应文件之间的一一映射,FitHas 1.0特性,FITS头部浏览 入库的FITS元数据浏览 单一FITS文件的归档 FITS文件的批量归档数据库配置,FitHas 1.0界面,主界面,数据库配置,批量入库,数据浏览,单文件入库,FitHas 1.0问题,使用eclipse jface作为GUI跨
3、平台需要携带大量的库文件不同操作系统的库文件不同本地文件入库无法入库Web Fits文件使用模式单一没有提供命令模式,FitHas 2特性,GUI客户端改进CMD客户端Web 客户端多线程入库支持元数据的数据库模式修改,GUI客户端改进,使用JAVA Swing开发包支持不同的操作系统和平台无需任何额外的系统库支持使用向导模式界面友好入库文件数量的提示入库操作的实时更新显示使用Skin美化Java界面,FitHas 2 GUI客户端,CMD客户端,提供四类操作查看Fit文件头view 数据库配置dbconfig -dbtype -server - ort -user -pwd -databas
4、e单文件入库import -s -f -dbtype -table多文件入库-import -m -d -type -table -filter,FitHas CMD,Web客户端,基于URL的多文件入库基于struts技术构建的Web,Web客户端界面,Fit文件入库时间分析,三个过程文件读取文件分析元数据入库,分析和入库所需时间对比,读文件到内存阶段和单纯的分析阶段所需时间对比,线程n,线程i,线程1,多线程模式,文件读取,文件读取,文件读取,文件分析,文件分析,文件分析,共享数据链,数据库,线程N+1,下一步工作,结合FitHas Web版放入到协同环境中FitHas多线程的调优FitHas软件发布、开源等工作,谢 谢,