卫星数据的分布式存储系统设计与验证

作者：黄炜

摘要：随着遥感技术的不断发展,各种高分卫星的成功发射,卫星数据量呈爆发式增长,对业界普遍采用的存储系统提出了极大的挑战。针对存储系统需要支持大容量、高并发读写性能、高可扩展性以及应用和用户权限的多样性的问题,文章做了卫星数据处理中的访问模式和具体需求设计,并验证了一个分布式存储系统。该系统的数据节点和元数据节点采用集群方式,使用N+M纠删码、小文件聚合、大数据块存储、客户端缓存和预取,支持块、文件和对象等多种接口,实现了千亿级文件的超大容量、超高并发读写性能和系统的线性扩展,提供了对不同应用和用户权限的支持。

发文机构：中国自然资源航空物探遥感中心

关键词：卫星大数据分布式存储系统可扩展性高可用高带宽satellite big datadistributed storage systemscalabilityhigh availabilityhigh bandwidth

分类号： TP399[自动化与计算机技术—计算机应用技术]