基于直播视频数据高性能分布式储存系统设计实现
|
摘要
本文通过在线视频数据的特点研究了高性能分布式存储系统的设计方案。鉴于传统储存方案的缺点,为了更好地解决磁盘碎片存储性能下降的问题,本文对逻辑卷结构进行了设计。系统磁盘可以直接写入非结构化的数据,降低了系统管理器的运行负荷,提高了存储系统的性能。通过系统优化,旨在提高服务器的检索精度以及容错能力。从测试结果来看,在降低PC端成本的基础上,单台读服务器可以的视频写入速度得到了较大的提升,可同时对300路以上的超清视频较好地存储。
This paper studies the design scheme of high-performance distributed storage system based on the characteristics of online video data. In view of the shortcomings of traditional storage schemes,in order to better solve the problem of disk fragmentation storage performance degradation,this paper designs the logical volume structure. The system disk can be directly written to unstructured data,which reduces the operation load of the system manager and improves the performance of the storage system.Through the system optimization,the aim is to improve the retrieval accuracy and fault tolerance of the server. From the test results,on the basis of reducing the cost of the PC end,the speed of the video writing can be greatly improved by the single read server. At the same time,it can store more than 300 ultra clear video at the same time.
This paper studies the design scheme of high-performance distributed storage system based on the characteristics of online video data. In view of the shortcomings of traditional storage schemes,in order to better solve the problem of disk fragmentation storage performance degradation,this paper designs the logical volume structure. The system disk can be directly written to unstructured data,which reduces the operation load of the system manager and improves the performance of the storage system.Through the system optimization,the aim is to improve the retrieval accuracy and fault tolerance of the server. From the test results,on the basis of reducing the cost of the PC end,the speed of the video writing can be greatly improved by the single read server. At the same time,it can store more than 300 ultra clear video at the same time.
引文
[1]操顺德,华宇,冯丹,等.面向海量高清视频数据的高性能分布式存储系统[J].软件学报,2017,28(8):1999-2009.
[2]李洪奇,朱丽萍,孙国玉,等.面向海量小文件的分布式存储系统设计与实现[J].计算机工程与设计,2016,37(1):86-92.
[3]田敬波.面向物联网的海量高性能分布式系统架构及实现[J].电信技术,2017,8(7):39-41.
[4]冯浩,贾年.面向海量无线电监测数据的分布式存储系统研究[J].成都工业学院学报,2015(2):25-28.
[5]罗刚.面向海量存储的高性能元数据分布模型设计[J].空军预警学院学报,2016,30(1):44-48.
[6]王鲁俊,龙翔,吴兴博,等.SFFS:低延迟的面向小文件的分布式文件系统[J].计算机科学与探索,2014,8(4):438-445.
[7]邵志骅,崔林山.公安交通管理大数据分布式存储设计与实现[J].道路交通科学技术,2015(4):11-14.
[8]郭俊.面向大规模网络的超高密度信息存储系统设计[J].西安工程大学学报,2016,30(4):471-476.
[9]覃汉耀.面向广播电视监测系统的分布式存储系统高可用性设计及异地容灾[J].中国有线电视,2017(6):698-701
[10]王剑,黄朝光.海量农业科学数据存储体系架构与方法研究[J].广东农业科学,2015,42(2):152-156.
[11]肖中正,陈宁江,魏峻,等.一种面向海量存储系统的高效元数据集群管理方案[J].计算机研究与发展,2015,52(4):929-942.
[12]刘圆,王峰,杨明川.面向大数据的分布式存储技术研究[J].电信技术,2015,1(6):33-36.
[13]周江,王伟平,孟丹,等.面向大数据分析的分布式文件系统关键技术[J].计算机研究与发展,2014,51(2):382-394.
[14]贾茜茜.基于软PLC技术的仿真系统设计与应用[J].自动化与仪器仪表,2016(2):211-213.
[15]高凯,刘琳,张松树.海量电网数据管理与挖掘系统的功能设计与实现[J].电网技术,2014,38(s1):67-70.
[16]过汇卿,王梅,乐嘉锦.一种面向CASA的分布式数据存储策略[J].计算机应用与软件,2016,33(11):28-32.
[2]李洪奇,朱丽萍,孙国玉,等.面向海量小文件的分布式存储系统设计与实现[J].计算机工程与设计,2016,37(1):86-92.
[3]田敬波.面向物联网的海量高性能分布式系统架构及实现[J].电信技术,2017,8(7):39-41.
[4]冯浩,贾年.面向海量无线电监测数据的分布式存储系统研究[J].成都工业学院学报,2015(2):25-28.
[5]罗刚.面向海量存储的高性能元数据分布模型设计[J].空军预警学院学报,2016,30(1):44-48.
[6]王鲁俊,龙翔,吴兴博,等.SFFS:低延迟的面向小文件的分布式文件系统[J].计算机科学与探索,2014,8(4):438-445.
[7]邵志骅,崔林山.公安交通管理大数据分布式存储设计与实现[J].道路交通科学技术,2015(4):11-14.
[8]郭俊.面向大规模网络的超高密度信息存储系统设计[J].西安工程大学学报,2016,30(4):471-476.
[9]覃汉耀.面向广播电视监测系统的分布式存储系统高可用性设计及异地容灾[J].中国有线电视,2017(6):698-701
[10]王剑,黄朝光.海量农业科学数据存储体系架构与方法研究[J].广东农业科学,2015,42(2):152-156.
[11]肖中正,陈宁江,魏峻,等.一种面向海量存储系统的高效元数据集群管理方案[J].计算机研究与发展,2015,52(4):929-942.
[12]刘圆,王峰,杨明川.面向大数据的分布式存储技术研究[J].电信技术,2015,1(6):33-36.
[13]周江,王伟平,孟丹,等.面向大数据分析的分布式文件系统关键技术[J].计算机研究与发展,2014,51(2):382-394.
[14]贾茜茜.基于软PLC技术的仿真系统设计与应用[J].自动化与仪器仪表,2016(2):211-213.
[15]高凯,刘琳,张松树.海量电网数据管理与挖掘系统的功能设计与实现[J].电网技术,2014,38(s1):67-70.
[16]过汇卿,王梅,乐嘉锦.一种面向CASA的分布式数据存储策略[J].计算机应用与软件,2016,33(11):28-32.