download0 view848
twitter facebook

공공누리This item is licensed Korea Open Government License

Title
Dynamic erasure coding decision for modern block-oriented distributed storage systems
Author(s)
안후영이경하이윤준
Publication Year
2016-04-01
Abstract
Modern block-oriented distributed storage systems like Hadoop distributed file system have proliferated in this era of big data and cloud computing. These systems feature block-level replication in which their files are partitioned into equalsized blocks and multiple copies for each block are then arbitrarily distributed across nodes for fault tolerance and data availability. However, many storage volumes are just wasted only for keeping block copies whose data may not be accessed frequently in the strategy. Therefore, distributed storage systems begin to adopt erasure codes.However, classical parity encoding scheme are hard to be directly applied to the distributed storage systems since block copies are arbitrarily placed across nodes in the systems.We present a novel technique, called DynaEC, to address the issues in modern block-oriented distributed storage systems. DynaEC provides a unique parity encodingalgorithm that encodes data blocks arbitrarily distributed across machines to parities and then places the parities guaranteeing fault tolerance. Parity encoding in DynaEC is performed without any change of the original block placement policy in Hadoop distributed file system. This makes DynaEC work seamlesslywith Hadoop distributed filesystem. Finally, during the encoding procedure each data node encodes each own data blocks, not requiring any information about other blocks located in other data nodes.As such, the encoding procedure in DynaEC is fully performed in parallel without any synchronization issue. With extensive experiments, we show that DynaEC saves storage volumes up to the theoretical limit while outperforming previous approaches by multiple orders of magnitude
Keyword
Distributed storage system; Storage overhead; Hadoop; HDFS; Replication; Erasure coding; RAID
Citation Volume
72
ISSN
0920-8542
Files in This Item:
There are no files associated with this item.
Appears in Collections:
7. KISTI 연구성과 > 학술지 발표논문
URI
https://repository.kisti.re.kr/handle/10580/14546
http://www.ndsl.kr/ndsl/search/detail/article/articleSearchResultDetail.do?cn=NART75644898
Export
RIS (EndNote)
XLS (Excel)
XML

Browse