时间:2022-01-15|浏览:410
用戶喜愛的交易所
已有账号登陆后会弹出下载
大数据和区块链之间有一个共同的关键词:分布式,代表了从技术权威垄断到分散化的转变。
分布式存储:HDFS vs. 区块
大数据需要处理大量和快速增长的存储,这要求底层硬件架构和文件系统在成本性能方面远远高于传统技术,可以灵活扩展存储容量。GFS和Hadoop的HDFS奠定了大数据存储技术的基础。此外,大数据对存储技术的另一个挑战是适应多种数据格式的能力,所以大数据底层的存储层不仅仅是HDFS,还有HBase和Kudu等待存储架构。
区块链是比特币的底层技术架构,本质上是一个分散的分布式分类账。区块链技术作为一种持续增长的链数据结构,通过网络中的多个节点参与数据的计算和记录,并相互验证其信息的有效性。从这个角度来看,区块链技术也是一种特定的数据库技术。由于分散数据库的安全和方便性,许多业内人士对其发展持乐观态度,认为它是对现有互联网技术的升级和补充。
分布式计算:MapReduce vs. 共识机制
大数据的分析和挖掘是数据密集型计算,需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。Google和Hadoop的MapReduce通过添加服务器节点可线性扩展系统的总处理能力,代表了这种分布式计算技术(Scale Out),它在成本和可扩展性方面具有巨大的优势。现在,除批量计算外,大数据还包括流量计算、图形计算、实时计算、交互查询等计算框架。
区块链的共识机制是如何在所有分布式节之间达成共识,通过算法生成和更新数据来识别记录的有效性,这不仅是识别手段,也是防止篡改的手段。区块链主要包括四种不同的共识机制,适用于不同的应用场景,以平衡效率和安全。以比特币为例,使用工作量证明(Proof Of Work,简称POW),只有控制全网51%以上的记账节点,才能伪造不存在的记录。