图5.6以网络为中心的计算驱动力量、增长领域与示例值得注意的是，美国国防部的Net-Centric的数据策略是从用户出发考虑的。根据DoD的描述：以网络为中心是指实现一个联网环境，包括基础设施、系统、过程和个人，使之能够按照完全不同的方式实施战斗和商务活动。以网络为中心的基础是GIG。以网络为中心，通过安全互联时间或地点独立的人和系统，充分支持军事态势知识的改进和更好地访问商务信息，大大缩短了决策周期。......
2025-09-30
HDFS守护神进程：分布式数据库技术
【摘要】：就像操作系统中有守护神进程一样，HDFS系统中也有守护神进程。NameNode的功能是维护HDFS名字空间的元数据，包括文件名、目录名、文件许可、目录许可、文件等。NameNode也保持一个对HDFS名字空间修改操作的事务的编辑日志，存放在本地文件系统名为Edit Log的文件里，记录创建文件、删除文件和创建块副本的信息。数据分成以块为单位，默认值往往取128 MB。
就像操作系统中有守护神进程一样，HDFS系统中也有守护神进程。
HDFS系统中的守护神进程（HDFS daemons）有NameNode、Secondary NameNode和Data Node等。
1.NameNode
NameNode是HDFS里的主守护神（master daemon）。NameNode的功能是维护HDFS名字空间的元数据，包括文件名、目录名、文件许可、目录许可、文件（块映射、块标识和RAM中的块定位）等。为了快速访问，元数据放在RAM里。NameNode将元数据信息存储在本地文件系统的一个名为fsimage的文件里。NameNode也保持一个对HDFS名字空间修改操作的事务的编辑日志，存放在本地文件系统名为Edit Log的文件里，记录创建文件、删除文件和创建块副本的信息。
为了避免出现NameNode单点故障（single point of failure，SPOF）问题，提高可用性，还会使用辅助NameNode，即Secondary Name Node。(https://www.chuimin.cn)
2.DataNodes
DataNode是从守护神（slave daemon），负责存放HDFS数据。数据分成以块为单位，默认值往往取128 MB。
DataNode会周期性地和Name Node通信（默认周期值为3秒），提供块报告。在块报告里，DataNode报告它有哪些块副本、哪些块损坏了。需要时，可以让NameNode更新元数据，DataNode负责存储管理用户数据。
相关文章
- 详细阅读
-
分布式数据库技术-对象迁移详细阅读
对象从一个节点移动到另外一个节点，这是分布式系统的一个显著特点。这样就产生了新的问题，即对象迁移问题。另外一个问题是必须跟踪对象移动，以便能在其新地点找到该对象。处于激活或等待的对象不允许迁移，否则，会被阻塞。因为对象移动时，必须更新系统目录，以反映新的位置。组合对象的移动会涉及其参考的其他对象的移动，如对象组装方法。......
2025-09-30
-
分布式数据库技术DBaaS详细阅读
DBaaS可以提供弹性和资源池。使用DBaaS，用户可以在建立和维护基础体系结构时节约成本，减少延迟。DBaaS对支持的业务类别无限制要求，业务大小也无限制。1）安全的数据库环境DBaaS有助于保护数据库，防止数据被盗，保证可信性和完整性，阻止非授权或非故意的活动、黑客攻击，或者滥用非授权用户。目前绝大多数DBaaS都能自动调节参数，以保证提供良好的性能。让他们就地实现全球范围内的协同工作是对DBaaS的要求。......
2025-09-30
-
DCOM：分布式数据库技术详细阅读
图12.7同一进程中的COM组件在目前的常规操作系统中，各进程之间是相互屏蔽的。图12.8表明了COM/DCOM运行库是怎样提供客户进程和组件之间的联系的。图12.8不同进程中的COM组件当客户进程和组件位于不同的机器时，DCOM只是用网络协议来代替本地进程之间的通信。图12.9DCOM不同机器上的COM组件要注意的是，在设计一个分布式应用时，往往需要考虑以下几个相互冲突的问题。......
2025-09-30
-
分布式数据库设计技术详细阅读
图3.1软件开发过程数据库设计的过程与软件开发的过程类似。下面先来看一下集中式数据库设计的情况。在分布式数据库系统中，集中式数据库设计的问题依然存在，且有以下两个新的问题需要考虑。这个过程就是确定如何将全局关系划分成水平、垂直或者混合的数据片。数据片的分配，即决定数据片如何映射到物理镜像上，决定如何复制数据片。数据片的分配问题则研究已久，当然，过去研究的则是“文件分配”问题。......
2025-09-30
-
OracleRAC分布式数据库技术详细阅读
前面提及的OPS是Oracle 6.0中引入的，RAC源自OPS，但作为新的产品推出。一个4节点的集群结构如图14.24所示。图14.24一个4节点的集群结构RAC起源于OPS，在Oracle 6.0.35版本中引入。最初只适用于Digital VAX/VMS集群使用Oracle开发的分布式封锁管理器。从Oracle 9.0.1开始，OPS重新改为RAC可选项。在商业上，RAC已是一个完整的新产品。然而在技术上，OPS和RAC的一个重要区别是超高速缓存相关性。OPS里，实例间的块协调由PCM处理。Oracle 8i引入了Cache Fusion PhaseⅠ，部分淘汰了磁盘ping。......
2025-09-30
-
分布式数据库技术之CORBA详细阅读
自1995年以来，基于CORBA软件的企业级应用发展迅猛。CORBA是OMG随着硬件和软件产品的快速增长，针对互操作性的需要而提出的。CORBA 2.0于1994年12月被提出，它定义了不同供应商的ORB怎样才能实现真正的互操作性。图12.4OMA体系结构OMA体系结构主要包括以下几部分。ORB用于发现与该请求对应的对象实现，对所要求的所有机制做出响应，准备好对象实现以响应请求，并完成请求所需要的数据通信。由图12.5可知，客户端通过ORB向对象实现发送请求。......
2025-09-30
-
分布式数据库技术的若干关键技术详细阅读
为了同时拥有两者的优点，有些文献建议使用页面/对象缓存技术。MOB存放更新的对象，并返回给客户端。但后者在提交时要验证步骤，以满足数据一致性需求。客户端将封锁逐步升级并将消息发送给服务器，继续应用处理。因为数据竞争增加，O2PL算法比CBL算法对死锁夭折更敏感。专家证明AOCC算法的性能高于CBL的。因为AOCC算法使用延迟消息，消息的开销少于CBL的。......
2025-09-30
相关推荐