首页 理论教育云计算核心思想与关键技术:数字出版中自然语言处理技术的应用

云计算核心思想与关键技术:数字出版中自然语言处理技术的应用

【摘要】:综上所述,弹性、透明、积木化、动态、通用和多租赁是云计算平台的六大核心技术思想,正是这些核心技术思想实现了云计算平台这种大系统的有效管理,催生了云服务这种创新的服务模式。搭建云计算中心的关键技术包括图3-10中所示的几个方面[11]。

云计算包含这样一种思想,把力量联合起来,给其中每一个成员使用。云计算是分布式处理(Distributed Computing)、并行处理(Par-allel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算的未来蓝图是只需要一台笔记本或者一部手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。从这个角度而言,最终用户才是云计算的真正拥有者。

1.云计算平台的核心思想[9]

云计算创新性地将大量计算资源组织在一起,协同工作,这意味着云计算必须在信息技术的层面,给出一种针对大规模系统的科学管理办法。面对大规模系统时,云计算采取了一种自动化管理的办法,即机器管理机器。所以,在一个大的数据中心里,只需少数人员的巡视就能完成所有的日常维护工作。

为使系统协调工作,实现机器管理机器,云计算平台采用了“弹性”、“透明”和“积木化”这三个根本的技术思想。此外,为了实现这三个根本的技术思想,云计算平台还包含另外三个技术思想,“动态”、“通用”和“多租赁”,如图3-9所示。

978-7-111-47385-5-Chapter03-9.jpg

图3-9 云计算核心思想

(1)“弹性”思想

在增加节点、扩大系统规模的同时,为保证系统性能的近线性提高,需要云计算能将大量计算资源组织起来,协同工作,同时确保资源的变化实时反映到系统性能上并时刻平衡各节点压力,这被称为“弹性”思想。

(2)“透明”思想

系统任何一个部分都有可能出现问题,为保证系统的稳定运行,云计算平台运用冗余等方式,保证系统底层架构的节点发生任何变化时,都不会对系统的整体运行(如性能等)造成影响。同时,用户无需关心底层的实现方式,只需要专注于上层的业务逻辑,这称为“透明”思想。

(3)“积木化”思想

在面临不同的业务需求时,为了能快速将资源重新组织,以新的架构适应变化,云计算平台中,系统可以通过定义良好的接口和契约将系统的应用和资源联系起来,然后根据需求进行分布式部署、组合和使用,使这些应用和资源转变为可共享的标准服务,并实现这些服务模块的“即插即用”,这称为“积木化”思想。

这也引申出“积木化”的另一个重要意义,即通过资源的快速重组来满足不同的业务需要,带来业务革新的可能性。这样,在企业业务转型或业务拓展时,可以根据运营流程的需要快速实现业务系统的重构,为业务革新带来新的可能。

(4)“动态”思想

动态是指当组织内个体情况发生变化时,可以及时查知信息进行调整,即“控制”管理来确保系统的正常运行。

(5)“通用”思想

“通用”是指针对不同的业务性质,底层系统能提供支持,即便要调整,也不必大动。

(6)“多租赁”思想

保证在底层系统所构建的“云”上,可以支持各种应用,每种应用又都支持大量用户。

综上所述,弹性、透明、积木化、动态、通用和多租赁是云计算平台的六大核心技术思想,正是这些核心技术思想实现了云计算平台这种大系统的有效管理,催生了云服务这种创新的服务模式。

2.搭建云计算中心的关键技术(www.chuimin.cn)

云计算平台的创新性技术思想及其在技术上的实现,有效地解决了信息社会的“三大”问题,实现了计算能力能像公共服务中的自来水、电一样,集中供应并按需提供,使信息处理与服务方式等具有更低的成本和更高的效率,从而形成当代技术领域一个新的潮流。搭建云计算中心的关键技术包括图3-10中所示的几个方面[11]

978-7-111-47385-5-Chapter03-10.jpg

图3-10 云计算中心的关键技术

(1)虚拟化技术

随着IT架构的复杂化和应用计算需求的急剧加大,虚拟化技术的应用领域已经从服务器逐渐向存储、网络、应用和桌面等方面拓展。不同种类的虚拟化技术致力于从不同的角度解决不同的系统性能问题:服务器虚拟化对服务器资源进行快速划分和动态部署,从而降低了系统复杂度,消除了设备无序蔓延,并达到减少运营资本、提高资产利用率的目的;存储虚拟化将存储资源集中到一个大容量的资源池并实行单点统一管理,实现无需中断应用即可改变存储系统和数据迁移,提高了整个系统的动态适应能力;网络虚拟化通过将一个物理网络节点虚拟成多个节点以及将多台交换机整合成一台虚拟的交换机来增加连接数量并降低网络复杂度,实现网络的容量优化;应用虚拟化则通过将资源动态分配到最需要的地方来帮助改进服务交付能力,并提高了应用的可用性和性能。

(2)弹性伸缩和动态调配

可伸缩性,简单来说,是以更大的规模来完成目前的任务,其可体现为纵向伸缩和横向伸缩。纵向伸缩是指在同一个逻辑单元内增加资源来提高处理能力;而横向的伸缩是指增加更多逻辑单元的资源,并令它们像是一个单元一样工作。大多数集群方案、分布式文件系统、负载平衡都是在提高横向的可伸缩性。

云计算中心可以根据需求的变化,对计算资源自动地进行分配和管理,实现高度“弹性”的缩放和优化使用,而在这个过程中,使用者不必关心具体的操作流程。云计算中心的规模可以动态伸缩,以满足服务和用户规模变化的需要。随着用户或服务自身需求的变化,云计算中心也可以自动提供相应的资源扩展或资源释放功能。同时,云计算中心还可以通过网络对松散耦合的各种应用组件进行分布式部署、组合和使用,并按不同的需求提供服务。另外,云计算中心还可以支撑在访问请求和数据处理多元化上各不相同的多种业务应用的同时运行和资源共享。

(3)高效、可靠的数据传输交换和事件处理

保证一个大型分布式系统稳定正常运行的关键是高效、快速和准确的信息传输交换机制。一个用于在分布式系统内所有节点间以及单个节点的不同进程间进行高性能、高可靠的消息传输和数据交换的系统软件,可以使得云计算中心沿着从数据源到最终用户这一完整的数据链,将数据获取和处理、数据存储、数据管理和分析、数据服务以及数据展现等这些功能环节整合成一个统一平台,为上层的各类云计算服务提供强大支持。

(4)海量数据的存储、处理和访问

现代社会数据海量、类型多样、结构复杂,一个跨平台共享、高可靠、可平滑扩展、使用和维护简单的分布式海量存储系统,是解决服务运营过程中收集和产生的大量实时数据,以及在长期的业务发展过程中积累的海量数据的存储和处理的有效手段。这种分布式海量存储系统应该包括分别用来处理结构化和非结构化数据的分布式数据库和分布式文件系统两个子系统,以及一系列兼容传统数据库和存储产品的适配工具,用以在不同的应用环境下实现海量数据的存储、访问、同步以及实时迁移、复制、备份等诸多功能。它将利用分布式数据管理技术,通过软件有效黏合网络上众多独立的存储节点,在不增加新设备,不改变硬件物理位置的情况下建造一台虚拟的超级存储机,来解决海量信息的存储和管理需求,并在降低整体成本、提高系统整体可用性上发挥突出作用。

(5)智能化管理监控和“即插即用”式的部署应用

目前,无论是大型网站还是企业业务系统,都非常关注降低维护难度、维护成本、提高系统整体工作效率和可靠性的问题。云计算中心的智能管理监控系统将结合事件驱动及协同合作机制,实现对大规模计算机集群进行自动化智能的管理。它不仅负责对所有服务器上运行的软件服务提供自动部署、自动升级、自动配置、可视化管理和实时状态监控,而且还会根据环境和需求的变化或异常情况的出现,对其进行动态调度和自动迁移。利用该系统,管理员可以监控和处理多个异构环境中的各类信息,实现对整个系统运行趋势的跟踪和采取相应措施,在系统层面上对整个分布式集群的每个组成部分,无论硬件还是软件,真正实现实时的、全自动化的“即插即用”式管理,从而使系统使用者无需关心细节内容,重点关注关键问题。

(6)并行计算框架

网络时代带来信息爆炸,需要处理的数据规模也随之成倍增长。因此对数据处理水平的要求也越来越高。随着硬件水平的发展,硬件已不再是制约处理能力的第一要素。但简单购买几台计算机并不能真正实现相应的处理能力,通过具有大规模的服务器集群的云计算中心,加上设计完整的网格计算框架,就可以保证不同节点及单个节点不同进程间的协同工作,从而把分散的IT基础设施用结构化的方式整合在一起,实现高可靠、高性能的强大数据处理和计算分析。使用者只需通过简单而强大的编程框架提交需要完成的计算任务以及相关的数据,系统就可以自动安排和处理支撑分布式计算所需要的其他复杂工作,如输入数据的分割、中间数据的传输分布、多机环境下的程序执行和调度以及输出数据的聚合等。这就使整个云计算中心像单机一样被用来解决商业智能、经营分析、日志分析等各种需要强大计算能力的复杂IT问题,轻松高效快速地帮助用户完成工作。

(7)多租赁与按需计费

在云计算中心的所有计算资源都是通用的、可共享的。它为终端用户提供了一个通用的、集成的、便捷的使用系统所有资源的手段和人机交互接口。用户通过无所不在的网络获取服务,实现信息处理。只需要一台便携式计算机或一部手机,用户就可在任何时间、任何地点通过网络获得需要的服务而不需要关心这些服务的实现细节,如应用程序在哪台服务器上运行、这些服务器的地理位置,以及有多少用户在使用这个服务器等。同时,云计算中心根据实际业务应用的特点和需求,通过自定义策略来对整体系统的性能和安全性进行优化,从而在不同的粒度上对系统提供的资源进行处理,形成面向不同用户、不同使用目的、表现形式各异的特性服务。并且,云计算中心还会应用高可用、数据冗余、负载均衡、备份和容灾及严格的权限管理策略等来保证系统的安全可靠运行和用户数据的安全性。

(8)绿色节能

云计算中心的系统监控和调度系统,可以对包括应用负载、资源利用率和功率消耗在内的影响系统性能的诸多因素实施监测,并通过资源的实时迁移机制来动态调整系统负载和资源使用率,从而降低整个环境中不必要的电力消耗。