Linux 服务器集群系统

		当前位置：主页>Linux 服务器>文章内容

Linux 服务器集群系统

来源：IBM developerWorks 作者：章文嵩发布时间：2007-05-22

共享存储是媒体集群系统中最关键的问题，因为媒体文件往往非常大（一部片子需要几百兆到几千兆的存储空间），这对存储的容量和读的速度有较高的要求。对于规模较小的媒体集群系统，例如有3至6个媒体服务器结点，存储系统可以考虑用带千兆网卡的 Linux 服务器，使用软件 RAID 和日志型文件系统，再运行内核的 NFS 服务，会有不错的效果。对于规模较大的媒体集群系统，最好选择对文件分段（File Stripping）存储和文件缓存有较好支持的分布式文件系统；媒体文件分段存储在分布式文件系统的多个存储结点上，可以提高文件系统的性能和存储结点间的负载均衡；媒体文件在媒体服务器上自动地被缓存，可提高文件的访问速度。否则，可以考虑自己在媒体服务器上开发相应的工具，如缓存工具能定时地统计出最近的热点媒体文件，将热点文件复制到本地硬盘上，并替换缓存中的非热点文件，最后通知其他媒体服务器结点它所缓存的媒体文件以及负载情况；在媒体服务器上有应用层调度工具，它收到客户的媒体服务请求，若所请求的媒体文件缓存在本地硬盘上，则直接转给本地媒体服务进程服务，否则先考虑该文件是否被其他媒体服务器缓存；如该文件被其他服务器缓存并且该服务器不忙，则将请求转给该服务器上的媒体服务进程处理，否则直接转给本地媒体服务进程，从后端的共享存储中读出媒体文件。

共享存储的好处是媒体文件的管理人员看到统一的存储空间，使得媒体文件维护工作比较方便。当客户访问不断增加使得整个系统超载时，管理员可以很快地加入新的媒体服务器结点来处理请求。

Real 公司以其高压缩比的音频视频格式、Real 媒体服务器和媒体播放器 RealPlayer 而闻名。Real 公司正在使用以上结构将由 20 多台服务器组成的 LVS 可伸缩Web和媒体集群，为其全球用户提供 Web 和音频视频服务。Real 公司的高级技术主管声称 LVS 击败所有他们尝试过的商品化负载均衡产品[7]。

5. 可伸缩 Cache 服务

有效的网络 Cache 系统可以大大地减少网络流量、降低响应延时以及服务器的负载。但是，若 Cache 服务器超载而不能及时地处理请求，反而会增加响应延时。所以，Cache 服务的可伸缩性很重要，当系统负载不断增长时，整个系统能被扩展来提高 Cache 服务的处理能力。尤其，在主干网上的 Cache 服务可能需要几个 Gbps 的吞吐率，单台服务器（例如 SUN 目前最高端的 Enterprise 10000 服务器）远不能达到这个吞吐率。可见，通过 PC 服务器集群实现可伸缩 Cache 服务是很有效的方法，也是性能价格比最高的方法。

基于 LVS 的 Cache 集群的体系结构如图4所示：第一层是负载调度器，一般采用 IP 负载均衡技术，可以使得整个系统有较高的吞吐率；第二层是Cache服务器池，一般 Cache 服务器放置在接近主干 Internet 连接处，它们可以分布在不同的网络中。调度器可以有多个，放在离客户接近的地方。

IPVS 负载调度器一般使用IP隧道方法（即 VS/TUN 方法，将在以后文章中详细叙述），来架构 Cache 集群系统，因为 Cache 服务器可能被放置不同的地方（例如在接近主干 Internet 连接处），而调度器与 Cache 服务器池可能不在同一个物理网络中。采用 VS/TUN 方法，调度器只调度 Web Cache 请求，而 Cache 服务器将响应数据直接返回给客户。在请求对象不能在本地命中的情况下，Cache 服务器要向源服务器发请求，将结果取回，最后将结果返回给客户；若采用 NAT技术的商品化调度器，需要四次进出调度器，完成这个请求。而用 VS/TUN 方法（或者 VS/DR 方法），调度器只调度一次请求，其他三次都由 Cache 服务器直接访问 Internet 完成。所以，这种方法对 Cache 集群系统特别有效。

Cache 服务器采用本地硬盘来存储可缓存的对象，因为存储可缓存的对象是写操作，且占有一定的比例，通过本地硬盘可以提高 I/O 的访问速度。Cache 服务器间有专用的多播通道（Multicast Channel），通过 ICP 协议（Internet Cache Protocol）来交互信息。当一台 Cache 服务器在本地硬盘中未命中当前请求时，它可以通过 ICP 查询其他 Cache 服务器是否有请求对象的副本，若存在，则从邻近的 Cache 服务器取该对象的副本，这样可以进一步提高 Cache 服务的命中率。

为 150 多所大学和地区服务的英国国家 JANET Web Cache 网在 1999 年 11 月用以上 LVS 结构实现可伸缩的 Cache 集群[8]，只用了原有 50 多台相互独立 Cache 服务器的一半，用户反映网络速度跟夏天一样快（学生放暑假）。可见，通过负载调度可以摸平单台服务器访问的毛刺（Burst），提高整个系统的资源利用率。

6. 可伸缩邮件服务

随着 Internet 用户不断增长，很多 ISP 面临他们邮件服务器超载的问题。当邮件服务器不能容纳更多的用户帐号时，有些 ISP 买更高档的服务器来代替原有的，将原有服务器的信息（如用户邮件）迁移到新服务器是很繁琐的工作，会造成服务的中断；有些 ISP 设置新的服务器和新的邮件域名，新的邮件用户放置在新的服务器上，如上海电信现在用不同的邮件服务器 public1.sta.net.cn、public2.sta.net.cn 到 public9.sta.net.cn 放置用户的邮件帐号，这样静态地将用户分割到不同的服务器上，会造成邮件服务器负载不平衡，系统的资源利用率低，对用户来说邮件的地址比较难记。

可以利用 LVS 框架实现高可伸缩、高可用的邮件服务系统。它的体系结构如图5所示：在前端是一个采用IP负载均衡技术的负载调度器；第二层是服务器池，有 LDAP（Light-weight Directory Access Protocol）服务器和一组邮件服务器。第三层是数据存储，通过分布式文件系统来存储用户的邮件。集群中各结点是通过高速网络相连接。

用户的信息如用户名、口令、主目录和邮件容量限额等存储在 LDAP 服务器中，可以通过 HTTPS 让管理员进行用户管理。在各个邮件服务器上运行 SMTP（Simple Mail Transfer Protocol）、POP3（Post Office Protocol version 3）、IMAP4（Internet Message Access Protocol version 4）和 HTTP/HTTPS 服务。SMTP 接受和转发用户的邮件，SMTP 服务进程查询LDAP服务器获得用户信息，再存储邮件。POP3 和 IMAP4 通过 LDAP 服务器获得用户信息，口令验证后，处理用户的邮件访问请求。这里，需要有机制避免不同服务器上的 SMTP、POP3 和 IMAP4 服务进程对用户邮件的读写冲突。HTTP/HTTPS 服务是让用户通过浏览器可以访问邮件。
共4页: 上一页 [1] [2] 3 [4] 下一页

如果您对本文有任何疑问或者建议，请到论坛讨论区发表您的意见: >> 论坛入口

[

收藏] [