大型網站的技術挑戰(zhàn)主要來自于龐大的用戶,高并發(fā)的訪問和海量的數據,任何簡單的業(yè)務一旦需要處理數以P計的數據和面對數以億計的用戶,問題就會變得很棘手。大型網站架構主要就是解決這類問題。
初始階段的網站架構大型網站都是從小型網站發(fā)展而來,網站架構也是一樣,是從小型網站架構逐步演化而來。小型網站最開始時沒有太多人訪問,只需要一臺服務器就綽綽有余。
應用程序、數據庫、文件等所有的資源都在一臺服務器上。通常服務器操作系統(tǒng)使用Linux,應用程序使用PHP開發(fā),然后部署在Apache上,數據庫使用MySQL,匯集各種免費開源軟件及一臺廉價服務器就可以開始網站的發(fā)展之路了。
應用服務和數據服務分離
隨著網站業(yè)務的發(fā)展,一臺服務器逐漸不能滿足需求:越來越多的用戶訪問導致性能越來越差,越來越多的數據導致存儲空間不足。這時就需要將應用和數據分離。應用和數據分離后整個網站使用三臺服務器:應用服務器、文件服務器和數據庫服務器。這三臺服務器對硬件資源的要求各不相同,應用服務器需要處理大量的業(yè)務邏輯,因此需要更快更強大的CPU;數據庫服務器需要快速磁盤檢索和數據緩存,因此需要更快的硬盤和更大的內存;文件服務器需要存儲大量用戶上傳的文件,因此需要更大的硬盤。
應用服務和數據服務分離應用和數據分離后,不同特性的服務器承擔不同的服務角色,網站的并發(fā)處理能力和數據存儲空間得到了很大改善,支持網站業(yè)務進一步發(fā)展。但是隨著用戶逐漸增多,網站又一次面臨挑戰(zhàn):數據庫壓力太大導致訪問延遲,進而影響整個網站的性能,用戶體驗受到影響。這時需要對網站架構進一步優(yōu)化。
使用緩存改善網站性能
網站訪問特點和現實世界的財富分配一樣遵循二八定律:80%的業(yè)務訪問集中在20%的數據上。淘寶買家瀏覽的商品集中在少部分成交數多、評價良好的商品上;百度搜索關鍵詞集中在少部分熱門詞匯上;只有經常登錄的用戶才會發(fā)微博、看微博,而這部分用戶也只占總用戶數目的一小部分。
既然大部分的業(yè)務訪問集中在一小部分數據上,那么如果把這一小部分數據緩存在內存中,是不是就可以減少數據庫的訪問壓力,提高整個網站的數據訪問速度,改善數據庫的寫入性能了呢?
網站使用的緩存可以分為兩種:緩存在應用服務器上的本地緩存和緩存在專門的分布式緩存服務器上的遠程緩存。本地緩存的訪問速度更快一些,但是受應用服務器內存限制,其緩存數據量有限,而且會出現和應用程序爭用內存的情況。遠程分布式緩存可以使用集群的方式,部署大內存的服務器作為專門的緩存服務器,可以在理論上做到不受內存容量限制的緩存服務使用緩存后,數據訪問壓力得到有效緩解,但是單一應用服務器能夠處理的請求連接有限,在網站訪問高峰期,應用服務器成為整個網站的瓶頸。
使用應用服務器集群改善網站的并發(fā)處理能力
使用集群是青島網站建設解決高并發(fā)、海量數據問題的常用手段。當一臺服務器的處理能力、存儲空間不足時,不要企圖去換更強大的服務器,對大型網站而言,不管多么強大的服務器,都滿足不了網站持續(xù)增長的業(yè)務需求。這種情況下,更恰當的做法是增加一臺服務器分擔原有服務器的訪問及存儲壓力。
對網站架構而言,只要能通過增加一臺服務器的方式改善負載壓力,就可以以同樣的方式持續(xù)增加服務器不斷改善系統(tǒng)性能,從而實現系統(tǒng)的可伸縮性。應用服務器實現集群是網站可伸縮集群架構設計中較為簡單成熟的一種。
應用服務器集群部署通過負載均衡調度服務器,可將來自用戶瀏覽器的訪問請求分發(fā)到應用服務器集群中的任何一臺服務器上,如果有更多的用戶,就在集群中加入更多的應用服務器,使應用服務器的負載壓力不再成為整個網站的瓶頸。
數據庫讀寫分離
網站在使用緩存后,使絕大部分數據讀操作訪問都可以不通過數據庫就能完成,但是仍有一部分讀操作(緩存訪問不命中、緩存過期)和全部的寫操作需要訪問數據庫,在網站的用戶達到一定規(guī)模后,數據庫因為負載壓力過高而成為網站的瓶頸。目前大部分的主流數據庫都提供主從熱備功能,通過配置兩臺數據庫主從關系,可以將一臺數據庫服務器的數據更新同步到另一臺服務器上。網站利用數據庫的這一功能,實現數據庫讀寫分離,從而改善數據庫負載壓力。
應用服務器在寫數據的時候,訪問主數據庫,主數據庫通過主從復制機制將數據更新同步到從數據庫,這樣當應用服務器讀數據的時候,就可以通過從數據庫獲得數據。為了便于應用程序訪問讀寫分離后的數據庫,通常在應用服務器端使用專門的數據訪問模塊,使數據庫讀寫分離對應用透明。
使用反向代理和CDN加速網站響應
隨著網站業(yè)務不斷發(fā)展,用戶規(guī)模越來越大,由于中國復雜的網絡環(huán)境,不同地區(qū)的用戶訪問網站時,速度差別也極大。有研究表明,網站訪問延遲和用戶流失率正相關,網站訪問越慢,用戶越容易失去耐心而離開。為了提供更好的用戶體驗,留住用戶,網站需要加速網站訪問速度。主要手段有使用CDN和反向代理。
CDN和反向代理的基本原理都是緩存,區(qū)別在于CDN部署在網絡提供商的機房,使用戶在請求網站服務時,可以從距離自己最近的網絡提供商機房獲取數據;而反向代理則部署在網站的中心機房,當用戶請求到達中心機房后,首先訪問的服務器是反向代理服務器,如果反向代理服務器中緩存著用戶請求的資源,就將其直接返回給用戶。使用CDN和反向代理的目的都是盡早返回數據給用戶,一方面加快用戶訪問速度,另一方面也減輕后端服務器的負載壓力。
使用分布式文件系統(tǒng)和分布式數據庫系統(tǒng)
任何強大的單一服務器都滿足不了大型網站持續(xù)增長的業(yè)務需求。數據庫經過讀寫分離后,從一臺服務器拆分成兩臺服務器,但是隨著網站業(yè)務的發(fā)展依然不能滿足需求,這時需要使用分布式數據庫。文件系統(tǒng)也是一樣,需要使用分布式文件系統(tǒng)。
分布式數據庫是網站數據庫拆分的最后手段,只有在單表數據規(guī)模非常龐大的時候才使用。不到不得已時,網站更常用的數據庫拆分手段是業(yè)務分庫,將不同業(yè)務的數據庫部署在不同的物理服務器上。
使用NoSQL和搜索引擎
隨著網站業(yè)務越來越復雜,對數據存儲和檢索的需求也越來越復雜,網站需要采用一些非關系數據庫技術如NoSQL和非數據庫查詢技術如搜索引擎。NoSQL和搜索引擎都是源自互聯(lián)網的技術手段,對可伸縮的分布式特性具有更好的支持。應用服務器則通過一個統(tǒng)一數據訪問模塊訪問各種數據,減輕應用程序管理諸多數據源的麻煩。
業(yè)務拆分
大型網站為了應對日益復雜的業(yè)務場景,通過使用分而治之的手段將整個網站業(yè)務分成不同的產品線,如大型購物交易網站就會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線,分歸不同的業(yè)務團隊負責。具體到技術上,也會根據產品線劃分,將一個網站拆分成許多不同的應用,每個應用獨立部署維護。應用之間可以通過一個超鏈接建立關系(在首頁上的導航鏈接每個都指向不同的應用地址),也可以通過消息隊列進行數據分發(fā),當然最多的還是通過訪問同一個數據存儲系統(tǒng)來構成一個關聯(lián)的完整系統(tǒng)。
分布式服務
隨著業(yè)務拆分越來越小,存儲系統(tǒng)越來越龐大,應用系統(tǒng)的整體復雜度呈指數級增加,部署維護越來越困難。由于所有應用要和所有數據庫系統(tǒng)連接,在數萬臺服務器規(guī)模的網站建設設計中,這些連接的數目是服務器規(guī)模的平方,導致存數據庫接資源不足,拒絕服務。既然每一個應用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務操作,比如用戶管理、商品管理等,那么可以將這些共用的業(yè)務提取出來,獨立部署。由這些可復用的業(yè)務連接數據庫,提供共用業(yè)務服務,而應用系統(tǒng)只需要管理用戶界面,通過分布式服務調用共用業(yè)務服務完成具體業(yè)務操作。
大型網站的架構演化到這里,基本上大多數的技術問題都得以解決,諸如跨數據中心的實時數據同步和具體網站業(yè)務相關的問題也都可以通過組合改進現有技術架構來解決。但事物發(fā)展到一定階段,就會擁有自身的發(fā)展沖動,擺脫其初衷,向著使自己更強大的方向發(fā)展。既然大型網站架構解決了海量數據的管理和高并發(fā)事務的處理,那么就可以把這些解決方案應用到網站自身以外的業(yè)務上去。我們看到目前許多大型網站建設云計算平臺,將計算作為一種基礎資源出售,中小網站不需要再關心技術架構問題,只需要按需付費,就可以使網站隨著業(yè)務的增長逐漸獲得更大的存儲空間和更多的計算資源。
Copyright All Rights GreatGoal Design co.,ltd. 魯ICP備16002128號-3