許多網路工程師在學習了基本和流行的技術後,總是會對資料中心技術產生濃厚的興趣。
資料中心是乙個難以用短句定義的概念,它包含一整套複雜的設施它不僅包括計算機系統和相關配套裝置,還包括冗餘資料通訊連線、環境控制裝置、監控裝置和各種安全裝置。
就在兩年前,阿里巴巴建成了中國第乙個超級資料中心,與傳統資料中心相比,其優勢不言而喻,引發了眾多網路工程師的熱議。
當然,資料中心的複雜性並沒有那麼大。 一旦擴充套件,所有系統都需要適應,而這種複雜性不僅呈線性增加,而且呈指數級增加。
這可以通過可以說明的建築物的例子來說明。
建造一座 50 層高的塔樓和一座 120 層高的塔樓的成本不如簡單的兩倍成本高。
以建造一棟120層的建築為例,其造價可能是一棟50層建築的10倍,如果每平方公尺的建築造價為3萬元,總面積為30萬平方公尺,那麼造價將是90億,與50層相比,整整多了87億。
這個例子讓我們得以一窺資料中心規模和增長的巨大挑戰。
傳統資料中心主要根據功能劃分區域,如Web、APP、DB、辦公區域等。
不同可用區之間通過閘道器和安全裝置相互接入,保證各可用區的可靠性和安全性。
同時,由於不同區域具有不同的功能,當終端之間進行資料訪問時,只要終端之間能夠相互通訊,就不必雙方在同乙個VLAN或二層網路中。
生成樹協議 (STP) 是第 2 層網路中的關鍵協議。
使用者建網時常採用冗餘裝置和冗餘鏈路來保證可靠性,但不可避免地會形成環路。
由於二層網路處於同一廣播域,廣播報文在環路中反覆傳輸,形成廣播風暴,可能瞬間造成埠阻塞和裝置癱瘓。
為了防止廣播風暴,有必要防止迴圈的形成。 因此,為了防止形成環路,保證可靠性,冗餘裝置和冗餘鏈路只能變成備份裝置和備份鏈路。
也就是說,冗餘裝置的埠和鏈路在正常情況下是被阻塞的,不參與資料包的處理。 只有當當前裝置、埠或鏈路發生故障,導致網路中斷時,才會開啟冗餘裝置的埠和鏈路,讓網路恢復正常。 實現了實現這些自動控制功能的生成樹協議 (STP)。
由於STP的收斂效能,STP的網路規模不超過100臺交換機。
同時,由於STP需要阻塞冗餘裝置和鏈路,這也降低了網路資源的頻寬利用率。 因此,在實際的網路規劃中,STP的網路範圍會從效能、利用率、可靠性等方面盡可能地進行控制。
隨著資料中心的不斷擴充套件和虛擬化技術的廣泛應用,二層網路的區域範圍要求越來越高,也提出了新的要求和管理挑戰。
隨著資料中心規模和業務處理需求的增加,集群處理的應用數量也隨之增加,要求集群中的伺服器執行在二層VLAN下。
另一方面,虛擬化技術的應用不僅提高了業務部署的便利性和靈活性,也引入了虛擬機器遷移的問題。 為確保遷移前後的業務連續性,您需要將虛擬機器遷移在同一第 2 層 VLAN 下。
反之亦然:虛擬機器的遷移距離受第 2 層網路規模的限制。
傳統的基於生成樹協議(STP)的備份裝置和鏈路解決方案已無法滿足資料中心的規模和頻寬需求,且STP協議的故障收斂時間在秒到分鐘之間,無法滿足資料中心的可靠性要求。
因此,需要引入新技術,充分利用冗餘裝置和鏈路,提高鏈路利用率,在滿足二層網路規模的同時,將資料中心的故障收斂時間降低到亞秒級甚至毫秒級。
由於您希望擴充套件第 2 層網路,因此針對不同的應用場景和技術選擇,合適的大小取決於以下因素:
資料中心內部:
在資料中心內部,解決網路擴充套件問題是大型二層網路的首要任務。 在資料中心內實現虛擬機器的廣泛遷移需要大規模的第 2 層網路和 VLAN 擴充套件。 為了覆蓋多個接入交換機和核心交換機,可以採用以下兩種主要型別的技術:
虛擬交換機技術:
虛擬交換機技術的核心思想是通過合併彼此冗餘的裝置和鏈路,將兩個或多個裝置、兩個或多個鏈路合併為乙個裝置和乙個鏈路來消除環路問題。 這樣一來,它又回到了單裝置、單鏈路的局面,避免了環路的產生。 虛擬交換機技術已廣泛應用於各類交換機裝置,從低端箱式裝置到高階箱式裝置,具有成熟穩定的特性。
在目前的應用中,虛擬交換機技術是解決大型二層網路問題應用最廣泛的解決方案。
虛擬交換機技術的典型代表包括 H3C 的 IRF 和 Cisco 的 VSS。 這些技術的特點是只需公升級交換機軟體即可支援虛擬化,從而降低應用成本並簡化部署。
目前,這些虛擬交換機技術由各個廠商獨立實現和推廣,虛擬化只能在同一廠商的同系列產品之間實現。 雖然這些技術取得了一些成功,但由於每個供應商都實現了獨立性,互操作性存在侷限性。 此外,隨著高階模組化交換機的效能和密度不斷提高,對虛擬交換機技術的效能和密度要求也隨之提高。 目前,模組化交換機的虛擬化密度高達 4:1,這限制了第 2 層網路的規模,大約需要 10,000 到 20,000 臺伺服器。
隧道掘進技術:
它採用不同的方法。 在這種技術中,繞過第 2 層網路中的環路,通過阻止冗餘鏈路來確保網路穩定性。 然而,隧道技術的提出需要利用三層網路,利用其無環路特性,同時實現等效鏈路(ECMP)等功能,從而突破虛擬交換機技術的一些侷限性。
跨資料技術
隨著資料中心在多個位置的部署,對跨資料中心遷移、災難恢復操作和涉及虛擬機器的跨資料中心工作負載均衡的要求也在增加。
通常,多個資料中心之間的連線被路由以形成乙個自然的三層網路。 為了使通過第 3 層網路連線的兩個第 2 層網路相互通訊,需要“L2 over L3”技術。
L2OL3 技術可以通過多種方式實現,包括傳統的 VPLS (MPLS L2VPN) 技術以及新興的 Cisco OTV 和 H3C EVI 技術。 這些技術利用隧道將二層資料包封裝在三層資料包中,跨越中間三層網路,實現兩地之間二層資料的互聯互通。 這種方法為實現多個資料中心之間的協作提供了可行的解決方案。
隧道充當連線多個資料中心的第 2 層網路的虛擬網橋。
此外,一些虛擬化和軟體公司也提出了軟體層面的L2 over L3技術解決方案。 例如,VMware的VXLAN和Microsoft的NVGRE將二層資料封裝在虛擬化層的VSWITCH中,通過在物理網路拓撲之上構建虛擬化網路層,克服了網路裝置層二層和三層的限制。
然而,由於效能、可擴充套件性等問題,這些技術尚未得到廣泛應用。
01.網路的三層互聯
三層互聯又稱資料中心前端互聯,是指資料中心向企業園區網路或企業廣域網的出口。 通過IP技術,將不同資料中心(主中心和容災中心)的前端網路互聯互通,使園區或分支機構的客戶端可以通過前端網路訪問各個資料中心。 當主資料中心發生災難時,前端網路可以快速收斂,使客戶端能夠通過訪問容災中心來保證業務的連續性。
02.網路的第 2 層互連
二層互聯又稱資料中心伺服器網路互聯。 在不同資料中心的伺服器網路接入層建立跨資料中心的大規模二層網路(VLAN),滿足伺服器集群、虛擬機器動態遷移等場景對二層網路接入的需求。
03.SAN互聯
又稱後端儲存網路互聯,通過傳輸技術(如DWDM、SDH)實現主中心與容災中心之間的資料複製。
01.伺服器 HA 群集
伺服器集群是一種邏輯伺服器,它通過集群軟體將網路上的多個伺服器關聯在一起,以提供一致的服務。 許多供應商(如HP、IBM、Microsoft、Veritas等)的集群軟體通常需要伺服器之間的第2層互連。 將集群中的伺服器分布到不同的資料中心,實現跨資料中心容災。
02.伺服器重新定位和動態 VM 遷移
在進行資料中心擴充套件或搬遷時,需要將物理伺服器從乙個資料中心遷移到另乙個資料中心。
在此過程中,需要考慮以下兩個因素,才能在資料中心之間建立二層網際網路:
當伺服器遷移到新的資料中心時,如果新舊資料中心之間的二層網際網路沒有建成,新的中心伺服器的IP位址將被重新規劃。 同時,需要修改DNS或修改客戶端應用配置的伺服器IP位址。
因此,構建跨中心的二層公網可以保留遷移伺服器的IP位址,從而簡化整個遷移過程。
在伺服器遷移過程中,通常只在給定時間將伺服器場的一部分伺服器遷移到新中心。 為了保證業務的連續性,需要建立跨中心的伺服器集群。 跨中心構建二層網際網路,實現伺服器平滑遷移。
與伺服器重新定位類似的情況是:"虛擬機器遷移"。目前,某些伺服器虛擬化軟體支援在兩個虛擬化物理伺服器之間動態遷移虛擬機器。
遷移到另乙個中心的 VM 不僅保留原始 IP 位址,還保留遷移前的執行狀態(例如 TCP 會話狀態)。 因此,虛擬機器遷移中涉及的物理伺服器必須連線到同乙個二層網路(虛擬機器的閘道器在遷移前後保持不變)。 該應用場景需要構建跨中心的二層互聯互通。