知識庫
香港T4機房中的網絡起著承上啟下的作用,將計算和存儲資源連接在一起,并以服務的形式對內部及外部的用戶提供數據訪問能力。雖說網絡建設和運維投入遠比機房基礎建設、服務器設備、存儲設備、應用開發及運維小,但大家最怕它出現性能問題或故障長時間不能恢復,因為網絡一旦不可用,意味著一切服務都將停止。因此,設計運維一張高性能、高可靠的網絡是網絡架構及運維團隊的首要目標。
數據中心10G/40G網絡架構
主要設計理念:
a 核心設備全線速高性能轉發,核心之間不互聯,采用Fabric架構,隔離核心故障,
最大程度降低核心故障影響;
b 三層路由組網,通過ECMP提高冗余度,降低故障風險;
c 通過TOR上的服務器接入數量和上聯40G鏈路數量控制單TOR收斂比,通過提高核心設備接口密度擴展單集群服務器規模。
注:千兆網絡已跟不上業務發展,本文不再涉及。
適用網絡架構設計架構特性
中小型
(集群規模300-1000臺)
每臺TOR 2*40GE上聯2核心,OSPF組網;
IDC內收斂比6:1,集群帶寬1.5Tbps ;
上聯帶寬根據集群規模靈活配置。
中型
(集群規模1000-10000臺)
每臺TOR 4*40GE上聯2核心,OSPF或BGP組網;
IDC內收斂比3:1,集群帶寬30Tbps ;
上聯帶寬根據集群規模靈活配置。
大型
(集群規模5000-20000臺)
每臺TOR 4*40GE上聯4核心,BGP組網;
IDC內收斂比3:1,集群帶寬60Tbps;
上聯帶寬根據集群規模靈活配置。
超大型
(集群規模20000+臺)
單POD集群規模300-1000臺,數據中心集群規模20000+,BGP組網;
POD內收斂比6:1或3:1,單POD集群帶寬1.5Tbps;
上聯帶寬根據集群規模靈活配置。
數據中心25G/100G網絡架構
與10G/40G網絡一致,主要變化在于:
a 下行鏈路由10G變為25G,提升至2.5倍;
b 上行鏈路每端口由40G變為100G,提升至2.5倍;
c 下一代主流芯片方案實現為48*25GE+8*100GE(Broadcom TD3),上行收斂比提升為1.5:1。
下面僅以大型數據中心為例做組網說明:
適用網絡架構設計架構特性
大型
(集群規模5000-10000臺)