網路設備技術

SAN Switch 怎麼選?儲存網路交換器選型指南

「SAN switch」這個詞在市場上常被寬鬆使用——先問協定,再談機型。用兩家快遞公司的故事,看懂 FC、iSCSI、NVMe-oF 與 DCB。

2026-07-15 · 10 min read
SAN FC iSCSI NVMe-oF DCB

選型結論:先看這張圖

要幫伺服器和儲存設備之間挑一台交換器,第一個要確認的永遠不是埠數或速率,而是:儲存陣列上插的是 FC HBA,還是乙太網卡?這一題的答案直接決定你買的是哪一種交換器——因為 Fibre Channel(FC)和乙太網路是兩套互不相通的協定體系,速率再接近也不能互相代替。

儲存網路交換器選型決策樹
儲存網路交換器選型決策樹:從「儲存陣列插什麼卡」開始問起。
情境需要什麼功能的交換器(型號只是舉例)理由與代價
儲存陣列是 FC HBA、既有 FC fabric、關鍵核心儲存要求鏈路層無損 支援 FC 協定的 SAN 專用交換器:具 Zoning、Name Server、BB_Credit 無損流控
例如:Brocade G620/G720、Cisco MDS 9132T/9148T
BB_Credit 原生無損、Zoning 成熟;代價是獨立網路、獨立布線與專門人才
全快閃、追求 RDMA 級最低延遲、能承擔無損網路設定複雜度(跑 NVMe/RoCEv2) 支援 DCB(PFC/ETS/DCBX)與 ECN 標記的資料中心級乙太網交換器:具充足可調 buffer、低延遲轉發
例如:Cisco Nexus 93180YC-FX3、NVIDIA SN3700、Arista 7050X3、Aruba CX 8360
需全網 PFC/ETS/DCBX 設定一致,錯一段就前功盡棄——無損程度取決於路徑上最弱的一段
一般虛擬化/中小型環境、成本敏感、想共用既有 IP 網路與人才(跑 iSCSI 或 NVMe/TCP) 具 L3 路由、支援 Jumbo Frame(MTU 9000)的一般乙太網交換器:能劃獨立 VLAN 隔離儲存流量即可
例如:Aruba CX 8360、HPE FlexFabric 5945、Cisco Catalyst 9500
TCP 補償丟包、免無損網路;記得獨立 VLAN + Jumbo Frame

注意選型欄的邏輯:功能需求是判準,型號只是符合該需求的例子。同一台交換器可能同時出現在兩列(如 Aruba CX 8360 既支援 DCB 也能當一般 L3 交換器用);反過來,同廠牌不同產品線差異巨大(Cisco Nexus 資料中心系列支援 DCB,Catalyst 園區系列大多不支援)。採購時拿功能清單對 datasheet,不要只認廠牌。

結論就這麼簡單。但如果你想知道為什麼是這樣選——為什麼 FC 需要專屬交換器、為什麼 iSCSI 用一般交換器就好、DCB 又是什麼——接下來用一個故事講清楚。

「SAN switch」到底是什麼?兩家快遞公司的故事

在一座叫「資料中心」的城市裡,Server 家族和 Storage 家族之間每天要運送數不清的貨物——每一箱都是讀寫資料的指令與內容。城裡有兩家風格截然不同的快遞公司搶這門生意。

第一家叫 Ethernet 城市快遞,班底是大家熟悉的 L3 Switch。他的座右銘是「盡力而為(best-effort)」:貨量正常時又快又便宜,但尖峰時刻路口塞爆、緩衝區堆滿,他會聳聳肩把裝不下的包裹直接丟掉。「別擔心,」他說,「樓上的 TCP 先生會發現少了貨,重寄一份。」對網頁、郵件這些貨物來說,這套邏輯運作得很好——晚幾毫秒到,沒人在意。

第二家叫 FC 白手套精品物流,掌櫃的是 FC Switch。他的座右銘只有一句:「我從不丟包。」因為他運的是 Storage 家族的傳家寶——SCSI 讀寫指令。這種貨丟一箱,上層應用可能整批交易卡住重來,代價比慢一點嚴重得多。

傳統意義的「SAN switch」,指的就是第二家——Fibre Channel 交換器(如 Brocade G 系列、Cisco MDS 系列)。它跑的協定、用的身分證、連的介面卡,都和乙太網路完全不同。伺服器要加入 FC 物流網,插的不是網卡,而是 FC HBA(Host Bus Adapter)——你可以把它理解成「FC 世界的網卡」,但它對作業系統呈現的是磁碟,不是網路介面,沒有 IP 位址。

FC 的入會儀式:WWPN、FLOGI 與 Zoning

Server 家的新僕人 HBA 想加入 FC 物流網(這張網叫 Fabric),得走一套嚴謹的入會儀式。

他先亮出出廠就刻好的 64-bit 身分證——WWPN(World Wide Port Name,每個埠一張;整台設備另有一張 WWNN)。FC Switch 接過證件,辦理 FLOGI(Fabric Login):「登記完成,發給你一個 24-bit 的門牌號 FCID,在城裡送貨都用這個地址。」

接著 HBA 到 fabric 的戶政事務所——Name Server(住在著名的 0xFFFFFC 號窗口)——註冊自己的資料,並查詢:「請問我要找的 Storage 埠在哪?」Name Server 翻開 WWPN 對 FCID 的對照簿回答他。

但 Name Server 不是有問必答。門口貼著 Zoning 名單:「不在同一個 zone 的,互相看不見。」這是 SAN 的門禁制度——Storage 的某顆 LUN 只該給指定的 Server 看,其他人連它的存在都不必知道。名單有兩種執法力度:soft zoning 只在 Name Server 查詢時隱藏名字(但你若早知道對方地址,硬闖還是有機會);hard zoning 則是交換器對每一個 frame 驗證放行,不在名單上的直接丟棄——現代 fabric 都用這種。

查到地址後,HBA 還要和 Storage 埠親自握手:PLOGI(Port Login,建立會話、交換服務參數),再來一輪 PRLI(Process Login,講好上層要跑 SCSI FCP 還是 FC-NVMe)。三道儀式走完,這條運貨通道才算開通。

絕不丟包的祕密:BB_Credit

FC Switch 憑什麼敢說「從不丟包」?祕密是一疊叫 BB_Credit(Buffer-to-Buffer Credit)的代幣。

兩個埠握手時先互報:「我這邊有 16 個收貨棚(buffer)。」發貨方手上就有 16 枚代幣,每送一個 frame 花掉一枚;收貨方每清空一個棚位,回敬一張 R_RDY(Receiver Ready)收據,代幣補回一枚。代幣用完?發貨方就地停手等待,一個 frame 都不多送。

對比 Ethernet 城市快遞:他不管對面收不收得下,先送再說,收不下就丟。FC 是在鏈路層就從根本上阻止壅塞丟包,Ethernet 是丟了以後靠 TCP 事後補寄。這就是「lossless」與「best-effort」的本質差異,也是 FC SAN switch 存在的理由。

FC 物流的車隊也持續換代:16G 稱 Gen 5、32G 稱 Gen 6、64G 稱 Gen 7(現行主流是 Gen 6/7),128G 的 Gen 8 已在路上,每代至少向下相容兩代。這裡的 G 就是 Gbps——和乙太網 10G/25G 的 G 是同一個單位,只是協定不同、埠不互通。

FC 各世代速率與吞吐量比較
FC 世代演進:每一代速率翻倍,且至少向下相容前兩代。

iSCSI:讓儲存貨物走一般馬路

FC 物流雖好,但要自建專屬道路(獨立布線)、專屬車隊(FC Switch、HBA)、還得請懂 FC 的司機,開銷不小。有個精明的搬運工想出了辦法,他叫 iSCSI

「我把 SCSI 指令原封不動裝進 TCP 的包裹,」iSCSI 說,「TCP 先生本來就會定序、偵測遺失、自動重寄——Ethernet 快遞就算半路丟了我的貨,TCP 會補。所以我不需要無損道路,一般 L3 Switch 的馬路就能跑,甚至能跨 L3 路由。」

這就是為什麼市場上很多「SAN」專案,開出來的規格其實是乙太網路交換器——他們要建的是 IP SAN(跑在乙太網路上的儲存網路)。當然,跑得好有三個講究:

  • 劃專用車道:儲存流量用獨立 VLAN 或實體網段隔離;
  • 別讓儲存流量繞路:iSCSI 網段盡量不路由出去;
  • 全線一致開 Jumbo Frame(MTU 9000,一車裝更多貨);只要沿途有一段不支援,就整條別開。

FCoE 與 DCB 三人組

有段時間,有人提議:「讓 FC 貴族直接坐 Ethernet 的貨車如何?一套網路養兩種流量!」這就是 FCoE(FC over Ethernet)——把 FC frame 整箱塞進 Ethernet frame,由稱作 FCF(Fibre Channel Forwarder)的交換器負責拆箱、按 FC 的規矩轉送。

但貴族有個死條件:「我的轎子一箱都不准摔。」best-effort 的馬路載不了他,於是道路局派出 DCB(Data Center Bridging)三人組改造路面:

  • PFC(IEEE 802.1Qbb):站在路口的交管員,能對單一車道(依 802.1p 優先權分道)喊「暫停!」——只暫停儲存車道,不影響其他車流,讓那條車道零丟包;
  • ETS(IEEE 802.1Qaz):頻寬分配官,保證儲存車道永遠留有約定的路寬;
  • DCBX:開路前的協調會主席,靠 LLDP 和鄰居交換設定,確認兩邊的 PFC/ETS 參數一致才放行。

三人組技術上可行,但 FCoE 只能在 L2 街區內活動、生態系響應寥寥,市場上已被視為式微的技術。不過 DCB 三人組沒有失業——他們後來接到了更大的案子。

NVMe-oF:新世代的三種座駕

隨著全快閃儲存崛起,新一代快遞 NVMe-oF(NVMe over Fabrics)登場,講究極速。他有三種座駕可選:

  • FC-NVMe:繼續坐 FC 白手套物流的車——BB_Credit 無損血統,適合已有 FC fabric 的老客戶平滑升級;
  • NVMe/RoCEv2:坐 RDMA 超跑,延遲最低,但要求 DCB 三人組把整條路都鋪成無損(全網 PFC 設定一致),部署門檻最高——這就是 DCB 三人組的新案子;
  • NVMe/TCP:坐回 TCP 的包裹車,不需要 RDMA 網卡、不需要無損網路,一般 L3 Switch 就能跑,部署最簡單,而且速度已快追上前兩位——是目前新建置的主流方向。

採購前的檢查清單

回到選型。把故事收斂成幾個採購前必問的問題:

  1. 儲存陣列插什麼卡?FC HBA → 只能買 FC SAN switch(Brocade G 系列、Cisco MDS);乙太網卡 → 走 iSCSI 或 NVMe/TCP,一般 L3 交換器即可。
  2. 要不要 RDMA 級延遲?要跑 NVMe/RoCEv2,交換器必須支援 DCB(PFC/ETS/DCBX),而且全網設定要一致;不用的話,NVMe/TCP 或 iSCSI 簡單得多。
  3. 乙太網儲存的規格有沒有補齊?Jumbo Frame(MTU 9000)、獨立 VLAN、足夠的埠 buffer、儲存網段不跨路由——這些才是儲存流量真正在乎的條款,比交換容量數字重要。
  4. 光模組與線材列進報價了嗎?SFP+/SFP28 光模組、DAC 線是一筆不小的成本,而且原廠相容性綁定常是隱藏地雷。
  5. 「SAN switch」這個詞先翻譯再報價。聽到它,先問協定,再談機型——這個詞在市場上常被寬鬆使用,FC SAN 和 IP SAN 是兩個世界的採購清單。

參考資料