RDMA 網路設定檔

本頁面提供 Google Cloud中遠端直接記憶體存取 (RDMA) 網路設定檔的總覽。

總覽

您可以透過 RDMA 網路設定檔建立虛擬私有雲 (VPC) 網路，在網路中建立的 VM 記憶體或 GPU 之間，提供低延遲、高頻寬的 RDMA 通訊。

RDMA 網路設定檔適用於執行 AI 工作負載。如要進一步瞭解如何在 Google Cloud中執行 AI 工作負載，請參閱「AI 超級電腦總覽」。

您可以使用 RDMA 網路設定檔建立下列類型的虛擬私有雲網路：

虛擬私有雲網路類型 網路設定檔資源名稱 通訊協定 支援的 NIC 類型 支援的機器類型
Falcon 虛擬私有雲網路 (搶先版) ZONE-vpc-falcon 透過 Falcon 傳輸的 RDMA IRDMA
RoCE 虛擬私有雲網路 ZONE-vpc-roce 透過聚合乙太網路 v2 (RoCE v2) 的 RDMA MRDMA

支援的區域

RDMA 網路設定檔僅適用於部分可用區。您只能在提供相應網路設定檔的可用區中，建立 Falcon 虛擬私有雲網路或 RoCE 虛擬私有雲網路。

如要查看支援的區域，請參閱「列出網路設定檔」。

或者，您也可以查看要在網路中建立的機器類型支援的區域。RDMA 網路設定檔與支援的機器類型位於相同區域。如要瞭解詳情，請參考下列資源：

規格

使用 RDMA 網路設定檔建立的虛擬私有雲網路具有下列規格：

  • 區域限制。使用具有 RDMA 網路設定檔的 VPC 網路時，資源只能與網路建立期間與 VPC 網路相關聯的 RDMA 網路設定檔位於同一可用區。這項區域限制會產生下列影響：

    • 凡是在 VPC 網路中具有網路介面的執行個體，都必須在與 VPC 網路所用 RDMA 網路設定檔的區域相符的區域中建立。

    • 在虛擬私有雲網路中建立的所有子網路，都必須位於包含 RDMA 網路設定檔區域的虛擬私有雲網路中。

  • 僅限 RDMA 網路介面。具有 RDMA 網路設定檔的虛擬私有雲網路僅支援來自特定網路介面的連結：

    • Falcon 虛擬私有雲網路僅支援 IRDMA 網路介面 (NIC)，且僅適用於 H4D 機器系列。
    • RoCE 虛擬私有雲網路僅支援 MRDMA NIC，且僅適用於 A3 Ultra、A4 和 A4X 系列機器。

    虛擬機器 (VM) 執行個體的所有非 RDMA NIC 都必須附加至一般 VPC 網路。

  • 8896 位元組 MTU。為獲得最佳效能，建議您為採用 RDMA 網路設定檔的 VPC 網路設定 最大傳輸單元 (MTU) 為 8896 位元組。這樣一來，VM 客戶作業系統中的 RDMA 驅動程式就能視需要使用較小的 MTU。

    如果您使用 gcloud CLI 或 API 建立具有 RDMA 網路設定檔的虛擬私有雲網路，則預設 MTU 為 8896 位元組。如果您使用 Google Cloud 控制台，則必須將 MTU 設為 8896。

  • 防火牆差異。以下是使用 RDMA 網路設定檔的 VPC 網路中，防火牆的差異：

    • 具有 RDMA 網路設定檔的虛擬私有雲網路會使用下列默示防火牆規則，這與一般虛擬私有雲網路使用的默示防火牆規則不同：

      • 默示允許輸出
      • 隱含允許輸入流量

    • Cloud NGFW 支援與否取決於虛擬私有雲網路類型：

      • RoCE 虛擬私有雲網路僅支援 RoCE 防火牆政策類型的區域網路防火牆政策。支援的區域網路防火牆政策中，規則的參數集有限。詳情請參閱「適用於 RoCE 虛擬私有雲網路的 Cloud NGFW」。
      • Falcon 虛擬私有雲網路不支援設定 Cloud NGFW 規則或政策。

  • 不支援 Connectivity Tests。 連線測試不支援具有 RDMA 網路設定檔的虛擬私有雲網路。

  • 其他 VPC 功能。具有 RDMA 網路設定檔的虛擬私有雲網路僅支援部分其他虛擬私有雲功能。詳情請參閱下方的「支援與不支援的功能」一節。

支援及不支援的功能

下表列出具有 RDMA 網路設定檔的 VPC 網路支援哪些 VPC 功能。

功能 支援 網路設定檔資源 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes MRDMA或IRDMA

使用 RDMA 網路設定檔的虛擬私有雲網路僅支援與 RDMA 網路設定檔對應的 NIC 類型：

  • Falcon 虛擬私有雲網路的 IRDMA
  • MRDMA 個 RoCE 虛擬私有雲網路

系統不支援其他 NIC 類型，例如 GVNIC 或 VIRTIO_NET。
同一個網路中的多個 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

具有 RDMA 網路設定檔的虛擬私有雲網路支援多 NIC VM，因此同一部 VM 的兩個以上 RDMA NIC 可以位於同一個虛擬私有雲網路。每個 NIC 都必須連接至 VPC 網路中的不重複子網路。

另請參閱 RoCE 虛擬私有雲網路多重 NIC 注意事項。
僅支援 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

具有 RDMA 網路設定檔的虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

具有 RDMA 網路設定檔的虛擬私有雲網路不支援雙重堆疊或僅限 IPv6 的子網路。 詳情請參閱子網路類型。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

具有 RDMA 網路設定檔的虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

具有 RDMA 網路設定檔的 VPC 網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱子網路用途。
GCE_ENDPOINT 地址用途 addressPurposes GCE_ENDPOINT

具有 RDMA 網路設定檔的 VPC 網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，VM NIC 的內部 IP 位址會使用這項屬性值。

具有 RDMA 網路設定檔的 VPC 網路不支援特殊用途 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
nic0 的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路，不支援將 VM 的nic0網路介面附加至網路。附加至 VPC 網路的每個 RDMA NIC 不得為 nic0。
VM 的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援將外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援動態 NIC。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路，不支援將別名 IP 範圍指派給 RDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援 IP 轉送。
VM 網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援在網路之間遷移 VM NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路無法設為自動模式網路。詳情請參閱子網路建立模式。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援使用 VPC 網路對等互連連線至其他 VPC 網路。因此，具有 RDMA 網路設定檔的虛擬私有雲網路不支援使用私人服務存取權連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援靜態路徑。
封包鏡像 allowPacketMirroring PACKET_MIRRORING_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援封包鏡像。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援 Cloud Router 和動態路徑。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED 具有 RDMA 網路設定檔的 VPC 網路不支援網路連線中心。 您無法將具有 RDMA 網路設定檔的虛擬私有雲網路新增為 Network Connectivity Center 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援 Cloud Load Balancing。因此，具有 RDMA 網路設定檔的虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
私人 Google 存取權 allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援私人 Google 存取權。
Private Service Connect allowPsc PSC_BLOCKED 具有 RDMA 網路設定檔的虛擬私有雲網路不支援私人服務連線。

RoCE 虛擬私有雲網路多重 NIC 注意事項

為支援可從跨軌 GPU 對 GPU 通訊獲益的工作負載，RoCE 虛擬私有雲網路支援在網路中有多個 MRDMA NIC 的 VM。每個 MRDMA NIC 都必須位於專屬子網路。在相同的 RoCE 虛擬私有雲網路中放置兩個以上的 MRDMA NIC，可能會影響網路效能，包括延遲時間增加。MRDMA NIC 使用 NCCL。NCCL 會嘗試對齊所有網路傳輸，即使是跨通道通訊也一樣。舉例來說，系統會使用 PXN 透過 NVlink 將資料複製到與導軌對齊的 GPU，然後透過網路傳輸資料。

後續步驟