OpenFabrics Enterprise Distribution (OFED)是一組開(kāi)源軟件驅(qū)動(dòng)、核心內(nèi)核代碼、中間件和支持InfiniBand Fabric的用戶級(jí)接口程序。

2005年由OpenFabrics  Alliance (OFA)發(fā)布第一個(gè)版本。Mellanox OFED用于Linux，Windows (WinOF)，包括各種診斷和性能工具，用于監(jiān)視InfiniBand網(wǎng)絡(luò)的運(yùn)行情況，包括監(jiān)視傳輸帶寬和監(jiān)視Fabric內(nèi)部的擁塞情況。

OpenFabrics Alliance (OFA)是一個(gè)基于開(kāi)源的組織，它開(kāi)發(fā)、測(cè)試、支持OpenFabrics企業(yè)發(fā)行版。該聯(lián)盟的任務(wù)是開(kāi)發(fā)并推廣軟件，通過(guò)將高效消息、低延遲和最大帶寬技術(shù)架構(gòu)直接應(yīng)用到最小CPU開(kāi)銷的應(yīng)用程序中，從而實(shí)現(xiàn)最大應(yīng)用效率。

該聯(lián)盟成立于2004年6月，最初是OpenIB聯(lián)盟，致力于開(kāi)發(fā)獨(dú)立于供應(yīng)商、基于Linux的InfiniBand軟件棧。2005，聯(lián)盟致力于支持Windows，此舉將使軟件棧真正跨平臺(tái)。

2006年，該組織再次擴(kuò)展其章程，包括對(duì)iWARP的支持，在2010年增加了對(duì)RoCE (RDMA over Converged)支持通過(guò)以太網(wǎng)交付高性能RDMA和內(nèi)核旁路解決方案。2014年，隨著OpenFabrics Interfaces工作組的建立，聯(lián)盟再次擴(kuò)大，實(shí)現(xiàn)對(duì)其他高性能網(wǎng)絡(luò)的支持。

Mellanox OFED是一個(gè)單一的軟件堆棧，包括驅(qū)動(dòng)、中間件、用戶接口，以及一系列的標(biāo)準(zhǔn)協(xié)議IPoIB、SDP、SRP、iSER、RDS、DAPL(Direct Access Programming Library)，支持MPI、Lustre/NFS over RDMA等協(xié)議，并提供Verbs編程接口；Mellanox OFED由開(kāi)源OpenFabrics組織維護(hù)。

如果前面的軟件堆棧邏輯圖過(guò)于復(fù)雜，可以參考上面的簡(jiǎn)明介紹圖。MLNX_OFED_LINUX (Mellanox OFED for Linux) 作為ISO映像提供，每個(gè)Linux發(fā)行版，包括源代碼和二進(jìn)制RPM包、固件、實(shí)用程序、安裝腳本和文檔。

下面我們站在應(yīng)用開(kāi)發(fā)架構(gòu)師或開(kāi)發(fā)者的角度，分析、解讀下 InfiniBand的架構(gòu)和服務(wù)能力(簡(jiǎn)化的InfiniBand架構(gòu))。

InfiniBand的軟件架構(gòu)

InfiniBand軟件棧的設(shè)計(jì)是為了簡(jiǎn)化應(yīng)用部署。IP和TCP套接字應(yīng)用程序可以利用InfiniBand性能，而無(wú)需對(duì)運(yùn)行在以太網(wǎng)上的現(xiàn)有應(yīng)用程序進(jìn)行任何更改。這同樣適用于SCSI、iSCSI和文件系統(tǒng)應(yīng)用程序。位于低層InfiniBand適配器設(shè)備驅(qū)動(dòng)程序和設(shè)備獨(dú)立API(也稱為verbs)之上的上層協(xié)議提供了行業(yè)標(biāo)準(zhǔn)接口，可以無(wú)縫部署現(xiàn)成的應(yīng)用程序。

LinuxInfiniBand軟件架構(gòu)。該軟件由一組內(nèi)核模塊和協(xié)議組成。還有一些關(guān)聯(lián)的用戶模式共享庫(kù)，這些庫(kù)在圖中沒(méi)有顯示。在用戶級(jí)操作的應(yīng)用程序?qū)Φ讓踊ミB技術(shù)保持透明。本文的重點(diǎn)是討論應(yīng)用程序開(kāi)發(fā)人員需要知道什么，才能使他們的IP、SCSI、iSCSI、套接字或基于文件系統(tǒng)的應(yīng)用程序在InfiniBand上運(yùn)行。

對(duì)協(xié)議的操作、底層核心和HCA驅(qū)動(dòng)程序的詳細(xì)討論超出了本文的范圍。但是，為了完整起見(jiàn)，下面是內(nèi)核級(jí)別的簡(jiǎn)要概述，下面將介紹InfiniBand特定模塊和協(xié)議。

內(nèi)核代碼邏輯上分為三層: HCA驅(qū)動(dòng)程序、核心InfiniBand模塊和上層協(xié)議。用戶級(jí)訪問(wèn)模塊實(shí)現(xiàn)了必要的機(jī)制，允許從用戶模式應(yīng)用程序訪問(wèn)InfiniBand硬件。核心InfiniBand模塊包括InfiniBand設(shè)備的內(nèi)核級(jí)中間層，中間層允許訪問(wèn)多個(gè)HCA NICs并提供一組公共共享服務(wù)，包括:

中間層主要功能

1.通信經(jīng)理(CM) --CM提供了允許客戶建立連接所需的服務(wù)。

2.SA客戶端——SA(子網(wǎng)管理員)客戶端提供了允許客戶端與子網(wǎng)管理員通信的功能。SA包含建立連接所需的重要信息，如路徑記錄。

3.SMA-子網(wǎng)管理器代理響應(yīng)子網(wǎng)管理包，允許子網(wǎng)管理器在每個(gè)主機(jī)上查詢和配置設(shè)備。

4.PMA -性能管理代理響應(yīng)允許檢索硬件性能計(jì)數(shù)器的管理包。

5.MAD服務(wù)——管理數(shù)據(jù)報(bào)(MAD)服務(wù)提供一組接口，允許客戶端訪問(wèn)特殊的InfiniBand隊(duì)列對(duì)(QP)， 0和1。

6.GSI -通用服務(wù)接口(GSI)允許客戶端在特殊QP1上發(fā)送和接收管理包。

7.隊(duì)列對(duì)(QP)——重定向高層管理協(xié)議，通常將共享對(duì)特殊QP1的訪問(wèn)重定向到專用QP。這是為帶寬密集型的高級(jí)管理協(xié)議所需要的。

8.SMI -子網(wǎng)管理接口(SMI)允許客戶端在特殊QP0上發(fā)送和接收數(shù)據(jù)包。這通常由子網(wǎng)管理器使用。

9.Verbs-對(duì)中間層提供由HCA驅(qū)動(dòng)程序提供的Verbs訪問(wèn)。InfiniBand體系結(jié)構(gòu)規(guī)范定義了Vbers。Vbers是必須提供的函數(shù)的語(yǔ)義描述。中間層將這些語(yǔ)義描述轉(zhuǎn)換為一組Linux內(nèi)核應(yīng)用程序編程接口(API)。

10.中間層還負(fù)責(zé)在異常程序終止或客戶端關(guān)閉后，對(duì)沒(méi)有釋放的已分配資源的資源跟蹤、引用計(jì)數(shù)和資源清理。

InfiniBand堆棧的最低層由HCA驅(qū)動(dòng)程序組成。每個(gè)HCA設(shè)備都需要一個(gè)特定于HCA的驅(qū)動(dòng)程序，該驅(qū)動(dòng)程序注冊(cè)在中間層，并提供InfiniBand Verbs。

如IPoIB，SRP，SDP，iSER等高級(jí)協(xié)議，采用標(biāo)準(zhǔn)數(shù)據(jù)網(wǎng)絡(luò)，存儲(chǔ)和文件系統(tǒng)應(yīng)用在InfiniBand上操作。除了IPoIB提供了InfiniBand上TCP/IP數(shù)據(jù)流的簡(jiǎn)單封裝外，其他更高級(jí)別的協(xié)議透明地支持更高的帶寬、更低的延遲、更低的CPU利用率和端到端服務(wù)，使用經(jīng)過(guò)現(xiàn)場(chǎng)驗(yàn)證的RDMA(遠(yuǎn)程DMA)和InfiniBand硬件的傳輸技術(shù)。下面將討論這些高級(jí)協(xié)議，以及如何快速啟用現(xiàn)有的應(yīng)用程序?qū)�InfiniBand進(jìn)行操作。

IB對(duì)基于IP的應(yīng)用支持

在InfiniBand上評(píng)估任何基于IP的應(yīng)用程序的最簡(jiǎn)單方法是使用上層協(xié)議IP over IB (IPoIB)。在高帶寬的InfiniBand適配器上運(yùn)行的IPoIB可以為任何基于ip的應(yīng)用程序提供即時(shí)的性能提升。IPoIB支持在InfiniBand硬件上的(IP)隧道數(shù)據(jù)包。

如下圖，在Linux中，協(xié)議是作為標(biāo)準(zhǔn)的Linux網(wǎng)絡(luò)驅(qū)動(dòng)程序?qū)崿F(xiàn)的，這允許任何使用標(biāo)準(zhǔn)Linux網(wǎng)絡(luò)服務(wù)的應(yīng)用程序或內(nèi)核驅(qū)動(dòng)程序在不修改的情況下使用InfiniBand傳輸。Linux內(nèi)核2.6.11及以上版本支持IPoIB協(xié)議，并對(duì)InfiniBand核心層和基于Mellanox技術(shù)公司HCA的HCA驅(qū)動(dòng)程序的支持。

這種在InfiniBand上啟用IP應(yīng)用程序的方法對(duì)于帶寬和延遲不重要的管理、配置、設(shè)置或控制平面相關(guān)數(shù)據(jù)是有效的。由于應(yīng)用程序繼續(xù)在標(biāo)準(zhǔn)TCP/IP網(wǎng)絡(luò)棧上運(yùn)行，應(yīng)用程序完全不知道底層I/O硬件。然而，為了獲得充分的性能并利用InfiniBand體系結(jié)構(gòu)的一些高級(jí)特性，應(yīng)用程序開(kāi)發(fā)人員也可以使用套接字直接協(xié)議(SDP)和相關(guān)的基于套接字的API。

InfiniBand不僅對(duì)基于IP的應(yīng)用提供了支持，同時(shí)對(duì)基于Socket、SCSI和iSCSI，以及對(duì)NFS的應(yīng)用程序提供了支持。

例如，在iSER協(xié)議中，采用了SCSI中間層的方法插入到Linux，iSER在額外的抽象層(CMA，Connection Manager Abstraction layer)上工作，實(shí)現(xiàn)對(duì)基于InfiniBand和iWARP的RDMA技術(shù)的透明操作。

這樣使得采用LibC接口的用戶應(yīng)用程序和內(nèi)核級(jí)采用Linux文件系統(tǒng)接口的應(yīng)用程序的透明化，不會(huì)感知底層使用的是什么互連技術(shù)。

InfiniBand軟件和協(xié)議在主要的Linux、Windows版本和虛擬機(jī)監(jiān)控程序(Hypervisor)平臺(tái)上得到了支持和支持。這包括Red Hat Enterprise Linux、SUSE Linux Enterprise Server、Microsoft Windows Server和Windows CCS (計(jì)算集群服務(wù)器)以及VMware虛擬基礎(chǔ)設(shè)施平臺(tái)。

來(lái)源：微信公眾號(hào) 架構(gòu)師技術(shù)聯(lián)盟、作者：晗狄 

本文鏈接：http://m.51huadong.com/cloundnews/11004567.html