背景
2003 年 PCI Express 1.0a 規(guī)范發(fā)布,這是計算機世界的高速串行總線結(jié)構(gòu),其可用帶寬大大超過了以前計算機體系結(jié)構(gòu)的并行總線。并行總線依靠極高的引腳數(shù)總線連接,這限制了在更高的時鐘頻率的能力的扇出水平, PCI Express 1 規(guī)范成為一個知名、低成本、高度可伸縮的、可交換的和點到點的串行 I/O 互連,而且與 PCI 總線保持完全的軟件兼容性。 PCI Express1 通過差分方式以高達 2.5 Gbps 的數(shù)據(jù)傳輸,每一個方向(發(fā)送和接收)都有 獨立的高速信號對集。每一組發(fā)送和接收對都 統(tǒng)稱為“道”。為了擴大和實現(xiàn)更高的互連帶寬, PCI Express 規(guī)范允許更多的道添加到鏈接中。基本 PCIExpress 配置: X1 ( 1 道高速數(shù)據(jù)), X4 ( 4 道高速數(shù)據(jù))、 X8 ( 8 道 高速數(shù)據(jù)),和 x16 ( 16 道高速數(shù)據(jù))。
作為一個串行總線, PCI Express 使用數(shù)據(jù)包來發(fā)送和接收數(shù)據(jù)。一個循環(huán)冗余校驗( CRC )有助于驗證來自鏈路的數(shù)據(jù)是否被正確接收。 序列號確保實現(xiàn)正確的分組排序。由于 PCI Express 是 點到點架構(gòu), PCI Express 交換機可以把多個 PCI Express 段連接在一起。 而在某種程度上,交換機的功能類似于 更熟悉的網(wǎng)絡(luò)交換機設(shè)備,從軟件 / 架構(gòu)的角度來看,交換機 像一組相互連接的 PCI 到 PCI 的橋來確保使用 PCI 總線和現(xiàn)有軟件的兼容性。
在主板上 PCI Express 插槽替代了 PCI 和 PCI-X 插槽。主機芯片組允許處理器、內(nèi)存和 PCI Express 板總線之間高帶寬總線的連接 。即使是比較便宜的低端主板
一般至少有一個 x16 PCI Express 插槽上,允許一個 PCI Express 顯卡。
PCI 外箱
由于它的串行 I/O 架構(gòu),與主機系統(tǒng)之外進行電纜傳輸, PCI Express 接口是一個很好的選擇。 PCI Express 外部電纜規(guī)范 1.0 修訂版于 2007 年 1 月發(fā)表。使用適當設(shè)計的主機總線適配器( HBA ),一個 PCI Express 電纜,和一個單元,將允許電纜的 PCI Express 接口被帶到一個或多個 PCI Express 插槽或設(shè)備中,現(xiàn)在主機的內(nèi)部 I/O 總線可以擴展到主機機箱的范圍之外。由于固有 PCI Express 接口的兼容性,主機機箱外部的設(shè)備似乎就在“本地”,允許在不改變現(xiàn)有軟件的情況下訪問 / 從主機系統(tǒng)訪問。
PCI Express 擴展示例框圖
下面是一個 PCI Express 擴展系統(tǒng)的概念框圖和它的與主機系統(tǒng)的關(guān)系。
PCI Express 擴展的好處
系統(tǒng)設(shè)計者在他們設(shè)計和指定的產(chǎn)品中考慮 PCI Express 擴展使用的原因有很多:
• 克服了主機系統(tǒng)中沒有足夠數(shù)量的擴展槽的問題。
•克服主機系統(tǒng)中缺少完整的擴展插槽。
•克服主機系統(tǒng)缺乏足夠的供電能力。
• 允許冷卻系統(tǒng)以外的高功率設(shè)備冷卻
•允許在擴展系統(tǒng)中使用對等通信,而不是總是根據(jù)芯片組配置允許在主機插槽之間
•允許使用低配置服務(wù)器的處理能力和內(nèi)存容量
•允許更模塊化的系統(tǒng)設(shè)計,其中擴展系統(tǒng)側(cè)重于獨立于主機系統(tǒng)選擇的特定 I/O 和處理元素
•允許從主機系統(tǒng)物理地分離 I/O 和處理元素出于功能和環(huán)境原因
主機系統(tǒng)擴展槽
而現(xiàn)代臺式機和服務(wù)器計算機通常有大量的處理。 容量和系統(tǒng)內(nèi)存,它們可能無法提供足夠大的數(shù)量。 特定應(yīng)用程序的擴展槽。通過使用一個或多個自由 x8 或 x16 PCI Express
槽( S )擴展系統(tǒng) HBA 在主機系統(tǒng)( S )、 PCI Express 擴展槽 系統(tǒng)的能力可以通過增加 8 到 16 個槽。此外,由于機械和 / 或包裝考慮許多主機系統(tǒng)不允許將全長 PCI Express 卡安裝到其擴展中。通過使用擴展系統(tǒng) 它自己的專用的機箱,所有額外的插槽可用于全長 PCI Express 卡。
主機電源
許多主機系統(tǒng),特別是那些作為預(yù)配置單元購買的系統(tǒng),都是 只提供有限的電源。超出系統(tǒng)核心組件(處理器、內(nèi)存等)的供電一般不行。許多系統(tǒng)限制電源性能主要有兩個原因:成本和冷卻。電腦類 制造商們正在與不斷下降的利潤率競爭,如果他們覺得只有他們的一小部分客戶用到額外電源, 他們是不會增加額外電源的,因為這樣他們將整體增加成本。此外,通過限制系統(tǒng)的電力供應(yīng),制造商也限制了功率(熱量)的消耗。 他們的機箱中散熱的限制有效地影響冷卻 / 風扇的要求。 冷卻 / 風機需求的限制對系統(tǒng)成本的影響也是很大的。通過連接同一主機系 統(tǒng)到擴展機箱,可以遷移 I/O 和處理元素, 整個系統(tǒng)能獲得額外的 3200 瓦以上的供電能力和匹配的散熱能力。 此外,擴展系統(tǒng)可以由多種電源供電,像 AC 、 DC 、雙冗余和熱交換功能的方案。
點對點通信
許多應(yīng)用程序使用 I/O 和處理模塊,這些模塊不僅與主機和系統(tǒng)內(nèi)存,但也有和彼此之間通信。 PCI Express 擴展系統(tǒng)是允許這種通信的理想架構(gòu)。由于 PCI Express 插槽是 使用基于交換機的拓撲互連,擴展系統(tǒng)內(nèi)的流量可以在插槽之間流通,不需要跨越關(guān)鍵的主機數(shù)據(jù)路徑。擴展系統(tǒng)中交換機的數(shù)據(jù)傳輸能力針對低延遲、對等網(wǎng)絡(luò)進行了優(yōu)化,通過允許 PCI Express 數(shù)據(jù)包直接從輸入端口到輸出 ,而不需要在轉(zhuǎn)發(fā)之前經(jīng)過存儲數(shù)據(jù)包的端口。此外,還有許多 主機系統(tǒng)、點對點通信不允許在任何和所有擴展槽之間。這種限制可能是因為芯片組內(nèi)的體系結(jié)構(gòu)考慮。 由于主機內(nèi)并非所有擴展插槽都連接到同一個 I/O 總線。 在這種情況下,只允許在插槽和 主機 / 系統(tǒng)內(nèi)存進行通信。用于擴展系統(tǒng)的 PCIe 開關(guān)沒有這個
限制,所有插槽之間能實現(xiàn)點對點通信。
低配置的服務(wù)器
現(xiàn)代低配的服務(wù)器設(shè)備為當今的系統(tǒng)設(shè)計者提供了一個低成本的解決方案。 將大量的處理單元和主機內(nèi)存合并到系統(tǒng)中。 然而,低配的服務(wù)器 PCI Express 擴展插槽功能僅限于單個和非全長槽。當系統(tǒng)設(shè)計者選擇嫁給一個低成本的服務(wù)器,功能強大、成本低、占用空間小。 PCI Express 擴展系統(tǒng)的靈活性和實用性以及和處理存儲之間的匹配 和 I/O 功能是理想的選擇。
模塊化系統(tǒng)設(shè)計
對于許多應(yīng)用程序,主機系統(tǒng)的選擇不是關(guān)鍵的或關(guān)鍵的部分。 高度兼容的服務(wù)器或桌面工作站的 硬件允許系統(tǒng)設(shè)計人員指定所遇到的任何硬件平臺符合或超過應(yīng)用程序的特定要求可以使用。部分 通用主機系統(tǒng)無法滿足應(yīng)用程序的硬件需求是 I/O 。 或特定于應(yīng)用程序的處理模塊。通過“打包” I/O 和特定的應(yīng)用程序 將處理元素轉(zhuǎn)換成 PCI Express 擴展系統(tǒng), 設(shè)計者可以創(chuàng)建模塊化與主機系統(tǒng)獨立的系統(tǒng)。這種模塊化的方法 還允許客戶選擇滿足其特定要求的主機系統(tǒng)硬件需求(供應(yīng)商偏好、特殊偏好等)。
物理分離
某些應(yīng)用程序具有主機系統(tǒng)和 I/O 設(shè)備的偏好,要求物理分離。分離要求可以是環(huán)境、安全或
系統(tǒng)因素。例如,一些測試工程師將指定一個 PCI Express 擴展系統(tǒng)。 用于 I/O 板的環(huán)境測試。為了正確測試 I/O 板,板子必須安裝在一個環(huán)境中。許多主機系統(tǒng)不是或不能 夠承受 I/O 板測試所需的環(huán)境。通過在環(huán)境艙安裝擴展系統(tǒng),主機系統(tǒng)可以安裝在外部,通過電纜連接到測試的 I/O 板。
PCI Express 版本
2003 年發(fā)布了 PCI Express 1.0a 規(guī)范 (Gen-1 with 2.5 Gbps signaling
with 8b/10b encoding offering a maximumtheoretical bandwidth of 32 Gbps on a x16 link), PCI 特別興趣小組( SIG )發(fā)布了另外兩個主要規(guī)范提高了 PCI Express 接口的性能。 2007 年 PCI Express 2 規(guī)范發(fā)布。 Gen-2 PCIe ,現(xiàn)在眾所周知,使用 5 Gbps 的信號
8b/10b 編碼,支持的最大理論帶寬 64 Gbpsx16 。在 2010 年,發(fā)布了 PCI Express 3 規(guī)范。 Gen-3 PCIe 使用 8 Gbps 信號 128b / 130b 編碼,支持的最大理論帶寬 126 Gbpsx16 。
結(jié)論
PCI Express 擴展是許多不同應(yīng)用程序的有效解決方案,包括:
•基于 GPU 的高性能計算節(jié)點
•高性能 3D 圖形圖像渲染系統(tǒng)
• PCIe 測試系統(tǒng)
•固態(tài)磁盤( SSD )子系統(tǒng)
•高端口計數(shù) I/O 系統(tǒng)(以太網(wǎng)、高速串行等)
• 視頻墻系統(tǒng)
•視頻捕獲和編輯系統(tǒng)
PCI Express 擴展系統(tǒng)有 Gen-1, Gen-2 和 Gen-3 。 PCI Express擴展系統(tǒng)帶來了對系統(tǒng)設(shè)計者的高度靈活性:選擇主機系統(tǒng)的靈活性和
定制和應(yīng)用到特定場景的靈活性。
附加信息
有關(guān) PCI Express 擴展系統(tǒng)的更多信息,請參閱 北京熠新科技 網(wǎng)站。