本文分享自天翼云開發(fā)者社區(qū)《NUMA架構介紹及優(yōu)缺點分析》，作者:郁****航

https://www.ctyun.cn/developer/article/415653655711813

一、什么是NUMA架構

1、概念

NUMA（Non-Uniform Memory Access，非統(tǒng)一內存訪問）架構是一種針對多處理器系統(tǒng)的內存組織方式。在這種架構中，處理器被分配到不同的節(jié)點，每個節(jié)點擁有自己的本地內存。處理器可以訪問本地內存和其他節(jié)點的內存，但訪問本地內存的速度要快于訪問其他節(jié)點的內存。 

2、設計原理

NUMA架構的設計原理主要是為了解決多處理器系統(tǒng)中的內存訪問瓶頸問題。隨著處理器數(shù)量的增加，內存帶寬需求也會相應提高。然而，在傳統(tǒng)的統(tǒng)一內存訪問（UMA）架構中，所有處理器共享同一塊內存，導致內存訪問延遲增加、內存帶寬成為系統(tǒng)性能的瓶頸。NUMA架構通過將內存分配到各個節(jié)點，使處理器優(yōu)先訪問本地內存，降低內存訪問延遲，提高了多處理器系統(tǒng)的性能。

3、結構特點 

在NUMA架構中，系統(tǒng)被劃分為多個節(jié)點，每個節(jié)點包含一個或多個處理器、本地內存和I/O設備。節(jié)點之間通過高速互連網絡進行通信，如HyperTransport（AMD）或QuickPath Interconnect（Intel）等。每個處理器可以訪問本地內存和遠程內存，但訪問本地內存的速度更快。

二、NUMA架構的優(yōu)點

1、擴展性

NUMA架構允許系統(tǒng)中的處理器和內存資源以節(jié)點為單位進行擴展，使得在增加處理器和內存時，可靈活地調整系統(tǒng)的規(guī)模。這使得NUMA架構的系統(tǒng)具有很高的擴展性，可以滿足從小型服務器到大型高性能計算集群等各種規(guī)模的并行計算需求。隨著處理器核數(shù)的增加，NUMA架構能夠更好地應對內存訪問的性能挑戰(zhàn)，從而實現(xiàn)線性或接近線性的性能提升。

2、局部性

在NUMA架構中，每個節(jié)點的處理器具有本地內存，處理器訪問本地內存的延遲較低。這種局部性原則有助于減少內存訪問延遲，提高處理器之間的協(xié)同性能。通過充分利用局部性原則，操作系統(tǒng)和應用程序可以實現(xiàn)更高效的任務調度和內存分配策略，從而進一步提升NUMA系統(tǒng)的性能。

3、負載均衡

在NUMA系統(tǒng)中，各個節(jié)點都擁有自己的處理器和本地內存，這使得處理器能夠在不同節(jié)點間分散負載。通過對任務和內存的分布式管理，可以實現(xiàn)負載均衡，從而提高系統(tǒng)整體性能。特別是在高并發(fā)、大規(guī)模數(shù)據(jù)處理等場景下，負載均衡機制可以有效地避免單個節(jié)點的資源瓶頸問題，確保系統(tǒng)資源得到充分利用。

4、并行性能

NUMA架構通過將內存資源分配到各個節(jié)點，降低了內存訪問爭用，提高了內存帶寬。在多處理器并行計算場景下，這種設計有助于提高并行性能。對于具有大量數(shù)據(jù)交換的計算任務，NUMA架構可以充分發(fā)揮各個處理器之間的并行計算能力，實現(xiàn)性能的優(yōu)化。

三、NUMA架構的缺點

1、軟件兼容性

為了充分發(fā)揮NUMA架構的性能優(yōu)勢，操作系統(tǒng)和應用程序需要具備NUMA感知能力。這意味著軟件開發(fā)者需要投入更多精力進行優(yōu)化和調試，以確保其應用程序在NUMA架構系統(tǒng)上能夠實現(xiàn)高性能運行。對于那些非NUMA感知的應用程序，性能可能無法達到最佳。

2、內存碎片化 

在NUMA系統(tǒng)中，內存資源可能分布在不同的節(jié)點上，導致內存碎片化問題。尤其是在處理大規(guī)模數(shù)據(jù)時，內存碎片化可能導致內存利用率降低，甚至影響系統(tǒng)性能。

3、成本

與統(tǒng)一內存訪問（UMA）架構相比，NUMA架構的硬件成本較高。這是因為NUMA系統(tǒng)需要額外的硬件來支持節(jié)點間的通信和協(xié)調，例如高速互連網絡和內存控制器等。此外，NUMA架構對操作系統(tǒng)和應用程序的優(yōu)化要求較高，可能導致軟件開發(fā)成本增加。因此，在選擇NUMA架構時，需要權衡其性能優(yōu)勢與成本投入。

4、復雜性

NUMA架構引入了節(jié)點概念，使得系統(tǒng)設計和管理變得更加復雜。這包括硬件層面的節(jié)點通信和協(xié)調，以及軟件層面的任務調度和內存管理等。為了充分利用NUMA架構的優(yōu)勢，系統(tǒng)管理員和開發(fā)者需要具備較高的技術能力，以應對NUMA架構帶來的挑戰(zhàn)。

總結起來，NUMA架構雖然在性能和擴展性方面具有優(yōu)勢，但也存在一定的缺點，如軟件兼容性問題、內存碎片化、成本較高和系統(tǒng)復雜性等。在實際應用中，需要根據(jù)具體的需求和場景綜合考慮是否選擇使用NUMA架構。

四、與其他內存架構的對比

1、與UMA（Uniform Memory Access，統(tǒng)一內存訪問）架構對比：

UMA架構是一種所有處理器共享同一塊內存的內存訪問方式。在UMA架構中，處理器訪問內存的延遲是一致的，這使得內存訪問更加簡單。然而，隨著處理器數(shù)量的增加，UMA架構中的內存訪問性能可能受到限制，因為所有處理器都需要通過同一個內存總線訪問內存。相較之下，NUMA架構通過分配本地內存降低了內存訪問延遲，提高了性能，但需要應用程序和操作系統(tǒng)具有NUMA感知能力。在實際應用中，UMA架構可能更適用于處理器數(shù)量較少的場景，而NUMA架構在處理器數(shù)量較多的場景中具有優(yōu)勢。

2、與cc-NUMA（Cache-coherent NUMA，一致性緩存非統(tǒng)一內存訪問）架構對比：

cc-NUMA架構是NUMA架構的一種改進，它在NUMA的基礎上引入了緩存一致性協(xié)議（如MESI、MOESI等），以確保不同節(jié)點之間的數(shù)據(jù)一致性。相較于傳統(tǒng)的NUMA架構，cc-NUMA架構在保持擴展性和性能優(yōu)勢的同時，解決了數(shù)據(jù)一致性的問題。然而，cc-NUMA架構的硬件復雜度和成本相對較高，因為它需要實現(xiàn)更為復雜的緩存一致性協(xié)議和通信機制。在實際應用中，cc-NUMA架構可能更適用于對數(shù)據(jù)一致性要求較高的場景。

綜上所述，在不同的內存架構之間，NUMA架構在處理器數(shù)量較多、并行計算和高性能計算場景中具有優(yōu)勢。相較于UMA架構，NUMA架構通過將內存資源分配到各個節(jié)點，降低了內存訪問延遲，提高了性能。然而，這也需要應用程序和操作系統(tǒng)具有NUMA感知能力，以充分發(fā)揮其優(yōu)勢。與cc-NUMA架構相比，傳統(tǒng)的NUMA架構在硬件復雜度和成本方面具有一定優(yōu)勢，但可能無法滿足對數(shù)據(jù)一致性要求較高的場景。

在實際應用中，不同的內存架構適用于不同的場景和需求。在選擇適合的內存架構時，需要綜合考慮處理器數(shù)量、性能需求、數(shù)據(jù)一致性要求、成本和軟件兼容性等因素。對于大規(guī)模并行計算和高性能計算場景，NUMA架構可能是一個較為合適的選擇。然而，在處理器數(shù)量較少或對數(shù)據(jù)一致性要求較高的場景中，UMA或cc-NUMA架構可能更為適用。