SQLSERVER中的NUMA架构

浏览: 2434

之前看了园子里的宋大侠《浅谈SQL Server 对于内存的管理》的文章,里面讲到NUMA架构,究竟NUMA架构是啥东西

网上的资料说得让人一头雾水

刚好上星期在MSDN上找到一篇关于NUMA架构的文章,文章是2011年写的,现在分享给大家o(∩_∩)o 


文章:SQL SERVER在NUMA架构下实现性能最佳化

就目前而言,CPU主频速度的迅速提升以及CPU数量的高速增长,并没有能够促使CPU在访问内存时的速度有所长进。

尽管L3 Cache的提出解决了部分问题,不过,CPU访问内存速度慢的现象并未有所改观,瓶颈依然存在。

为了更有效的解决CPU访问内存的速度问题,工业界引入了NUMA概念

首先介绍一下 NUMA  的架构,如下图:

 

 每个 NUMA 节点(硬件 NUMA 或软件 NUMA)都有一个用于处理网络 I/O 的相关 I/O 完成端口,这有助于跨多个端口分布网络 I/O 处理

上述结构中展现出两个NUMA结点,每个NUMA结点有一些CPU, 一个内部总线,和自己的内存,甚至可以有自己的IO。每个CPU有离自己最近的内存可以直接访问。

所以,使用NUMA架构,系统的性能会更佳。值得注意的是,在NUMA结构下,可以比较方便的增加CPU的数目。

而在非NUMA架构下,增加CPU会导致系统总线负载很重,性能提升不明显。

虽然每个CPU也可以访问其他NUMA结点上的内存,但付出的代价则是导致速度更慢,这是要尽量避免的。

应用软件如果没有意识到这种结构,在NUMA机器上,有时候性能会更差,这是因为,他们经常会不自觉的去访问远端内存,从而导致整体性能下降。

通常而言,NUMA架构也有硬件和软件之分

 

一、硬件NUMA

硬件NUMA是在硬件层面上得以支持。如何才能知道本机是否有硬件NUMA呢? 最好的办法是问硬件供应商了。

但如果想知道机器中有多少个NUMA结点,那就可以在SQL Server Management Studio下用如下的查询,看能返回几个NUMA结点

1 SELECT DISTINCT memory_node_id FROM sys.dm_os_memory_clerks

或者,可以查看SQL Server的错误日志,如下面的错误日志表明,系统有两个NUMA结点

从 SQL Server 2000 SP3 以后,SQL Server开始支持NUMA架构,内存访问会尽量使用离CPU最近的内存,以提高性能。

二、软件NUMA

如果硬件本身不支持NUMA,还可以在软件层面上设置NUMA,如机器有4个CPU, 设成两个NUMA NODE

一个NODE占用CPU 0x11 (二进制编码),另外一个NODE占用CPU 0x1100 (二进制编码)。

那么,可以在注册表上做如下修改,以SQL Server 2008为例:

软件NUMA只是对CPU进行分组,并不会改变内存。因此对于内存来讲,还是只有一个结点,所以两个NUMA结点,访问的都是同一块内存。

而增加软件NUMA结点的好处在于,SQL Server会针对每一个软件NUMA结点,多一个LazyWriter的线程,

如果系统在LazyWriter上是性能瓶颈的话,引入Software NUMA则可以有效提升性能。

在服务器属性这个地方设置的只是软件NUMA,要机器真正支持硬件NUMA才是真正的NUMA

 

面对连接层面的NUMA

SQL Server 不仅仅在引擎上支持NUMA,在连接层面上也支持NUMA。

如果没有在连接层面上对NUMA进行设置的话,那么每一个连接进来,SQL Server会根据round-robin方式,选择NODE 进行处理。

在NODE内部,SQL Server会选择CPU负载最低的一个CPU进行处理。而这种方法的缺点是,有可能某一个NODE内的所有CPU都很忙,

但是另外一个NODE内的所有CPU都很空,从而导致资源不均衡。这种情况下,使用NUMA架构时性能反而会下降,还不如使用非NUMA架构,

系统能均衡分配CPU资源。

如下图所示,采用round-robin方式,可能NUMA NODE 0会非常繁忙,而NUMA NODE 1会非常空闲,系统资源不能充分利用。

重要的连接可能会被分配到NODE 0,导致不能得到及时处理,性能受到影响。

对此,可以在连接层面上进行设置。对于重要的操作,使用端口1450,该端口会绑定NUMA结点0、1,、2,

而对于不重要的操作(可能需要耗费大量资源,但不重要的),则使用端口1433,该端口会绑定NUMA结点3,

如此,不重要的操作不会对重要的操作在性能上有所影响

如何设置端口对NUMA结点的绑定?可以在侦听的端口后面加NUMA结点信息。如有八个NUMA结点,如果要使用NUMA结点0, 2, 5 那么根据MASK方式,

相应的数值是0x25,或37

 

在SQL Server的网络设置中,相应的网络侦听端口后面,我们可以加MASK数值,如下,

这样,端口63409进来的连接,会跟NUMA结点0, 2, 5 进行绑定。

应该在配置管理器那里设置,我的是SQL2005

综上所述,NUMA概念的引入,将大大地提升硬件的可扩展性和处理能力。

SQL Server 从硬件NUMA、软件NUMA及连接上分别对NUMA这个体系架构做了优化支持,因此,在NUMA架构下,SQL Server拥有更佳的性能和更好的扩展。


 

SQL Server 如何支持 NUMA

文章地址:http://msdn.microsoft.com/zh-cn/library/ms180954(v=SQL.105).aspx

这里我摘抄一些重要部分算了

公共 CPU 的分组
SQL Server 对计划程序进行分组,以根据 Windows 所显示的硬件 NUMA 边界将这些计划程序映射到 CPU 的分组。

例如,16 路逻辑单元有 4 个 NUMA 节点,每个节点有 4 个 CPU。这使得在节点上处理任务时,该组计划程序具有更多的本地内存。

使用 SQL Server,您可以进一步将与硬件 NUMA 节点关联的 CPU 细分为多个 CPU 节点。这称为软件 NUMA。

通常,您将细分 CPU 以跨 CPU 节点对工作进行分区。

 

名词解释:

16 路逻辑单元:说的是16个逻辑CPU,什么是逻辑CPU,比如酷睿I3cpu 双核四线程,那么四线程实际上就是四个逻辑CPU

四个逻辑CPU是指在同一个时间点,可以同时运算的计算单元,运行四个线程,处理四个任务在同一个时间点

计划程序:就是SQLOS里面的 scheduler,详细可以看我这篇文章  SQLSERVER独特的任务调度算法"SQLOS"

 

 

继续摘抄:--------------------------------------------------------------------------------------------------------------------

每个 NUMA 节点(硬件 NUMA 或软件 NUMA)都有一个用于处理网络 I/O 的相关 I/O 完成端口,这有助于跨多个端口分布网络 I/O 处理。

当某个客户端连接到 SQL Server 时,将绑定到其中一个节点。此客户端的所有批处理请求都将在该节点上处理

 

上面这句话是对上面哪两个图的很好解释

 

软件 NUMA 针对计算机中的所有 SQL Server 实例定义一次,因此,多个数据库引擎实例都能看到同样的软件 NUMA 节点。

然后,每个数据库引擎实例都使用 affinity mask 选项选择相应的 CPU。接着,每个实例都使用与这些 CPU 关联的任何软件 NUMA 节点

这句话说的就是服务器属性里面的CPU掩码

 

Windows 在启动后,从硬件 NODE 0 为操作系统分配内存。

因此,硬件 NODE 0 可用于其他应用程序的本地内存少于其他节点。

当需要缓存一个大型文件时,此问题尤为突出。当 SQL Server 在具有多个 NUMA 节点的计算机中启动时,它将尝试在 NODE 0 以外的 NUMA 节点上启动

 

如何将连接分配到 NUMA 节点
TCP 和 VIA 都可以将连接关联到一个或多个特定 NUMA 节点。当未进行关联,或使用 Named Pipes 或 Shared Memory 进行连接时,

连接将采用循环方式分布到 NUMA 节点。在 NUMA 节点内,连接按照该节点上负载最小的计划程序运行。由于新连接的分配具有循环性,

因此,当某个节点空闲时,另一个节点中的所有 CPU 可能都处于繁忙状态。如果您的 CPU 非常少(如 2 个),

并且看到由于具有长时间运行的批处理(如大容量加载)而导致庞大的计划不均衡,则在这种情况下,关闭 NUMA 可能会提高性能。

 

这句话同样也是上面两个分配连接的截图的补充解释

 

SQL Server 版本限制
从 SQL Server 2000 到 Service Pack 3,都不包括对 NUMA 的特别支持;

但是,Service Pack 4 有一些有限的 NUMA 优化。SQL Server 2005 有了大量重要的改进

,因此,我们极力鼓励 NUMA 用户升级到 SQL Server 2005 以充分利用 NUMA 体系结构

 


我的个人理解

SQLSERVER2008支持硬件NUMA,SQLSERVER2005只支持软件NUMA

假如一台电脑有两个物理NUMA节点(当然前提是电脑要支持NUMA),那么内存可以分成两份

SQL2008可以直接访问这两份内存

SQL2005 只能访问同一份内存


(引用一下宋大侠的一些图片)

NUMA节点的概念

逻辑CPU:代表多少个线程

core:代表多少个核心

numa node:numa节点

socket:socket通讯

例如:酷睿I3 双核四线程,那么逻辑CPU(logical cpu)有4个,core有2个

 

SQL Server OS在SMP硬件 直接访问同一个内存  方向 是自下向上

SQL Server OS在NUMA硬件  将一份物理内存分成两份 方向 是自下向上

 

推荐 0
本文由 桦仔 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册