美团李建:伯努利融合型机柜技术白皮书

数据中心设施:


9月14日,2023开放数据中心大会设施论坛在北京国际会议中心顺利召开。美团热设计工程师李建解读了本次峰会正式发布的《伯努利融合型机柜技术白皮书》。


03c07acedb7824cef21d126a49becc7.png 

随着互联网和云计算技术的发展,业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势,CPU、GPU、DPU等不同算力平台带来技术创新的同时,对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜,在当下的产业结构中采用分层解耦设计,各层级主要聚焦在各自的层级进行相关技术探索和优化。


李建表示,从过往的经验来看,这种分层设计在促进产业链做大、做精、做细等方面做出了很大贡献,但是因为产业分工、投入等的方面的差异,导致各层级之间的技术能力无法同时提高或者对齐,从而表现出明显的“木桶效应”。对应层级的技术短板在更强调基础设施硬件综合能力的需求下变的更为突出。


以机柜技术为例,在标准机柜无法满足需求的时候,以ODCC和OCP为代表的行业组织,几乎同时对机柜技术展开技术探索,以天蝎、方升和Open Rack为代表,在机柜的结构设计、空间设计、标准化等方面获得了显著的成果,积累了非常有价值的经验。但是相比服务器层级和机房层级的投入和成果,作为连接服务器和机房的机柜技术探索仍然偏少。比如:服务器可以通过上盖开孔提高系统散热能力,机房冷热通道温差的扩大可以降低能耗,但是因为机柜设计的原因,冷热通道的温差扩大和上盖开孔可能会导致热风回流问题恶化,进而限制服务器散热能力,也反向限制机房能耗的降低。类似这种问题都说明机柜存在明显的技术短板。


c6e497f76e673a548a752a870950015.png 

伯努利融合型机柜正视图


ca9598c10fd3d71b1ae1b2208cc54da.png 

伯努利融合型机柜机房部署示意图


为了解决分层设计带来的机柜技术短板问题,美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化,机柜将承担更多的系统功能需求,不仅具备结构承载能力,还将承担散热能力提升、能效优化等多方面的系统需求。在上述理念下,本项目提供一款基于伯努利散热架构(机柜前端开放+后端封闭的散热架构)的融合型机柜参考设计,该机柜具备40KW+的单柜散热能力,25℃+的冷热通道支持能力,兼容前后出线,兼容通用服务器和云服务器部署,兼容风冷和冷板式液冷混合部署,兼容标准机柜和整机柜出货,兼容CRPS和集中供电等特点。可以有效解决的当前机柜技术面临的兼容性和能效问题。从本项目的实践结果来看,架构改动小、实际收益大,体现了跨层级系统化设计思想对于当下基础设施领域优化的指导意义,同时也希望系统化设计思想可以为行业带来更多的应用收益。


2eddeeeb6d32c4df52b2dc6d7fc922e.png 

8dcc68906efe0bc722dafcff2414f0d.png 

830afdb2fe9108849bb6f3e2f999027.png 

b2e3ab6ab9e56c6a10316aba4054ae6.png 

34260a32c04d6d052510ca23a3df301.png 

afd7a31e0691927d0463889bca3392b.png 

9f874eda3f9c74b9c2aa23b63c5803b.png 

0371f7fe4f1baa5474bb745447644e0.png 

aeb7e9cee8b400c89fdd77bc4c0aa6d.png 

4ac5f4c31aed1376b7015f66d430aa0.png 

6614ffe5308ab3c317b33bfb8d91823.png 

76d97889cd11b11e6f3d2213d9b900d.png 

4e9e271909b1537856a8bc10a60c9a4.png 

2b988a8d1be9c41c93c2ed0bc589bed.png 

cd5923ed521034bdfcde6c92897f174.png 

80fc46a9c44b8c437f95cc808403e20.png 

6a5582c48d873f5cd0271274b4bfaa8.png