硬盘速度与内存容量对量子化学计算速度影响的测试
硬盘速度与内存容量对量子化学计算速度影响的测试
Test of the impact of hard disk speed and memory capacity on quantum chemistry calculation speed
1 前言
本文的目的是通过几种主流量子化学程序的实测数据,说明量子化学计算用的机子有没有必要用大内存,有没有必要用高速硬盘,这俩问题是购买服务器的人很关注的问题。经常有人认为内存容量只要让计算得以进行就够了,加大内存对提升速度并没用处,本文也通过测试看看是否是这么回事。本文测试用的机子是双路XEON E5-2696v3(2*18=36个物理核心),主板X10DRL-i。机子内存比较大,是8*32GB DDR4-2133,共256GB,因此有较大余地测试内存对计算速度的影响。购机过程在这里有详细记录《淘宝店购买双路2696v3服务器的过程、使用感受和杂谈》(http://bbs.keinsci.com/forum.php?mod=viewthread&tid=6310)。在买这台机子数日之后,又买了个三星PM961,花了1289软妹币。此时机子里一共有三个硬盘:
(1)希捷4T企业版
(2)影驰铁甲战将SATA3 480GB固态硬盘
(3)三星PM961,是M.2口512GB高速固态硬盘
这三个硬盘,连续读写速度依次由慢到块,正好可以用来对比硬盘速度对量化计算的影响。三块硬盘性能测试如下(Win10-64bit):
希捷4T企业版
影驰铁甲战将
PM961
2 关于硬盘速度和PM961
之所以笔者机子之前已经有一个大容量机械和一个固态了,而后来又买了PM961,是因为PM961的性能远远超过SATA3口的固态硬盘。SATA3对SSD的限制已经愈发明显,早已不是可忽视的程度了。如影驰铁甲战将测试成绩所示,SATA3的SSD一般持续读写速度也就做到五六百MB/s,而走M.2或PCI-E 3.0 4x口的SSD,如PM961,则完全脱离了这个束缚,连续读写性能完爆SATA3硬盘。还在惯用SATA3 SSD的人应该转变观念了。在M.2/PCI-E的SSD普及之前,一些人为了追求更好性能,把SATA3 SSD组Raid0,性能确实提高很多,但是相对于如今的M.2/PCI-E的SSD,已经是鸡肋了。量化计算有的任务基本不怎么读写硬盘,比如DFT单点、优化,对这类任务显然用什么硬盘都不会影响性能;而有的任务则会产生巨大的临时文件并大量读写,诸如CCSD(T),因此硬盘速度必然会对性能产生不可忽视的影响。本文说的硬盘速度一律是指硬盘的连续读写速度,而不是随机读写速度,后者只影响大量操作小文件的速度(在计算化学范畴中,对于化学信息学、虚拟筛选等问题才可能产生较明显影响)。
笔者购买PM961的目的不是用来为了装系统、让应用程序启动速度更快,而纯粹是把这块硬盘当苦力用。各种量化程序的临时文件都在这里读写,而不装任何程序和资料,因此就算这硬盘因为累计读写量太大坏掉,也不会造成其它损失,找店家换货就完了。对于经常要跑后HF任务的人,手头不太紧的话,建议苦力盘容量不要买256GB的,建议>=512GB,因为对于大体系后HF任务,临时文件达到三四百GB甚至更多都是不少见的(对于Gaussian,由于可以方便地对rwf文件进行分割,因此还好。而大多数程序临时文件只能指定在一个目录下读写,苦力盘容量不够就比较麻烦了)。
由于大多数读者对三星PM961比较陌生,这里多说几句。PM961类似于三星高端固态硬盘960EVO的OEM货,无包装,性能没什么差别,价格便宜很多,淘宝店一般都提供质保,笔者买的这个店家3年包换:
笔者服务器的X10DRL-i主板并没有M.2口,没法直接用PM961,因此在淘宝上花20块钱买了个佳翼SK4转接卡,用来将M.2转换为PCI-E 3.0 4x口
为了散热好点,又花18块钱买了个散热条,组装好后:
刚上手把玩一会儿后截的硬盘信息
估计会有人怀疑,这么转接一下,性能肯定打折扣吧?会不会不稳定?从上面的速度实测已经充分说明,用这个转接卡速度丝毫不打折扣,完全不影响PM961顶级性能的发挥。而且根据3个月的使用感受,也未曾发现有不稳定的情况。所以以上转接方式非常稳妥。
虽然买原本就是PCI-E口的固态硬盘就能免得转接一下,但笔者强烈不建议购买,因为性价比远远低于PM961。例如PCI-E 3.0 4x的浦科特M8SeY 512GB,性能不及PM961,却还要卖到2000出头。市面上也有其它M.2口的SSD,同等容量价格和PM961差不多,比如Intel 600P 512GB,但性能都落后于PM961,所以也不建议购买。
顺带一提PM961在这里可以下载三星官方驱动http://www.samsung.com/semiconductor/minisite/ssd/download/tools.html,对于Win10,装不装对测试性能影响不大。
3 关于将内存虚拟成硬盘
硬盘既可以虚拟成内存,内存也可以虚拟成硬盘。当内存非常大,又无用武之地时,把内存虚拟成硬盘,从而加速大量读写硬盘任务的速度往往是有用的做法。虽说PM961已经很快了,但是跟服务器的内存读写性能来比还有一个以上数量级的差距。Linux下可以用ramfs或者tmpfs方式把内存虚拟成硬盘,两种做法实测性能没什么差异,笔者比较习惯用ramfs的做法。使用非常简单,比如要把最多180GB内存作为虚拟硬盘挂载到/vram目录,就执行以下命令mkdir /vram
mount none /vram -t ramfs -o maxsize=180G
这样在/vram里读写文件就相当于在内存中读写了。无论是运行umount /vram手动卸载之,还是重启,/vram里面的文件都会消失。
后文将测试,对于后HF任务,把大内存充分分配给程序耗时更低,还是只把部分内存分配给程序,而把另一部分内存作为虚拟硬盘用于读写临时文件耗时更低。
4 内存容量与硬盘速度对计算耗时的影响实测
下面将通过最常用的量化程序Gaussian16 A.03和ORCA 4.0.1.2(皆64bit),执行不同类型任务,来考察分配的内存量和硬盘速度对计算耗时的影响,看看买服务器时钱怎么花最划算。测试机子的硬件配置上面已经说过了,系统是CentOS 7.3 64bit。所有测试的项目都是对内存容量、硬盘有一定要求的,而普通泛函算单点、优化这类问题,占内存很少,也不怎么读写硬盘,因此不纳入测试。下面测试的耗时一律都是指wall clock time,不是CPU time。每次测试的计算耗时都有可能略有不同,因此如果两个计算条件耗时相差不多的话,就当成没有差异即可。测试中涉及到的体系如下,选的体系比较贴近于现阶段大家通常计算的大小,并没有刻意去选巨大体系(对于巨大体系,测试结论可能会有所不同,但这不是本文关注的):
所有测试相关文件见http://sobereva.com/attach/397/file.zip。
4.1 Gaussian16
以下Gaussian计算若未注明,则默认计算设置为%nproc=36 %mem=245GB,且rwf文件产生大小不设上限。测试中除了Ru(bpy)3外都没有利用对称性以加速。(1)振动分析。BNtube。关键词B3LYP/6-31G* freq nosymm。实际产生rwf文件1.5GB。
PM961:24m11s
影驰铁甲战将:24m27s
希捷4TB:24m29s
%mem=60GB + PM961:24m15s
可见,由于普通泛函下振动分析任务的临时文件小,硬盘速度对耗时基本没有影响,内存分配大小也不影响耗时。
(2)超极化率计算。DA3。关键词CAM-B3LYP/6-311++G(2df,p) polar nosymm。实际产生rwf文件314MB。
PM961:20m28s
影驰铁甲战将:20m32s
希捷4TB:20m35s
%mem=60GB + PM961:20m35s
情况如振动分析,内存容量和硬盘速度对耗时基本也没有影响。
(3)TDDFT。Ru(bpy)3。关键词B3LYP/genecp TD(nstates=30)。对Ru用的SDD,其它原子6-311G*。实际产生rwf文件7.6GB。
PM961:15m37s
影驰铁甲战将:15m32s
希捷4TB:15m31s
%mem=60GB + PM961:15m36s
这个测试还是没发现硬盘速度和内存分配量对总耗时有什么影响。
(4)MP2单点。DA3。关键词MP2/def2TZVP nosymm。实际产生rwf文件150GB。
PM961:13m28s (此数据比较异常,原因不明,不做讨论)
影驰铁甲战将:12m44s
希捷4TB:13m20s
%mem=60GB + PM961:12m42s
%mem=60GB + 180GB vram:12m22 (vram指把内存虚拟成硬盘)
这个任务由于rwf文件比较大,终于一定程度体现出硬盘速度对耗时的影响。影驰SSD比机械硬盘快了一些。如果用vram,速度还能再快一点。不过此任务依然没有很充分体现出大内存或高速硬盘的效果。
值得注意的是,如果把rwf文件产生的上限人为设为100GB,程序发现可用空余硬盘空间不够,会自动用FullDirect方式做MP2,此时rwf大小仅有268MB,而作为代价,计算耗时较高,为16m17s。
(5)CCSD(T)单点。苯胺。关键词CCSD(T)/cc-pVTZ。实际产生rwf文件在CCSD迭代时为21GB,计算(T)时为79.4GB(且占内存达到>90%)。
PM961:26m18s
影驰铁甲战将:34m32s
希捷4TB:62m52s
%mem=60GB + PM961:20m21s
%mem=60GB + 180GB vRAM:19m18s
在CCSD(T)计算时,终于体现出了硬盘速度对计算耗时的巨大影响!SATA3的SSD比机械硬盘快了近一倍,如果用更快的SSD,即PM961,耗时还可以进一步下降。测试中还看到一个违背一般直觉的事,就是分配的内存从245GB降到60GB,耗时反倒从26m18s降到了20m21s,看似内存分配大了还有害。应该说这是G16程序的缺陷所致,实际上在G09,以及其它体系的CCSD(T)计算上也都发现了这个情况。既然内存给大了反倒耗时增高,而且CCSD(T)对硬盘性能敏感,那么少给点内存,而把富裕的内存虚拟成硬盘,岂不美哉?事实也证明此做法奏效,如上述数据所示,把180GB内存虚拟成硬盘来读写rwf的话,耗时比用PM961进一步降低,不过降低得不算很大了,因为PM961已经很快了,此时硬盘读写速度的瓶颈已经没那么显著了。
还有两种特殊情况:
PM961(rwf上限设15GB):会报错Transformation cannot fit in the specified MaxDisk.
PM961(rwf上限设25GB):31m32s(到了(T)那一步,由于硬盘不够,提示Number of processors reduced to 6 in MP4TCl:,之后CPU只有600%占用了)
这体现出CCSD(T)对硬盘空余容量是有较高要求的。剩余容量达不到最低要求,根本算不了;剩余容量太小,则并行度会自动降低,明显降低计算速度。
(6)SCF=conventional单点。DA3。关键词HF/def2TZVP nosymm。实际产生rwf文件为192GB。
PM961:23m30s
希捷4TB:29m27s
这个测试其实没什么意义,只不过由于SCF=conventional把电子积分全写到rwf里,硬盘读写量会很大,所以随便测试了一下硬盘速度的影响。可见PM961比机械硬盘还是有明显优势的,只不过没有预期的那么夸张。SCF=conventional现在根本没人用,因为以direct方式做SCF,此任务仅需要2m59s,rwf文件仅有269MB。即曰,哪怕有高速硬盘,conventional还是远不如direct。还尝试了用incore方式做SCF,此时占内存高达223GB,rwf文件为182MB。虽然incore时积分都存在内存里,理应比direct快,但是实际耗时高达11m12s,是因为Gaussian的incore模式做得不好,CPU利用率非常低,而且用direct时还可以用积分屏蔽等技巧来加速。
4.2 ORCA 4.0.1.2
ORCA是MPI方式并行,maxcore设的是每个MPI进程最多用的内存量(MB)。由于实际使用量可能超过maxcore,因此必须留有一定富余。计算时候皆为36核并行,对于256GB机子来说,maxcore=6000比较稳妥,而64GB机子来说,maxcore=1400一般没问题。(1)双杂化单点。BNtube。关键词RI-PWPB95 def2-QZVPP def2/JK def2-QZVPP/C RIJK。临时文件占硬盘最多用到15GB
maxcore=6000,影驰铁甲战将:20m16s
maxcore=6000,PM961:20m20s
maxcore=6000,希捷4TB:20m18s
maxcore=1400,PM961:24m50s
即便此体系不小了,计算级别还挺高,但对于此任务,硬盘读写仍不构成瓶颈,没体现出硬盘速度对耗时的影响。而内存分配量对耗时有一定影响,给大了耗时会降低。
(2)DLPNO-CCSD(T)单点。DA3。关键词DLPNO-CCSD(T) def2-TZVP def2/JK def2-TZVP/C RIJK tightSCF。临时文件占硬盘最多用到15GB
maxcore=6000,影驰铁甲战将:18m37s -817.155278103676
maxcore=6000,PM961,带tightPNO:78m21s -817.160700708131(临时文件占硬盘最多用到44GB)
maxcore=6000,PM961:18m39s
maxcore=6000,希捷4TB:18m44s
maxcore=1400,PM961:18m47s
DLPNO-CCSD(T)是ORCA独家的降低CCSD(T)耗时的重要方法,这体系直接用CCSD(T)在现有条件下是绝对算不动的,而做DLPNO-CCSD(T)则轻而易举。从测试来看,硬盘速度和内存分配量并未对DLPNO-CCSD(T)耗时有明显影响。还顺带测试了带着tightPNO关键词的情况,这使得DLPNO-CCSD(T)比默认设定下更逼近CCSD(T)的结果,不仅耗时增加几倍,对硬盘空余空间的要求也显著增加了。
(3)CCSD(T)单点。苯胺。关键词CCSD(T) cc-pVTZ tightSCF。临时文件占硬盘最多用到29GB
maxcore=6000,PM961:13m9s
maxcore=6000,希捷4TB:13m6s
maxcore=1400,PM961:16m17s
和Gaussian不同的是,ORCA里做CCSD(T),高速硬盘并没发挥什么用处,而分配大内存,和双杂化计算时一样会使得耗时降低。
4.3 Molpro 2015
对Molpro 2015只是做个简单测试,CCSD(T)/cc-pVTZ单点。苯胺。Molpro也是MPI并行的程序,-m后面设的是每个进程的内存使用量上限,800m代表800mwords*8=6.4GB。-n后面是并行核数。在测试时发现Molpro的计算耗时的重现性比较差,所以仅供粗略参考-m 800m -n 36,PM961:10m20s
-m 400m -n 36,PM961:10m55s
-m 100m -n 36,PM961:10m51s
-m 800m -n 36,影驰铁甲战将:11m10s
-m 800m -n 36,希捷4TB:12m9s
-m 100m -n 36,希捷4TB:12m31s
-m 100m -n 36,180GB vRAM:10m37s
-m 800m -n 18,PM961:11m55s
-m 800m -n 8,PM961:21m52s
-m 3500m -n 8,PM961:19m5s
对比测试数据,可以看到硬盘相同时,加大内存可以令耗时有一定降低;内存相同时,硬盘速度越快耗时也会越低。只不过两个因素对速度影响有限,最快的“-m 800m -n 36,PM961”也就比最慢的“-m 100m -n 36,希捷4TB”快了1/5。
PS:可对比以上列出的Gaussian、ORCA、Molpro在同样级别计算苯胺的速度,了解这三个程序做耦合簇的速度差异。5 总结
从以上测试看出,内存分配量、硬盘速度,都可能对计算速度产生影响,对不同程序的影响情况还不一样。对一般体系,这两个因素能起到不可忽略的影响主要是对后HF类型任务(也包括双杂化),如果不主要计算这类任务,不必买太大内存(至多128GB足够),也不是必须上高速硬盘。对于用Gaussian做耦合簇的人,买个PM961这样的高速硬盘是很值得的,以很少的代价就可以让速度提升很多。但是没必要刻意花钱买大内存,内存分配过大了反倒可能有害;如果机子里已经有比较大内存,那么不妨把富裕的内存当虚拟硬盘用,能令耦合簇耗时降低不少(就算虚拟的硬盘容量不足以塞入整个rwf也没关系,可以用%rwf设定分割rwf)。
对于ORCA用户,用高速硬盘没太大必要,起码本文测试没体现出高速硬盘带来的好处。买大内存以提升性能是可以的,但是不要指望内存设大了,耗时就能降低达到一倍的程度。值不值得花那份钱,应自行斟酌。
总的来说,鉴于硬盘比较便宜,对于量化计算用户,个人建议花一千出头买一个512GB PM961当苦力用。而在有限的预算下,买大内存和提升CPU档次之间,建议先考虑后者,更划算。
还值得一提的是,本文的测试结论与CPU性能必定是存在一定关联的,因为这会影响性能瓶颈的构成。