低成本100G(十万兆)家庭NAS搭建分享经验

该文章只是提供一个低成本解决高并发的需求的思路, 合适家庭小工作室 or 跑分需求. 建议学习参考.

以下设备基本在2021年3月中旬选购的. 每天市场价格变化, 我这里只说我购买的价格, 仅供参考.

本片文章主要分开硬软两部分(广义上)

硬件篇

平台选型: AMD EPYC

这里我选择的是一代epyc 7261, 规格是8C16T, 基准速度2.5GHz, 实测可以超频到3.8Ghz. 购入价格是500元. 基本就是epyc的亮机U, 只为看中128条pcie3.0

广告哪个地方下载的系统比较好?×

主板选用 超微H11SSL, 板子上三条pcie3.0 x16, 三条pcie3.0 x8 和一个m2接口. 带有IPMI管理. 单从pcie插槽规模上看, 虽然没把epyc的 128条pcie拉完, 但从价格考虑, 可以说是性价比较高的一个主板了. 咸鱼上1300买的. 前后买了四个

从卖家了解 该主板是挖矿因为有缺陷(只能上八条内存) 所以被矿老板换下来的, 虽说是矿渣. 到手橙色不错.

广告【硝酸银】 硝酸银批发价格 硝酸银厂家×

内存四条4G DDR4 ECC REG 2400频率, 毕竟便宜. 而且做NAS也不吃内存性能.这个也没啥好看的就不上图了.

接下来是硬盘部分(小姐姐的house)

PM963 960G 均价500一条买的四条, 三星企业级OEM固态,速度和稳定性多少都会有保障 , 由于是22110长度, 比较冷门, 所以售价低. 垃圾佬最爱

P3600 800G U2固态 四块, 是一位大佬借给俺用的. 所以0花费.

每个都是nvme ssd, 都要pcie x4的通道, 这里就呈现出amd epyc的无敌pcie通道的优势了. 都上pcie16拆四个m2 和u2, 占用两个pcie3.0 x16的通道

广告低成本也能创业?2022低门槛项目,手把手带你走创业之路×

这个华擎 m2 拓展卡 450买的, 主要看中这个铁外壳,保证散热,且能上22110, 排布目前我觉得最合理的, 可以使每个m2接口都距离pcie最近

广告更近10年能够自己创业的低成本项目有哪些?×

U2 拓展卡, 淘宝上 380元买的, 没多少选择.

接下来网卡也是很关键的一部分, 也是最容易省成本的地方.

这里选择的是544+和 CX341网卡, 如果看过我之前的文章就知道这两个超高性价比的网卡. 为了避免有些人不明白, 我继续搬抄我之前的话

544+ flr网卡, CX3 PRO核心 , 速率40/56G, 购入价格80块钱, 配合转接卡成本110元一张

广告出国留学真的比在国内读书好吗?×

CX341网卡, CX3 核心, 速率10G , 购入价格25元, 自己改双口万兆 ,配合转接卡成本40元一张, 没单独拍照就不放图了.

平台采用了一张544+和三张cx341. 544+用一个40G口, 三张万兆网卡用六个10G口. 加起来差不多是100G的速度, 网卡部分成本230元. 当然你也可以选择一两千的100G ETH/VPI网卡.

广告作为上班族,如何能小成本创业?×

其余部分就不多说了, 机箱用的开放式机箱方便做验证, 电源临时用的矿龙, 最后换成超微服务器铂金电源了. 散热器用的金钱豹4U散热器, 系统盘用的傲腾800P M2 SSD.

软件篇

BIOS部分很简单, 进去把U2拓展卡和M2拓展卡对应的pcie插槽部分改成x4x4x4x4模式, 这样每个硬盘就可以在系统里认到.

广告没有真实体验过幸福的家庭,该怎么了解婚姻「该有的样子」?×

   系统选用的是Windows server 2019, 至于怎么装系统, 百度随便搜就有一大堆教程. 这里不多废话.

网卡虽然是不同厂商的, 但都是用mellanox核心的, 所以我们只需要到mellanox(nvidia)官网里下载对应版本的winof驱动程序, 直接装上去重启即可.

然后在我的电脑里面给打开共享, 默认开启RDMA模式. 不需要更改命令. 也不要乱动, 一碰可能会导致RDMA模式消失. 要重装驱动甚至重装系统. 其实我也不太了解RDMA的原理, 只知道牛逼就完事了.

有人问我交换机怎么接? 这个确实是好问题, 我用的我去年500买的SX6012 12口40G/56G交换机, 背板宽带我记得没错是1.2T/s ,下面部分都拆分四个10G

广告电脑系统下载,GHO镜像Ghost XP/Win7/Win1...×

平台接线部分:

一条40G DAC线插上去, 两条40G 分四个万兆的线插六个口上去, 全部接到交换机上, 上面提到计算是 40+6*10 = 100G, 所以说是100G NAS其实也没毛病的.

广告出国找工作,来猎聘官网.求职/招聘/找工作,就上「猎聘」!×

看到这里可能就有人不服, 这算个啥子100G NAS, 别急, 我先上数据

广告出国招聘信息>>BOSS直聘_在线发布招聘信息_高效招聘!×

这个是win自带的性能监视器, 里面可以看到网卡速率和SMB server的速度, 先看上面的, 一个40G, 六个10G基本都快打满端口速度了, 下面SMB server 速度是 Bytes/Sec, 注意单位. 换算下来是这个速度

广告穷小子入赘三年,惨遭全家女性“欺凌”,身体虚弱不堪×

当然里面也有个小插曲, 这个40G网卡跑了很久后我才发现运行在pcie x4模式下面, 难怪一直卡在37G这个速度上不去, 拆开发现是转接卡问题.

可能会有些人很好奇达到100G这个速度, 会不会很吃CPU性能, 这里直接放图.

广告竟然爆了把毒开天,全区横着走,刀刀带毒,这款传奇爆率真高!×

在任务管理器我们可以看到占有率在50%左右, 后台开的也不多, 一个web服务器, 一个代理. 左边显示硬盘速度都是外部SMB访问的速度. 也就是说SMB在开启RDMA的情况下, 并不会占用太多CPU性能, CPU负载主要是在访问硬盘IO (读硬盘也会占用CPU一部分性能).

其实一代epyc 正式版也是能超频的, 这里经过我的实测默认就够用, 考虑到稳定性就没选择超频使用. 否则这个CPU负载还会再降低些. 我个人保守估计, 这台NAS应该可以带到200G速度, 不过暂时没这个需求就到头了.

内存部分, 图上是32G, 因为占用率极低后期被换成16G内存进一步节省成本

总结

综合下来核算一下成本, 不算固态+转接卡的成本大概是: CPU 500元, 主板1300元, 内存 90*4=360元, 网卡110 + 40*3 = 230元, 电源 80元, 开放式机箱 30元

总计 刚好2500元

就可以实现100G 家用NAS,

这是垃圾佬的一种精神, 追求极致的性价比

捡垃圾的价格, 企业级的性能甚至稳定性.

你学废了吗?