【NAS】从零开始自组NAS

​目录

前言

玩NAS这么久,准备退坑了,希望退坑之前做一些总结,能给大家留点帮助。万字文章,码字不易,有用点个赞就行

自组NAS可靠吗?

可靠,不该缩水的不要缩水就可靠

自组NAS可靠性=可靠的硬件+可靠的系统+可靠的人

自组NAS比成品NAS如何?

群晖、威联通等高价低配,本质是卖软件的,是真正的“买软件送硬件”,自组NAS一定比群晖威联通这些成品性价比高,无论硬件还是软件,都是碾压的,这点后续我会放出几套方案,大家看一眼就明白了

自组NAS不适合小白

小白不建议自组NAS,如果不爱折腾,建议直接成品,群晖和威联通肯定是威联通性价比高,功能方面甚至威联通还要更强些。我个人玩了一年多威联通 453Bmini,简单出了视频教程,有兴趣可以参考

​www.bilibili.com/video/BV1y5411f7xR/

本人也把对威联通的心得体会写了汇报总结,参考

村雨Mura:威联通NAS使用一年详细体验报告55 赞同 · 11 评论文章

就是想玩,怎么办?

我个人鼓励刚入门的朋友,不要听什么哪个品牌好,哪个系统好,XXX天下第一,就这,笑死等这些无聊的争论,适合自己的才是最好的,实践出真知,你可以买最便宜的入门级NAS玩,或者买最入门的蜗牛星际玩,多玩一玩自然就明白了自己该怎么选。

有人就想看看电视剧,winserver没问题啊,有人要组万兆家庭网,有人还想玩全屋智能的homeassitant,有人想搞家庭服务器和计算中心,谁和谁都不一样,怎么能统一呢?

大家都是一点一点玩起来的,先弄个贼便宜点坏了不心疼的矿渣蜗牛玩一玩不香吗?何必一步到位,准确说根本没法一步到位,大家都是在玩的过程中明确自己的需求的,最后才逐步定下,自己在哪下车的。我见过有人树莓派玩arm就下车的,有笔记本改造成nas下车的,还有我这种想要玩homeassitant的现在还没完全下车

刚入门的朋友从哪学靠谱的知识?

B站司波图,翻他早期的视频,慢慢看;然后百度直接搜关键词,什么值得买上面很多硬核玩家,例如阿文菌算是入门里折腾教程比较好的,虽然他也退坑了。NGA论坛玩家,恩山论坛玩家等都比较靠谱,一般都能搜到相应的东西。

最后就是村雨本雨了,直接上NAS专栏系列文章(还是要提醒,一些早年的文章过时和错漏都是不可避免的)

创作中心 - 哔哩哔哩弹幕视频网 - ( ゜- ゜)つロ 乾杯~​member.bilibili.com/platform/text-read-list?id=

自组NAS具体方案和可行性

可行性:完全可行,自组NAS用docker、虚拟机这些技术,几乎可以完全替代成品NAS,否则我依然采用威联通453Bmini+HTPC的方案

具体方案:背后原因不讲,只说方案

硬件:按服务器规格来,不急,后面有具体配置单和详细描述

软件:宿主机PVE;虚拟机freenas;硬盘直通给freenas;

freenas只管一件事:存储;其它虚拟机不存储数据,只负责计算相关工作,即所谓“物理机上ALL IN ONE,逻辑上各司其职”,以降低耦合性,提高灵活性、扩展性,不会把docker和虚拟机等应用都装在freenas上,后续我会在文章中详细阐述

促使我自组NAS的根本原因

自组NAS的根本原因在于:对数据安全的追求,对威联通453B mini弱鸡性能和功耗的强烈不满。

因为我在威联通上存储的数据一部分丢了坏了,规模不大,但让我很难受,这仅仅是我发现的,在不知道的地方,我无法知道还有哪些数据是坏了的。组raid当然可以,而raid5不可靠,raid6较为靠谱,4盘位NAS是足够组raid6的,这时遇到两个不满意的地方:

1、raid6下磁盘读写速度可以达到400M左右的速度,威联通2.5G网口的453Dmini硬件太贵,不值

2、就算用2.5G入门级威联通,芯片性能弱鸡,扩展性不高

3、功耗问题,453B mini是J3455的CPU,里面4块8T硬盘功耗是50W!?而我i7 8700T的HTPC默认只带固态nvme下,功耗仅仅是20W,为了弥补J3455的性能,两个同时开,也有70W的功耗。单个8T硬盘就算10W,直接放到i7 8700T上运行,也不过70W左右,而性能和扩展性却提升了一个档次。而前面我也说了,自组NAS可以替代成品NAS,那么既然二者价格、功耗等价,为什么不提升一波扩展性和性能呢?

4、前面说数据丢失的问题,组raid虽然可以,可无论群晖还是威联通都是软raid,可靠性一般,相比freenas 的 zfs还是差了些。而且freenas,准确说是zfs文件系统带scrub内容校验功能,可以定期查看数据是否健康,能保证哪怕一个bit都不会丢失或错误,这样的数据保障正是我要的 数 据 安 全!

综上,在价格几乎不变,功耗几乎不变的情况下,我可以提升几个量级的性能、扩展性和更好的数据保护方式,没有理由不放弃成品,转成自组NAS

自组NAS出发点

自组NAS切入点,出发点都在于一点:就是freenas,现在叫truenas,开源免费,truenas scale版本也加入debian怀抱,功能性更强了...可我不在乎,我在乎的是zfs的raidz

zfs牛逼的点在于:

磁盘读写少,更加均匀,表现为同样的硬盘放在truenas上声音小,也就有效延长了硬盘寿命压缩功能,变相硬盘扩容,8T硬盘压缩1.2相当于扩容了1.6T空间(但对视频图片没什么用)自带去重,猜测就是指针改一下,维护个目录就行了这种形式(实际使用我坚决不开启)写时复制,不会因为系统卡死、意外中断导致数据消失无须花额外的钱买阵列卡,采用raidz就能达到冗余安全的效果(或直接it固件的直通卡,直接将所有硬盘交给NAS进行阵列的组建,才能利用上这些他们的文件系统),而且性能、稳定性不输阵列卡,也比群晖、威联通、winserver那种基于mdadm的软raid要好几乎完备的企业级数据保护方案:如热备盘,系统mirror,包括前面提到过的raidz(热备盘机制不是很稳定,不建议用,系统mirror也没必要,因为写入真的很少,更不建议用U盘当系统盘,玩花的一般死的都早,建议老老实实企业级mlc固态128G当系统盘就行了,或者三星的固态,一块足够,两块万全)性能方面可以加入ssd缓存提升存储池内的并发访问速度,组2.5G局域网甚至万兆网体验很美好(不建议花冤枉钱给freenas加缓存盘,加内存条的收益来的多的多的多)拷贝文件速度稳定而快速

而且都是zfs,ubuntu、freenas、omv等表现也各不相同,因为freeBSD开发的东西原生更牛批,不是linux能比的,不过truenas scale出来,应该差距不大了

那么既然认定了freenas(truenas),接下来就要挑选硬件了,硬件的选择我曾经写过文章,比较详细的那种,有兴趣自行阅读

村雨Mura:freenas/truenas硬件如何选择,家用NAS配置推荐12 赞同 · 2 评论文章

基于上述以及文章描述,这里我直接说两套方案:

方案一:

板U套装:

超微X11SSH-LN4F i3 7100+纯ECC内存 D4,C236芯片组超微X11SCL-Fi3 9100+纯ECC内存 D4,C242芯片组

解释 这套方案的优点:

MATX主板,可以兼顾更多NAS机箱,例如外观党可以尝试用万由NAS机箱、Treasure机箱等

此外,这些机箱走线、散热基本中规中矩,唯一缺点可能就是散热,不过听说第二版改进了

热插拔不是很重要,重要的是背板有很多电容,稳定性毋庸置疑

从电源到主板到线材,都是规格很高的,可以说达到了服务器级别的水准

超微的板子,服务器级别的主板,可靠性拉满,可不是垃圾佬们那些能比的

CPU可以选用i3的CPU,有两个好处:

1、支持ECC。一般服务器级别都要用ECC,而要用ECC必须满足三个条件:CPU支持,主板支持,内存条自己也要是ECC。而i3都支持ECC

2、支持硬解。i3的核显硬解,懂的都懂,没有不能硬解的,家用理想CPU。而且,这里不仅省了一张显卡钱,也省了一条pcie的卡槽。如果你要多线程,就用9代i3,不介意就用前几代的i3,我个人觉得最好七代及以后,这种核显全部都能解码

也就是说,基于这套板U,可以达到服务器水准,满足家用需要,i3的性能跑4-5个万兆都没问题,算是非常理想的一套自组NAS方案

补充大致功耗

功耗计算非常简单,这套方案不算大容量机械硬盘,待机功耗约20W(不加任何外接设备如万兆网卡、独显、pcie等其它设备的情况下)

一块硬盘大约5w(如红盘、酷狼这种nas专用,转速5400的这些4T容量及以下,5w一块;如果大于4T,一般都是8W-10W一块),例如4盘位,假设是4块西数hc320,上述功耗大约20+4x8 = 52w,实际上下游浮动,但误差不大。

我再给出更详细的配置单吧,大家可以根据这个自行调整

CPU:i3 7100T、i3 8100T、i3 9100T、赛扬G4560T、赛扬G5500T等主板:超微X11SSH-LN4F(7代和8代 i3)、超微X11SCL-F(支持到9代i3)内存:纯ECC 16Gx2(海力士、镁光、三星随便选)CPU风扇:某宝 LGA1151接口的风扇,50元附近即可,别大了,高了塞不进去小机箱,大了挡其它地方机箱:很多啊,我个人最喜欢的是treasure机箱和戴尔的t430这类,两个风格,一个是简约一个是帅机箱风扇:利民 TL-C12-B (个人比较喜欢利民的这个系列,静音,性价比高,质保7年以上我记得)电源:安钛克HCG 650W、酷冷至尊GX450W、益衡flex 1U电源(除了1U电源,都是全日系电容,波纹很稳定,最有性价比的就是酷冷至尊的GX450W,可惜不是模组的,本来要用海韵focus系列,毕竟海韵电源有口皆碑,focus系列更是旗舰系列,就是太贵了。可以退而求其次选择跟focus同样配置但跟便宜的追风者AMP系列,但市场上追风者AMP还是贵,反而安钛克的HCG系列明明也是一样的方案,一样的全日系电容,更便宜,那就根据自己钱包来了,如果是ATX电源,安钛克的HCG性价比最高)sata线:华硕rog原装 40cm sata线 12条(我看很多人推荐安费诺,但很多都是假冒的,反而不靠谱,不如一些高端主板赠送的sata线,有要求就买,但是务必买正品,sata线不好容易坏硬盘)sata原装供电线系统盘:有NVme就优先用,没有的可以用pcie转,固态硬盘怎么选不多BB,不知道就无脑三星肯定不会错。具体来说就是:三星850evo和850pro,860evo和860pro(最强sata),870evo 注意矿盘,MX500也能玩,浦科特M7VC M8VC性价比也很高,nvme里面虽然我主力机是980pro,但如果真要推荐我还是喜欢三星980,没有任何后缀的这款,速度不用说,关键是温度低的离谱其它:万兆网卡比较推荐x520 电口的版本,兼容1G、2.5G、5G、10G,暂时没有空升级万兆的,可以用2.5G交换机将就着,其它万兆可能无法自动协商到2.5G,也就是说只能10G或1G,就很憋屈了,功耗大约10w,最好带个风扇螺丝:建议某宝买个电脑装机螺丝套装,各种型号都给你20来个,常备一个,总是好的,也不贵。风扇螺丝也来一套,普通的那种风扇螺丝就行

没螺丝太痛苦了,我有时候经常装机,没螺丝没线是最痛苦的,家装修没了楼下五金店搞定,电脑这东西没螺丝会崩溃,然后下面买了两套,还有笔记本拆机专用的那种螺丝刀也备上

价位的话,这套下来预计3500起步吧,比起我那套威联通453B mini(2000)+i7 8700T的htpc(2300)怎么样呢?

最关键,这套方案是可以玩freenas 的(什么都能玩,取决于你自己,unraid、黑裙、ovm等等),真正的服务器级别,那么你觉得这套方案比群晖、威联通成品相比,做工、可靠性等各个方面哪里差了吗?更别提性能了

方案二:

上述方案基本覆合90%以上的人的需要,也基本符合我的需求。非要说不足,就是扩展性了。基于此,我这里准备了第二套方案,也是我个人在用的方案

CPU:E5 2630L V3 8/16 80元主板:超微X10DRL-I 1500元 质保三年,板载显卡,IPMI,三网口,双路CPU,PCIE扩展性拉满,ATX主板内存:镁光 RECC 2166 16Gx2 450元CPU风扇:某宝 LGA2011散热器 60元(我tm了,一个1900转的散热器,直接起飞,比tm硬盘声音还大)机箱:半岛铁盒F10 175元机箱风扇:利民 TL-C12-B x3 50x1 = 120元(放在机箱尾部排出热量,这种配置和atx大机箱配合,一个足够)追风者SK 140 x3 = 60元(闲鱼收的,因为我自己之前装机追风者P500A自带三个,用了2个,所以闲鱼又收了两个。用于前置面板给硬盘散热,可我一下子没有10块盘,目前只有4块希捷银河7e8组raidz2,所以实际只启用了一个风扇)1分5的pwm集线器 10元一个包邮,可以让走线理线以及后续升级带来不少便利电源:安钛克HCG 650W 400元华硕rog原装 40cm sata线 买了12条 50元系统盘:镁光M600 512G 300元(尽量三星,我是老司机可以咸鱼作死,不建议大家跟着玩)独显:GTX750 1G 250元(备选:1030 aero 2G 400元、丽台P600、rx460 560,都是低功耗无须独立供电的显卡,待机5W)万兆网卡:x520 电口(功耗10W)

总价约3500元,跟上述方案差不多,能便宜500左右,扩展性更强,颜值可能比不上,而且功耗会比上述方案高20W左右。

上述方案其实都在前面我提到过的truenas硬件选择文章里提到过,以及比较详细叙述了为什么用这些方案,这篇文章结尾也给了大家很多套配置,包括垃圾佬最爱的配置,甚至准系统配置等。但正式组NAS我依然只给上述两套方案,道理不多说了

村雨Mura:freenas/truenas硬件如何选择,家用NAS配置推荐12 赞同 · 2 评论文章

自组NAS几盘位合适?

四盘位入门,因为我说了我很重视数据安全,不组raid5,那就只有raid6也就是raidz2了,再加一个系统盘,一个冗余的备份盘等6盘位起步,盘位能多不能少。这也是我选用一个10个3.5盘位+3个2.5盘位的半岛铁盒f10的原因。而我推荐的方案一,万由或treasure也都有8盘位

自组NAS容量多少合适?

大部分人都用不到100T的容量,人家玩100T或1PB的都是视频工作室,百万UP主,存的都是4K视频素材,或者影音收集爱好者,我显然不是这类人。

所以,要先分析自己热数据的大小,而且要有宏观的数据备份方案,才能明确自己要多大容量的NAS。我个人实际用量16T以内足够(热数据)

1、分析自己数据的用量

以下为我个人存储占用的分析,过去一年半实际用量10T不到,其中还有很多是没必要的数据

【NAS】个人过去一年数据存储用量分析​www.bilibili.com/read/cv15176692

2、数据备份策略

不用多说,肯定是按3-2-1备份策略来,详细规划已经写了文章,比较干,但实现其实很简单。文章重点其实是想打造自动化冷备方案,降低人工成本

【NAS】个人硬盘数据备份策略总结(实践、构想)​www.bilibili.com/read/cv

这里还是要总结一下:我的数据中大部分都是没什么用的影音库,而我打算把这部分内容,全部转到115网盘,我的115每年大约费用150左右,养了7年多了,还有18个1T扩容卡,大概也有100T空间了。

所以,影音爱好者应该将数据转移到网盘,然后通过类似clouddreve这种挂载到NAS,用emby建立海报墙,连硬盘都省了,尤其是重度影音爱好者,本机留4-8T空间,用于整理,整理完成后上传到云盘,这个成本是非常低的。硬盘毕竟是消耗品,组raid,电费,容量费,维护成本都很高,真不如花100多交给云盘帮你做这件事。

唯一要注意的就是:一些限制级影音可能会被封,这些最好加密后上传或者本机保留一份。

那我岂不是不用买硬盘,直接买个大点容量的固态,合并到软路由去?没错,就是这样。但我说的是影音爱好者,你家庭视频照片,私密的一些限制级东西还是没法上传到网盘,放在自己兜里才合适,给大家放个图高兴一下:

要么说得加密上传或自己保留一份呢,云盘可靠的是硬件,不可靠的是审查机制和隐私,如何脚踏两只船,看自己的本事了。

那你四块8T组了raidz2,容量够用,为什么要用10盘位?

最基本的是扩容问题,扩容方式非常灵活,但这不是最重要的,热数据16T对于我而言足够了,大概率不会再扩容。如果扩容,下一次就是4块左右的18T硬盘了,这时我可以在PVE上再建一个虚拟机freenas,然后对拷,旧盘大概率会进入我的冷备nas 华为2288准系统里。

我喜欢做种,是一个pt爱好者,喜欢分享,但做种用raidz2的nas也太奢侈了,我还是会单盘做种,也就是说除了4块nas盘,还有一块单盘10T二手翻新东芝盘做种。

还有坏盘了怎么办?替换盘的时候要用replace命令,得先把好的盘插上,然后按id替换

多余的盘位是留来干其它事情的

上述硬件,电源是日系电容,波纹稳定的金牌高端系列,有效保护主板、硬盘等元器件;线材里面塞了滤波电容,进一步保障元器件;主板是超微的带ipmi有质保,可靠性有保障;内存是recc可以进一步保障长期运行的稳定性;机箱虽然不贵,但风道良好,防尘很到位,硬盘日常运行在35°附近,舒适凉快;各方面线材都用了可靠的正规货;风扇性价比高的利民和追风者sk,静音质保还长;硬盘也选了银河盘,进一步还组了raidz2,丢数据这件事,如果不是雷劈地震,很难想象会出现。对了,还有后备式UPS,全部都是为了四个字准备的:数据安全

上面基本解决了硬件层面不可靠的问题,下面就是系统架构

自组NAS系统架构

系统上我没有直接选择安装truenas scale,而是选择了PVE,实现“物理上的ALL IN ONE,逻辑上的低耦合”,具体实现方式:

底层是PVE,虽然PVE也可以有docker,可以zfs,但我不用,重要的是逻辑简单,各司其职,PVE只负责一件事:管理好虚拟机。PVE作为底层宿主机,可以raid1的,如果你不放心的话。

PVE基础上,虚拟一个freenas负责数据存储。这里虽然我用了truenas scale,但我不会用truenas 直接安装docker应用,还是那句话,逻辑简单,各司其职,要干各自擅长的事情,某个事情,而不是什么都干,充分降低耦合,提高灵活性。truenas在我这里只负责存储,smb共享,nfs共享,iscsi等,做好定期的scrub和smart检测,及时发邮件提醒我换硬盘,或者再加rsync服务增量备份。(关于docker是否直接运行在truenas上,个人保留看法)

PVE基础上虚拟一个openwrt,用法自定,可以直接软路由,我个人直接旁软路由灵活的满足局域网内走外网的需求

PVE基础上虚拟一个windows,安装emby和qbittorrent,PVE直通显卡给windows可以实现硬解,甚至玩个游戏挂个游戏都行。而我个人是PT爱好者,比较重度的那种,需要qbittorrent强有力的界面管理更新上千个种子,不是nas那种简单的webui能满足的,甚至我还经常面临迁移的情况,上千个种子迁移在windows版本下更方便。关于qbittorrent教程我也出过一期视频(当然,其中一些是过时的,有个别错误,当年我是校内内网千兆pt做种的,配置比较高)

【教程】qbittorrent完全使用指南,最强免费BT下载器如何设置?_哔哩哔哩_bilibili​www.bilibili.com/video/BV1GF411h74e/

PVE安装ubuntu、centos、debian、omv、爱快、黑威联通等,主要是做实验,出教程用

例如我会用一个centos安装nginx跑代理服务,跑防火墙,一个debian安装docker只运行docker服务,一个ubuntu安装数据库服务,只运行各类数据库,甚至虚拟几个玩集群,pve也支持ceph等等等等

此外,我还会定期对这些虚拟机备份,这是PVE自带的功能,万一系统盘坏了,这些个虚拟机直接在新的PVE上还原就行了,我在上面的一切配置都还原原本本的存在着,属于是打不死了

就算是底层负责数据存储的freenas崩了,硬盘还在,freenas 的虚拟机整体的备份也在,随便找个其它机器还原也是分分钟的事情,而不会是真正的ALL IN ONE,ALL IN BOOM!倒下一个我,还有千千万万个我

这就是我说的“硬件上的ALL IN ONE,逻辑上各司其职”不会真的boom!

总结

本篇更偏重硬件介绍,但硬件的选择本质上是因为nas系统:freenas 服务器级别的高规格要求导致的,它不像群晖、windows、unraid那么随意,带来的好处也是肉眼可见的。

有人说,你这配置能用20年,我说实话,有点夸张了,实践是检验真理的唯一标准。我会用实际表现来验证这些硬件是否可靠,希捷银河盘究竟是否可靠,如果真的是智商税,我会在后续真实的披露出各种问题。目前一切都只是设想,不是现实。

未完待续,后续我会把NAS系列更新完