背景

此前主力服务器为HK+树莓派+InterMini主机的结合,随着时间推移,发现分布式的服务器运维过于麻烦,需要使用 过多的电源适配器、多套环境、高度协调才可以使用,且长时间的运作,在出租屋环境中难免有搬家,换网的情况

一个环节掉线,失败后其他所有配套环境都会收到影响

存在问题

磁盘掉线

例如HK机顶盒,常出现的硬盘掉线问题,导致底层存储掉线,其他都无法正常运转

无法随时可用

InterMini主机需要在使用时通电,无法随时访问,只能让台式机常驻使用

系统异常

最重要的openwrt环境 AX6S,其openwrt坏了,无网环境下难以检修[我太菜了]

性能孱弱

树莓派的原用途为Docker使用,但是1G内存对于使用Docker还是过于抽象了

耗电量大

台式机功耗过大,又需要常驻,导致电表旋转过猛

新服务分布

机器型号

OS

服务

7950X - PC

Windows + WSL2

高性能数据处理

HP 800 G4 TWR

Proxmox VE

NAS、软路由、服务器集群

问天7200 Pro +

中兴路由器

AP

服务调用图

环境搭建

参考资料

司波图/通用PVE AIO安装教程

https://www.jianshu.com/p/1f7883e219f3

PVE开启核显直通_pve直通核显-CSDN博客

PVE搭建

硬件情况

主板

CPU

核显

内存

磁盘

网卡

I3 - 8100

UHD 6300

64G

M2 固态 256G

网口情况

物理位置

系统网卡名称

总线地址

连接OpenWrt设备

单 2.5G网口

enp8s0

0000:08:00.0

ETH4

主板自带网口

eno1

0000:00:1f.6

ETH0

双 2.5网口 靠侧板

enp4s0

0000:04:00.0

ETH1

双 2.5网口 远侧板

enp5s0

0000:05:00.0

ETH2

常规安装

常规配置,唯一需要注意的是

安装过程中,进入网卡配置步骤时

其中选择的网卡,会成为后续的虚拟网桥中管理网口,若网口速率有区分,提前对应管理网卡

一键配置脚本

wget -q -O /root/pve_source.tar.gz '<https://bbs.x86pi.cn/file/topic/2023-11-28/file/01ac88d7d2b840cb88c15cb5e19d4305b2.gz>' && tar zxvf /root/pve_source.tar.gz && /root/pve_source

执行其中的1,可以意见配置好换源和进行系统更新

对于配置9,只执行其中的硬件直通

核显直通会出现部分问题,需要手动根据CPU进行调整

网卡直通

在本机型配置下,使用PVE8 开启网卡直通Openwrt时,虚拟机会直接打不开,出现启动后马上掉机的问题,内存出现短暂的吃满

疑似直通配置问题

使用PVE7.4 情况下进行网卡直通可以正常配置

编辑Grub

nano /etc/default/grub

注释原条目,并增加开启参数

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on

更新grub

update-grub

核显直通

由于上方配置了 intel_iommu=on 参数

后续只需要配置pve屏蔽设备调用 vim /etc/modprobe.d/pve-blacklist.con

blacklist nvidiafb
blacklist i915
blacklist snd_hda_intel
options vfio_iommu_type1 allow_unsafe_interrupts=1

参数

释义

blacklist i915

屏蔽显卡驱动

blacklist snd_hda_intel

屏蔽hdmi声音驱动

options vfio_iommu_type1 allow_unsafe_interrupts=1

允许不安全的设备中断

加载内核模块

vim /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

更新内核

update-initramfs -u -k all

Openwrt搭建

固件为OpenWrt_2305_x64_主路由版 by GXNAS build @R2025.01.17

GXNAS网盘

安装固件时,和常规镜像加载安装不一样,一开始创建时不需要介质,需要使用命令导入镜像,参考下方链接

pve系统下从0到1搭建好用的OpenWRT系统_pve安装openwrt-CSDN博客

并在后续需要启用导入镜像的磁盘,并调整启动引导

配置网卡

其中配置总线位置时和上放的网卡信息相一致,并在openwrt内按顺序映射ETH口

配置远程启动

可以使用远程唤醒,启动PC机进行ToDesk远程操控

配置Lan口

由于Lan口对应的是网桥,需要在设备 - br-lan 中,配置上Lan口需要的一个个网口

配置Wan口

wan口配置,先要选中对应的连接上光猫的网口,调整为WAN口,并设置上拨号账号密码

此处WAN口配置上光猫后,若无法上网,则需要配置默认网关指向pppoe-WAN

ip route add default dev pppoe-wan

配置TailScale

启用tailScale,并点击绑定用户

之后便会连接上对应的服务器

配置云上中转Drep

自建derp-v2

其中的--verify-clients 参数 需要在具有本地TailScale客户端的情况下使用,可以进行自验证

否则配置就会无法启动

启动子网广播

并在TailScale 官网上配置上接受对应的子网

FNOS搭建

固件选自飞牛官网固件

配置Sata硬盘

需要先通过命令将Sata硬盘直接导入镜像配置,此处无法用GUI导入Sata

类似 qm set 101 -sata1 /dev/disk/by-id/ata-ST2000DM005-2U9102_WFM3S264

pve虚拟机安装飞牛NAS硬盘直通_pve安装飞牛-CSDN博客

配置核显

在PVE支持核显直通的情况下,通过PCIE设备集成

配置下载层

QB配置

TR配置

IYUU配置

配置影音层

后续考虑使用moviepilot 将影视流程全部集成进去,但是会和飞牛影视冲突,在App端导致不方便

Feature

  • [ ] Ubuntu集群搭建

  • [ ] OpenWrt转化为旁路由

  • [ ] OpenWrt优化

  • [ ] 重要文件存储 走 RAID6 备份