和朋友一起协同开发，需要打通双方的局域网互访，所以考虑到vpn的场景。一开始考虑frp+openvpn的实现。frp实现点对点穿透，openvpn负责组网。但是感觉这样配置较为繁琐，双方都需要部署frp和openvpn，体验不是很友好。
探索了多种方案最终选择了Zerotier，一个自带P2P打洞的vpn，同时满足需要。只需要自建一台有公网ip的moon服务器就可以高效实现各个zerotier节点之间的打洞。
文章目录
- 注册Zerotier
- 部署Zerotier Moon服务器
- 客户端加入Zerotier网络并连接Moon
- 进阶玩法：Openwrt安装Zerotier
- OpenWrt 上配置 ZeroTier 网络间路由
- ZeroTier 管理界面配置路由
- 在没有安装Zerotier的设备上实现局域网路由转发
- Zerotier的优缺点
注册Zerotier
https://my.zerotier.com/network
创建一个网络后，记下network ID。后面其他zerotier的客户端需要先加入这个ID才能进入这个vpn网络中。
可以根据需要自行修改，不然每次要登录官网同意才行。
部署Zerotier Moon服务器
因为Zerotier官方的根服务器是在国外的，如果不自建Moon服务器，P2P打洞的效率会非常低。这里随便开一台有公网ip的云服务器部署zerotier Moon服务即可。
# 安装
curl -s https://install.zerotier.com | sudo bash
# 启动服务
sudo systemctl start zerotier-one
sudo systemctl enable zerotier-one
# 生成随机的 root 身份令牌
sudo zerotier-idtool generate identity.secret identity.public
配置 controller
# 创建配置目录
sudo mkdir -p /var/lib/zerotier-one/controller.d
# 配置身份信息
sudo cp identity.secret /var/lib/zerotier-one/
sudo cp identity.public /var/lib/zerotier-one/
# 启用 controller 功能
echo '{"settings":{"primaryPort":9993},"controller":true}' | sudo tee /var/lib/zerotier-one/local.conf
# 重启服务
sudo systemctl restart zerotier-one创建Moon配置
cd /var/lib/zerotier-one
sudo zerotier-idtool initmoon identity.public > moon.json编辑上一步生成的 moon.json 文件中的 roots 部份，向 roots.stableEndpoints 部份添加当前云服务器的公网ip和端口信息。
sudo zerotier-idtool genmoon moon.json
sudo mkdir moons.d
sudo mv *.moon moons.d/
systemctl restart zerotier-one
zerotier-cli info注意：zerotier默认是9993端口，需要在云控制台放行这个端口。
客户端加入Zerotier网络并连接Moon
https://www.zerotier.com/download/
以Linux / Macos 命令行为例。先在ZeroTier官网获取该网络的16位网络ID，加入网络。
zerotier-cli join <16位网络ID>让客户端连接到我们自建的moon服务器。这里使用moon ID两次是正确的。
zerotier-cli orbit <MoonID> <MoonID>如何判断有没有加入成功？大概等待10s左右执行命令。
zerotier-cli listmoons
zerotier-cli listpeersifconfig进阶玩法：Openwrt安装Zerotier
在单台主机上安装Zerotier只能实现两个远程局域网中的节点互相通信，怎么才能实现两个局域网的所有主机互相访问呢？
然后在界面中输出之前的network ID，但是界面上是不支持添加MoonID的。
需要打开openwrt的ssh，通过命令行添加。
zerotier-cli orbit <MoonID> <MoonID>
OpenWrt 上配置 ZeroTier 网络间路由
首先启用 IP 转发（OpenWrt 默认已启用）。
cat /proc/sys/net/ipv4/ip_forward如果输出为 1 则说明已启用。添加正确的防火墙区域和转发规则。
# 添加 ZeroTier 区域
uci add firewall zone
uci set firewall.@zone[-1].name='zt_network'
uci set firewall.@zone[-1].network='zthnhcbyru'
uci set firewall.@zone[-1].input='ACCEPT'
uci set firewall.@zone[-1].output='ACCEPT'
uci set firewall.@zone[-1].forward='ACCEPT'
uci set firewall.@zone[-1].masq='1'
# 添加转发规则
uci add firewall forwarding
uci set firewall.@forwarding[-1].src='zt_network'
uci set firewall.@forwarding[-1].dest='lan'
uci add firewall forwarding
uci set firewall.@forwarding[-1].src='lan'
uci set firewall.@forwarding[-1].dest='zt_network'
# 提交更改
uci commit firewall
# 重启防火墙
/etc/init.d/firewall restart
检查防火墙状态和查看当前的 nftables 规则。
/etc/init.d/firewall status
nft list rulesetZeroTier 管理界面配置路由
在 “Managed Routes” 添加路由：
- Destination: 192.168.3.0/24
- Via: 10.242.250.229 ( OpenWrt 的 ZeroTier IP)
# 从其他 ZeroTier 设备尝试 ping OpenWrt 的 LAN IP
ping 192.168.3.199
在openwrt上和Zerotier的官网上同时完成路由转发规则的配置后，就可以在对端局域网访问当前局域网中所有的ip资源了，而不是单纯的节点之间的点对点访问。
在没有安装Zerotier的设备上实现局域网路由转发
文章首页的图里面，我在家中使用树莓派安装Zerotier作为中转的设备，而不是在macbook上安装Zerotier，这个时候理论上只有树莓派才可以访问对端的局域网，而我的macbook是不行的。
但也可以实现，需要在树莓派上配置 IP 转发和防火墙规则，让它作为网关转发流量。
在树莓派上启用 IP 转发
# 临时启用
echo 1 > /proc/sys/net/ipv4/ip_forward
# 永久启用，编辑 /etc/sysctl.conf 添加
net.ipv4.ip_forward=1
# 应用更改
sysctl -p在树莓派上添加 iptables 规则。
# 允许从本地网络到 ZeroTier 网络的转发
iptables -A FORWARD -i eth0 -o zthnhcbyru -j ACCEPT
# 允许从 ZeroTier 网络返回到本地网络的流量
iptables -A FORWARD -i zthnhcbyru -o eth0 -m state --state RELATED,ESTABLISHED -j ACCEPT
# 启用 NAT
iptables -t nat -A POSTROUTING -o zthnhcbyru -j MASQUERADE保存 iptables 规则，下次重启仍然生效。
apt-get install iptables-persistent
netfilter-persistent save在 macbook 上添加路由（需要管理员权限）。
sudo route add -net 192.168.3.0/24 10.242.36.70这样配置后，macbook 就可以通过树莓派访问到对端的 192.168.3.0/24 网段了。
Zerotier的优缺点
虽然Zerotier是商业收费的，免费的用户只能创建三个网络和10个设备节点，但是通过进阶配置，只在每个局域网中的一台设备安装Zerotier，配置好路由转发规则。实际上可以构建10个局域网之间的互联访问。对于普通用户来说已经完整够用了。
主要还是P2P直连通信的延时特别低，体验非常好。经测试 成都-深圳 直连通信的延迟才30ms，相比直接把vpn部署在云上，所有流量经过服务器中转，不管延时还是带宽都好太多了。