如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境-2 (服务器)

接续上一篇「如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境」，接下来讨论模拟连结上的问题。

最初计划使用35台伺服器来完成这个实验，希望能够有大量的用户连接，以验证真实的连接状况。然而，我们高估了这方面，最终我们只维护了26台核心伺服器以及东京和法兰克福的一台边缘伺服器。

接下来，这些是用来模拟真实连接的机器人伺服器。如图所示，每5分钟，他们收到24GB的数据，但只发送了337MB。这与游戏客户端接收超过传输的典型情况一致。在大规模拥塞实验中，发送和接收资料之间的差异可能高达 8 倍。 CPU 使用率始终维持在 98% 以上。虽然我们的伺服器采用了第三代 AMD EPYC 4C8T 处理器，但我们的机器人程式可能没有得到适当的最佳化，我们仍在寻找有问题的部分。结果，每个伺服器的连线数从最初的 2400 个减少到 1760 个。

接下来，关于边缘伺服器，我们使用了第三代 AMD EPYC 2C4T 处理器。影像显示了接收机器人连接的伺服器的数据。我们控制每个边缘伺服器来处理 2000 个机器人连线。数据方面，每5分钟，每台伺服器接收490MB数据，发送13GB数据。资料包处理数量为每 5 分钟接收 3,000k 个资料包，发送 5,500k 个资料包。 CPU 使用率约为55%。在我们正在进行的测试中，我们计划增加连接数量以验证最大负载。然而在这个过程中，我们遇到了意外中断的问题。

为了优化我们的网路以进行 TCP WebSocket 连接，我们采用了以下设定：

net.core.default_qdisc=fq

net.ipv4.tcp_congestion_control=bbr

网.ipv4.tcp_fastopen=3

net.ipv4.tcp_abort_on_overflow=0

net.ipv4.tcp_notsent_lowat=16384

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_timestamps=1

net.ipv4.tcp_fin_timeout=10

net.ipv4.tcp_keepalive_time=600

net.ipv4.tcp_keepalive_probes=3

net.ipv4.tcp_keepalive_intvl=30

net.ipv4.tcp_max_syn_backlog=8192

网.ipv4.tcp_max_tw_buckets=16384

net.ipv4.tcp_window_scaling=1

网.ipv4.tcp_sack=1

网.ipv4.tcp_fack=0

网路.ipv4.tcp_mem=8388608 12582912 16777216

网路.ipv4.tcp_rmem=8192 262411 8388608

网路位址：

net.ipv4.tcp_reordering=5

net.ipv4.tcp_slow_start_after_idle=0

核心.msgmnb=65535

核心.msgmax=65535

net.core.rmem_max=8388608

净.核心.wmem_max=8388608

但是tcp_mem、tcp_rmem 和 tcp_wmem 的设定导致了问题。由于机器人伺服器最初 CPU 超载，资料包无法顺利处理。由于伺服器设定了较大的资料包缓冲区，导致核心记忆体不足，系统以「记忆体不足」错误终止该进程。最终我们删除了这些设置，因为不可以让伺服器受到客户端影响而产生中断。

但奇怪的是，在我们之前对以「G」开头的平台进行的测试中，我们运行了 60,000 个机器人连接，接收 3,000 个连接的边缘伺服器每分钟仅传输了 900 MiB 的数据。相比之下，在这个平台上大约有2,000个连接，数据流量每分钟高达2.5 GB，这显示出明显的差异。
(续)

马上进来看：

https://demo.mb-funs.com/

ps.  ios手機開網頁跑多人3D可能因為記憶體限制踢掉

回馈与申请代码:https://wj.qq.com/s2/18654558/0558/

如果本文对你有帮助，欢迎点赞/关注获取更多技术解析！

也欢迎留下  开发中遇到问题  或是  应用面向 ？