训练好慢

[wangsouc]

使用python train_async.py --board_size 15 --num_simulations 400 --num_workers 20 训练
32 核 GPU + 一张 5090，GPU利用率5%，CPU99% 都是空闲的，完全打不上去，这个是哪里有问题吗？

08:41:00 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
08:41:00 PM all 0.15 0.00 0.06 0.01 0.00 0.00 0.00 0.00 0.00 99.78

[whyb]

Hello @wangsouc ，

首先感谢您对本项目的支持，看到您回报的问题，我感觉不太可能噢，从硬件配置来看（32核 CPU + RTX 5090，开 20 个 Worker），这样的算力表现不应该如此。

试试新的alphazero版本的？

# 使用标准 SE-ResNet 模型（128通道，10层，~3M 参数）— 推荐正式训练
python train_alphazero.py --board_size 15 --num_simulations 400

或者先把board_size设置低一些，比如改成8或者5，这样训练速度会收敛更迅速，即先用 --board_size 5 或 8 跑一下。15x15 的复杂度太高，先用小棋盘看看训练能否快速收敛，以此排查是否是硬件跑不满的问题。

[wangsouc]

python train_async.py --board_size 15 --num_simulations 400 --num_workers 20

使用这个跑了 50W 局，loss 基本没有下降，训练出来的模型只会从0x0开始沿着边走

[Round 16662] Games=499916 | Loss=5.7619(P=5.0747 V=0.5014) | LR=0.001967
Speed: 10322 games/h, 2712 samples/s | Workers=20 | Round=10.5s | Total=2617.4min
[Round 16663] Games=499946 | Loss=6.1373(P=5.1440 V=0.8077) | LR=0.001966
Speed: 12495 games/h, 2723 samples/s | Workers=20 | Round=8.6s | Total=2617.6min
[Round 16664] Games=499976 | Loss=5.9142(P=5.1016 V=0.6267) | LR=0.001966
Speed: 10856 games/h, 2638 samples/s | Workers=20 | Round=9.9s | Total=2617.7min
[Round 16665] Games=500006 | Loss=6.0979(P=5.1150 V=0.7969) | LR=0.001965
Speed: 12619 games/h, 2871 samples/s | Workers=20 | Round=8.6s | Total=2617.9min

训练结束. 总计 500006 局, 400656 步

[whyb]

python train_async.py --board_size 15 --num_simulations 400 --num_workers 20

使用这个跑了 50W 局，loss 基本没有下降，训练出来的模型只会从0x0开始沿着边走

[Round 16662] Games=499916 | Loss=5.7619(P=5.0747 V=0.5014) | LR=0.001967 Speed: 10322 games/h, 2712 samples/s | Workers=20 | Round=10.5s | Total=2617.4min [Round 16663] Games=499946 | Loss=6.1373(P=5.1440 V=0.8077) | LR=0.001966 Speed: 12495 games/h, 2723 samples/s | Workers=20 | Round=8.6s | Total=2617.6min [Round 16664] Games=499976 | Loss=5.9142(P=5.1016 V=0.6267) | LR=0.001966 Speed: 10856 games/h, 2638 samples/s | Workers=20 | Round=9.9s | Total=2617.7min [Round 16665] Games=500006 | Loss=6.0979(P=5.1150 V=0.7969) | LR=0.001965 Speed: 12619 games/h, 2871 samples/s | Workers=20 | Round=8.6s | Total=2617.9min

训练结束. 总计 500006 局, 400656 步

抱歉，train_async.py 可能是有问题，我单纯只是为了并发性能提升写的，之后实际也从没测过， 试试 python train_alphazero.py --board_size 15 --num_simulations 400 新的。

[wangsouc]

python train_alphazero.py --board_size 15 --num_simulations 400, 这个要跑多少局才能学会防守，现在模型跑了 3 万局还是只会进攻

[whyb]

python train_alphazero.py --board_size 15 --num_simulations 400, 这个要跑多少局才能学会防守，现在模型跑了 3 万局还是只会进攻

train_alphazero.py 默认会使用 小模型 (--model small) （GomokuNetAlphaZeroSmall），参数量是300K，小模型受限于模型容量，在 15×15棋盘上无论训练多少盘都难以达到高手水平。 15×15有225个落子位置，战术模式远比10×10(100格)复杂，300K参数不足以充分表达噢，这只是从纯理论上的角度来分析的，下面是我用AI画的一张小参数模型和标准参数模型的训练不同阶段的能力对比：

小参数模型（GomokuNetAlphaZeroSmall） （--model standard)

python train_alphazero.py --board_size 15 --num_simulations 400 --mode small

场景	训练局数	预期水平
🟢 入门	5,000–10,000	能稳定击败随机走子，开始展现基本的连五意识
🟡 业余	30,000–50,000	掌握活三、冲四等基本战术，能赢普通休闲玩家
🟠 强业余	80,000–100,000	小模型的瓶颈，接近容量上限，棋力不再显著提升
🔴 高手级	>300,000	必须换标准模型，小模型到不了这个水平

标准参数模型（GomokuNetAlphaZero） （--model standard)

python train_alphazero.py --board_size 15 --num_simulations 400 --mode standard --fp16

训练局数	预期水平
50,000	中等业余水平，战术意识清晰
150,000–200,000	强业余水平，能击败大多数人类玩家
300,000–500,000	高手级，战术判断精准，攻守平衡
1,000,000+	接近该架构的理论上限，超人类水平

[whyb]

@wangsouc 我今天更新了代码，优化了一些训练速度，主要支持了fp16精度下的mcts计算，因为fp32精度和fp16精度之间的差异对于此类棋类的任务来说误差可以忽略不计，请pull最新的代码，然后可以试试下面的命令：

python train_alphazero.py --board_size 15 --num_simulations 400 --mode standard --fp16

[wangsouc]

standard 模型收敛确实很快，3W局基本就学会防守！

[whyb]

standard 模型收敛确实很快，3W局基本就学会防守！

好耶，训练好之后，方便share个比较强大的onnx吗？

python export_onnx_az.py alpaz_standard_15x15_model.pth --board_size 15 --model standard --onnx_path ./webdemo/model_bs15_win5.onnx