alibaba / euler

A distributed graph deep learning framework.
Apache License 2.0
2.89k stars 559 forks source link

关于step的问题请教 #211

Closed DaturaH closed 4 years ago

DaturaH commented 4 years ago

想请教下如何估算step的数量? 图参数: graph_builder.cc:147] Graph Load Finish! Node Count:1161898 Edge Count:9023959

脚本: nohup /usr/bin/python2.7 -m tf_euler \ --data_dir train \ --max_id 565017127 --feature_idx 1 --feature_dim 303 --label_idx 0 --label_dim 125 \ --model graphsage_supervised --mode train --model_dir ckpt/$1_supervised \ --num_epochs 1 --batch_size 128 --learning_rate 0.001

原本浅显的以为是一共100万+行数据,中心节点和邻居节点及其他节点采样进行训练,共1161898/128大概1W步左右,现在已经跑了150万步左右,

f1 acc recall [0.58992475 0.8041296 0.4658352 ], loss = 0.014678624, step = 1485661 (0.812 sec)

想请教下大概的原理,谢谢谢谢~

DaturaH commented 4 years ago

其实还有个问题,在调参数的时候,发现batch size越小f1越好,看了下代码,loss直接是reduce_mean,batch size跟采样范围