Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问DIOR-R上的mAP50指标是在验证集还是测试集上评估得到的呢 #15

Open
Fairydetail opened this issue Jun 18, 2024 · 8 comments

Comments

@Fairydetail
Copy link

No description provided.

@DotWang
Copy link
Collaborator

DotWang commented Jun 18, 2024

@Fairydetail DIOR-R有官方数据集划分,而且测试集给了标签,所以DIOR-R的结果都是测试集上的,文中有提到,也可以看一下config

@Fairydetail
Copy link
Author

@Fairydetail DIOR-R有官方数据集划分,而且测试集给了标签,所以DIOR-R的结果都是测试集上的,文中有提到,也可以看一下config

谢谢您的回复,我看config中的定义在训练时,把train和val部分都用来训练了。请问为什么不是单独使用train部分用于训练呢

@DotWang
Copy link
Collaborator

DotWang commented Jun 18, 2024

@Fairydetail 这个算是惯例了,大家为了刷点,都是这样做的,尤其是遥感旋转目标检测这几个数据集上

@Fairydetail
Copy link
Author

明白了,谢谢 @DotWang

@MLwudi
Copy link

MLwudi commented Aug 27, 2024

@DotWang 既然训练使用的trainval 那训练时的验证集该怎么解决,是从测试集中拿出一部分作为验证吗

@DotWang
Copy link
Collaborator

DotWang commented Aug 27, 2024

@MLwudi 可以参考一下config和log,中间评测结果就是整个测试集的结果,最后论文里边得到的精度就是模型加载训练完成后的权重(最后一个iter后的权重)在测试集上的精度(也就是最后一次评测的精度),这样的话我只需要运行程序一次,否则的话得跑两次,需要说明的是:整个过程没有面向测试集调参,因为就是直接拿最后训完的权重的精度,不是中间验证时的最佳精度

并且我验证过,这种跑一次最后一次评测出来的精度,和你拿着最后训出来的模型再去推理一遍的精度,是一样的

@MLwudi
Copy link

MLwudi commented Aug 27, 2024

@DotWang 很抱歉,可能是我没有表达清楚,我的意思是把官方划分的验证集当作训练数据去训练了,那么谁来充当验证集呢?是从需要从测试集中划分出部分图片作为验证集吗,还是把整个测试集当作验证集了。

@DotWang
Copy link
Collaborator

DotWang commented Aug 27, 2024

@MLwudi 准确的说没有验证集了,因为不需要调参,你就理解成在训练数据上一鼓作气训完,然后在测试集上评测就行了

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants