Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

DDI差距明显 #2

Open
815382636 opened this issue Aug 1, 2024 · 4 comments
Open

DDI差距明显 #2

815382636 opened this issue Aug 1, 2024 · 4 comments

Comments

@815382636
Copy link

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整?
image

@zzhUSTC2016
Copy link
Owner

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? !

感谢反馈。建议直接加大DDI Loss的权重。

@zzhUSTC2016
Copy link
Owner

我们ablation study里有相关讨论

@shukhg
Copy link

shukhg commented Aug 2, 2024

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? image

你这个结果一看就有问题,你需要把你的 data_test 修正,默认代码中的 data_test 是取的 data 的前 1w 行,所以明显是过拟合:
image

@zzhUSTC2016
Copy link
Owner

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? image

你这个结果一看就有问题,你需要把你的 data_test 修正,默认代码中的 data_test 是取的 data 的前 1w 行,所以明显是过拟合:

感谢您的提醒,这行应该是调试的时候忘了删了,我来修正一下,并评估一下这行代码的影响。这个代码应该是后期整理代码的时候加上去的,对论文的实验结论不构成影响。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants