deepseek-ai/DeepSeek-LLM

Fork 0

mirror of https://github.com/deepseek-ai/DeepSeek-LLM.git synced 2026-11-05 00:57:25 +00:00

[GH-ISSUE #10] 为什么不能复现你们的结果（why can't i reproduce your results） #7

New issue

Closed

opened 2026-10-26 21:01:33 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-26 21:01:33 +00:00

Owner

Originally created by @tanguagua on GitHub (Dec 1, 2023).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/10

请问如何复现在leetcode、humaneval评测集上的评测精度？可以分享下评测脚本吗？

Originally created by @tanguagua on GitHub (Dec 1, 2023). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/10 请问如何复现在leetcode、humaneval评测集上的评测精度？可以分享下评测脚本吗？

bsakaguchi closed this issue

2026-10-26 21:01:33 +00:00

bsakaguchi commented

2026-10-26 21:01:34 +00:00

Author

Owner

@pkuzqh commented on GitHub (Dec 4, 2023):

humaneval 你可以参考这个代码https://github.com/deepseek-ai/DeepSeek-Coder/tree/main/Evaluation ，leetcode的评测稍后会放出。

@pkuzqh commented on GitHub (Dec 4, 2023): humaneval 你可以参考这个代码https://github.com/deepseek-ai/DeepSeek-Coder/tree/main/Evaluation ，leetcode的评测稍后会放出。

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@tanguagua commented on GitHub (Dec 5, 2023):

我在你们的内部测试网页（https://chat.deepseek.com/）上（“通用对话”入口）测试了下humaneval评测集，通过的问题个数是109个，折合精度66.4%，readme中贴出的分数是73.8%（网页的后端模型是67B-CHAT吧），这中间的偏差是什么原因导致的啊？
humaneval_res.txt.txt

@tanguagua commented on GitHub (Dec 5, 2023): 我在你们的内部测试网页（https://chat.deepseek.com/）上（“通用对话”入口）测试了下humaneval评测集，通过的问题个数是109个，折合精度66.4%，readme中贴出的分数是73.8%（网页的后端模型是67B-CHAT吧），这中间的偏差是什么原因导致的啊？ [humaneval_res.txt.txt](https://github.com/deepseek-ai/DeepSeek-LLM/files/13558781/humaneval_res.txt.txt)

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@DeepSeekPH commented on GitHub (Dec 8, 2023):

我在你们的内部测试网页（https://chat.deepseek.com/）上（“通用对话”入口）测试了下humaneval评测集，通过的问题个数是109个，折合精度66.4%，readme中贴出的分数是73.8%（网页的后端模型是67B-CHAT吧），这中间的偏差是什么原因导致的啊？ humaneval_res.txt.txt

我们的主页使用了vllm推理，vllm在负载大的时候会把你的query和别人的query组装到一起。经我们测试，vllm的这种batch组装会有造成结果的随机性。给定一个prompt，在不同负载下跑，400次，我们跑出了20+不同的结果。

@DeepSeekPH commented on GitHub (Dec 8, 2023): > 我在你们的内部测试网页（[https://chat.deepseek.com/）上（“通用对话”入口）测试了下humaneval评测集，通过的问题个数是109个，折合精度66.4%，readme中贴出的分数是73.8%（网页的后端模型是67B-CHAT吧），这中间的偏差是什么原因导致的啊？](https://chat.deepseek.com/%EF%BC%89%E4%B8%8A%EF%BC%88%E2%80%9C%E9%80%9A%E7%94%A8%E5%AF%B9%E8%AF%9D%E2%80%9D%E5%85%A5%E5%8F%A3%EF%BC%89%E6%B5%8B%E8%AF%95%E4%BA%86%E4%B8%8Bhumaneval%E8%AF%84%E6%B5%8B%E9%9B%86%EF%BC%8C%E9%80%9A%E8%BF%87%E7%9A%84%E9%97%AE%E9%A2%98%E4%B8%AA%E6%95%B0%E6%98%AF109%E4%B8%AA%EF%BC%8C%E6%8A%98%E5%90%88%E7%B2%BE%E5%BA%A666.4%%EF%BC%8Creadme%E4%B8%AD%E8%B4%B4%E5%87%BA%E7%9A%84%E5%88%86%E6%95%B0%E6%98%AF73.8%%EF%BC%88%E7%BD%91%E9%A1%B5%E7%9A%84%E5%90%8E%E7%AB%AF%E6%A8%A1%E5%9E%8B%E6%98%AF67B-CHAT%E5%90%A7%EF%BC%89%EF%BC%8C%E8%BF%99%E4%B8%AD%E9%97%B4%E7%9A%84%E5%81%8F%E5%B7%AE%E6%98%AF%E4%BB%80%E4%B9%88%E5%8E%9F%E5%9B%A0%E5%AF%BC%E8%87%B4%E7%9A%84%E5%95%8A%EF%BC%9F) [humaneval_res.txt.txt](https://github.com/deepseek-ai/DeepSeek-LLM/files/13558781/humaneval_res.txt.txt) 我们的主页使用了vllm推理，vllm在负载大的时候会把你的query和别人的query组装到一起。经我们测试，vllm的这种batch组装会有造成结果的随机性。给定一个prompt，在不同负载下跑，400次，我们跑出了20+不同的结果。

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@tanguagua commented on GitHub (Dec 19, 2023):

好的，那我下载下ckpt文件，本地部署试一下

@tanguagua commented on GitHub (Dec 19, 2023): 好的，那我下载下ckpt文件，本地部署试一下

No labels

bug

pull-request

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

deepseek-ai/DeepSeek-LLM#7

No description provided.

Rows
Columns