deepseek-ai/DeepSeek-LLM

Fork 0

mirror of https://github.com/deepseek-ai/DeepSeek-LLM.git synced 2026-11-05 00:57:25 +00:00

[GH-ISSUE #32] AlignBench测评结果复现求助 #20

New issue

Closed

opened 2026-10-26 21:01:43 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-26 21:01:43 +00:00

Owner

Originally created by @FoolMark on GitHub (Jan 11, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/32

注意到你们的模型在alignbench上的sota表现于是尝试复现了一下

使用 HuggingFace放出的 67B-Chat模型（是否对应Tech Report中的DPO版本?）
Tech Report 中的结果是基于 GPT4的测评结果在6.69
我这边自测后上传到Alignben用他们那个CritiqueLLM测评在 5.68，如下

模型名称,专业能力,中文理解,基本任务,数学计算,文本写作,综合问答,角色扮演,逻辑推理,中文推理,中文语言,总分
deepseek67b,6.870967741935484,6.086206896551724,6.661764705882353,4.901785714285714,6.613333333333333,7.394736842105263,6.431034482758621,4.478260869565218,4.690023291925466,6.676340667094462,5.683181979509964

我的认知里这个应该是低于预期的(虽然没有控制变量), 我推测大概是生成过程的问题，我这边简单参考了huggingface上提供的例子写的generate过程如下,大概就按照官方的setting改了temperature参数，其他都是default

       question = sample['question']
        temperature = sample['temperature']
        messages = [
            {
                "role": "user",
                "content": question
            }
        ]
        input_tensor = self.tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
        outputs = self.model.generate(input_tensor.to(self.model.device), temperature=temperature,max_new_tokens=2048)
        answer = self.tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
        return answer

请问如果要复现tech report中相近的精度，有没有更正确的template？谢谢！

Originally created by @FoolMark on GitHub (Jan 11, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/32 注意到你们的模型在alignbench上的sota表现于是尝试复现了一下 - 使用 HuggingFace放出的 67B-Chat模型（是否对应Tech Report中的DPO版本?） - Tech Report 中的结果是基于 GPT4的测评结果在6.69 - 我这边自测后上传到Alignben用他们那个CritiqueLLM测评在 5.68，如下 ``` 模型名称,专业能力,中文理解,基本任务,数学计算,文本写作,综合问答,角色扮演,逻辑推理,中文推理,中文语言,总分 deepseek67b,6.870967741935484,6.086206896551724,6.661764705882353,4.901785714285714,6.613333333333333,7.394736842105263,6.431034482758621,4.478260869565218,4.690023291925466,6.676340667094462,5.683181979509964 ``` 我的认知里这个应该是低于预期的(虽然没有控制变量), 我推测大概是生成过程的问题，我这边简单参考了huggingface上提供的例子写的generate过程如下,大概就按照官方的setting改了temperature参数，其他都是default ``` question = sample['question'] temperature = sample['temperature'] messages = [ { "role": "user", "content": question } ] input_tensor = self.tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt") outputs = self.model.generate(input_tensor.to(self.model.device), temperature=temperature,max_new_tokens=2048) answer = self.tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True) return answer ``` 请问如果要复现tech report中相近的精度，有没有更正确的template？谢谢！

bsakaguchi closed this issue

2026-10-26 21:01:44 +00:00

bsakaguchi commented

2026-10-26 21:01:45 +00:00

Author

Owner

@DeepSeekPH commented on GitHub (Jan 15, 2024):

你好，我们只用过GPT-4 score + VLLM推理的结果。https://github.com/deepseek-ai/DeepSeek-LLM/pull/35 具体的输出可以在这里面看到。你用huggingface的方法看上去没有问题。

@DeepSeekPH commented on GitHub (Jan 15, 2024): 你好，我们只用过GPT-4 score + VLLM推理的结果。https://github.com/deepseek-ai/DeepSeek-LLM/pull/35 具体的输出可以在这里面看到。你用huggingface的方法看上去没有问题。

bsakaguchi commented

2026-10-26 21:01:45 +00:00

Author

Owner

@FoolMark commented on GitHub (Jan 15, 2024):

感谢回复，这里也repo一下，拿你提供的结果上传测评，score是在5.90左右
download.csv

目前看来AlignBench官方提供的CritiqueLLM 模型在高分段可能和GPT4的一致性没有这么高，感觉还是以GPT4的得分为准比较妥当

@FoolMark commented on GitHub (Jan 15, 2024): 感谢回复，这里也repo一下，拿你提供的结果上传测评，score是在5.90左右 [download.csv](https://github.com/deepseek-ai/DeepSeek-LLM/files/13940248/download.5.csv) 目前看来AlignBench官方提供的CritiqueLLM 模型在高分段可能和GPT4的一致性没有这么高，感觉还是以GPT4的得分为准比较妥当

No labels

bug

pull-request

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

deepseek-ai/DeepSeek-LLM#20

No description provided.

Rows
Columns