[GH-ISSUE #113] 预训练细节（fim） #95

New issue

Open

opened 2026-10-26 21:03:26 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-26 21:03:26 +00:00

Owner

Originally created by @lightdf on GitHub (Feb 1, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/113

你好，我现在在做二次预训练，有几个问题想请教下。

请问你们是先将一个project下面的文件按照依赖关系拼起来变成一个document（或者说sample），然后再做document level的fim吗？，如果是这样的话，在context长度为4096的情况下，一个sample的长度肯定会超过context长度，那么fim不就没效果了吗？
请问bos这个特殊符号你们是用在哪里的呢？是每个model context用一次吗？
望解答，谢谢！！！

Originally created by @lightdf on GitHub (Feb 1, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/113 你好，我现在在做二次预训练，有几个问题想请教下。 1. 请问你们是先将一个project下面的文件按照依赖关系拼起来变成一个document（或者说sample），然后再做document level的fim吗？，如果是这样的话，在context长度为4096的情况下，一个sample的长度肯定会超过context长度，那么fim不就没效果了吗？ 2. 请问bos这个特殊符号你们是用在哪里的呢？是每个model context用一次吗？望解答，谢谢！！！

bsakaguchi commented

2026-10-26 21:03:27 +00:00

Author

Owner

@pkuzqh commented on GitHub (Feb 2, 2024):

切割了 context（4096）之后在document级别做的fim

@pkuzqh commented on GitHub (Feb 2, 2024): 切割了 context（4096）之后在document级别做的fim

bsakaguchi commented

2026-10-26 21:03:27 +00:00

Author

Owner

@JY-Ren commented on GitHub (Feb 26, 2024):

切割了 context（4096）之后在document级别做的fim

请问一下你们拼接样本时的bos token是怎么处理的，比如一个batch里拼接了多个sample，会加上bos token吗，样本之间的token是这样吗:
'xxx上个样本xxx'<|end_of_sentence|><|begin_of_sentence|><fim_begin>'xxxx第二个fim样本xxxx.....'

还是没有bos，只用eos隔开样本:
'xxx上个样本xxx'<|end_of_sentence|><fim_begin>'xxxx第二个fim样本xxxx....'

@JY-Ren commented on GitHub (Feb 26, 2024): > 切割了 context（4096）之后在document级别做的fim 请问一下你们拼接样本时的bos token是怎么处理的，比如一个batch里拼接了多个sample，会加上bos token吗，样本之间的token是这样吗: 'xxx上个样本xxx'**<|end_of_sentence|><|begin_of_sentence|><fim_begin>**'xxxx第二个fim样本xxxx.....' 还是没有bos，只用eos隔开样本: 'xxx上个样本xxx'**<|end_of_sentence|><fim_begin>**'xxxx第二个fim样本xxxx....'

bsakaguchi commented

2026-10-26 21:03:27 +00:00

Author

Owner

@hwaking commented on GitHub (Mar 18, 2024):

请问下预训练脚本以及数据样式能share 下么？@lightdf @pkuzqh

@hwaking commented on GitHub (Mar 18, 2024): 请问下预训练脚本以及数据样式能share 下么？@lightdf @pkuzqh