deepseek-ai/DeepSeek-LLM

Fork 0

mirror of https://github.com/deepseek-ai/DeepSeek-LLM.git synced 2026-11-05 00:57:25 +00:00

[GH-ISSUE #12] DeepSeek 7B Chat Lora 效果太棒了！ #9

New issue

Open

opened 2026-10-26 21:01:33 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-26 21:01:33 +00:00

Owner

Originally created by @KMnO4-zx on GitHub (Dec 3, 2023).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/12

尊敬的DeepSeek团队：

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。

再次感谢你们团队的工作，期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址：https://github.com/datawhalechina/self-llm.git

Originally created by @KMnO4-zx on GitHub (Dec 3, 2023). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-LLM/issues/12 尊敬的DeepSeek团队：我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。再次感谢你们团队的工作，期待着你们未来的创新和贡献。 > DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md 仓库地址：https://github.com/datawhalechina/self-llm.git

bsakaguchi commented

2026-10-26 21:01:34 +00:00

Author

Owner

@yucc-leon commented on GitHub (Dec 4, 2023):

好奇，这个太棒了是相对其他同尺寸开源模型来说吗？另外你们的项目看上去已经涉及了很多开源模型的微调，有什么选型或者微调中的发现可以分享吗？

@yucc-leon commented on GitHub (Dec 4, 2023): 好奇，这个太棒了是相对其他同尺寸开源模型来说吗？另外你们的项目看上去已经涉及了很多开源模型的微调，有什么选型或者微调中的发现可以分享吗？

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@KMnO4-zx commented on GitHub (Dec 4, 2023):

好奇，这个太棒了是相对其他同尺寸开源模型来说吗？另外你们的项目看上去已经涉及了很多开源模型的微调，有什么选型或者微调中的发现可以分享吗？

尝试对chat-嬛嬛训练了1/3的epoch，发现效果出奇的好，没有遗忘知识，也能很好的按照嬛嬛语气对话。如果你有更多想要了解的，可以来看我们仓库中关于deepseek lora训练部分。https://github.com/datawhalechina/self-llm.git

@KMnO4-zx commented on GitHub (Dec 4, 2023): > 好奇，这个太棒了是相对其他同尺寸开源模型来说吗？另外你们的项目看上去已经涉及了很多开源模型的微调，有什么选型或者微调中的发现可以分享吗？尝试对chat-嬛嬛训练了1/3的epoch，发现效果出奇的好，没有遗忘知识，也能很好的按照嬛嬛语气对话。如果你有更多想要了解的，可以来看我们仓库中关于deepseek lora训练部分。https://github.com/datawhalechina/self-llm.git

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@luofuli commented on GitHub (Dec 4, 2023):

尊敬的DeepSeek团队：

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。

再次感谢你们团队的工作，期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址：https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

@luofuli commented on GitHub (Dec 4, 2023): > 尊敬的DeepSeek团队： > > 我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。 > > 我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。 > > 再次感谢你们团队的工作，期待着你们未来的创新和贡献。 > > > DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md > > 仓库地址：https://github.com/datawhalechina/self-llm.git 欢迎提交PR~

bsakaguchi commented

2026-10-26 21:01:35 +00:00

Author

Owner

@KMnO4-zx commented on GitHub (Dec 5, 2023):

尊敬的DeepSeek团队：
我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。
我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。
再次感谢你们团队的工作，期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址：https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

好的，感谢认可~

@KMnO4-zx commented on GitHub (Dec 5, 2023): > > 尊敬的DeepSeek团队： > > 我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程，而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而，在我实测了Lora微调的效果之后，我感到非常佩服你们团队的工作。 > > 我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色，这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验，并将其发布在GitHub上。如果需要，我可以将其整理成脚本形式，并提交PR。 > > 再次感谢你们团队的工作，期待着你们未来的创新和贡献。 > > > DeepSeek 7B chat lora 教程地址：https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md > > > 仓库地址：https://github.com/datawhalechina/self-llm.git > > 欢迎提交PR~ 好的，感谢认可~

No labels

bug

pull-request

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

deepseek-ai/DeepSeek-LLM#9

No description provided.

Rows
Columns