GitHub 项目:MiniMind

Github项目 2026-11-21 · 1653 阅读

我一直有个心结:大模型到底是怎么训出来的。不是调 API,不是拿 LoRA 给现成模型微调,是从零开始,一个 token 一个 token,把模型训出来。每次想动手,都被两个数字劝退:几百亿参数,几千张卡。直到我看到 MiniMind。

MiniMind 是个中国开源项目,作者靖尧 Gong,GitHub 上 67,730 个 Star,8,856 个 Fork。它的口号很直白:3 块钱,2 小时,从 0 训出你自己的 64M 大模型。

3 块钱 2 小时,到底能训出个啥

先把话说清楚,免得你白激动。"2 小时"指的是 SFT(监督微调)阶段,在单张 RTX 3090 上跑完 1 个 epoch 的实测耗时;"3 块钱"是那段时间的 GPU 租用成本。预训练是另一段,不算在这 2 小时里。

训出来的模型只有 64M 参数,体积大概是 GPT-3 的 1/2700。说白了它就是个玩具,别指望它像 ChatGPT 那样对答如流。它能干的,是让你亲手走完一遍"模型是怎么从一堆文字里长出来的"。

MiniMind 训练书桌

它狠在哪:全流程都是手写的

我最服气的是这一点:MiniMind 的核心代码全是作者用 PyTorch 原生写的,不靠 transformers、trl、peft 那些高层封装。十几行代码训完一个模型当然省事,但你也什么都没学到,黑盒还是黑盒。

这个项目把整条链路都摊开了:预训练、SFT、LoRA、RLHF(DPO)、RLAIF(PPO、GRPO、CISPO)、工具调用、Agentic RL、自适应思考、模型蒸馏,还有 MoE 结构。分词器也是作者自己训的 minimind_tokenizer。想学哪一段,直接去看那一段的代码就行。

作者自己的配置是 8 张 RTX 3090,但单张 3090 就能复现。除了 64M 的主线,还有 108M 的 minimind-v1,以及视觉版 MiniMind-V、多模态版 MiniMind-O,往哪个方向玩都有路。

MiniMind 训练流水线

上手就三步

克隆仓库,装依赖。依赖安装给了阿里云镜像,国内装起来不折腾:

git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

然后下载数据,跑预训练,再跑 SFT。想快速复现,默认只要下载 pretrain_t2t_mini.jsonl 和 sft_t2t_mini.jsonl 两个小数据文件就行:

python train_pretrain.py
python train_full_sft.py

不想自己训,也能直接下载训好的模型玩。ModelScope 和 HuggingFace 上都有 minimind-3,ollama 一行就能跑起来。仓库里还有在线体验和 B 站的视频介绍,先看一眼再决定要不要动手。

先说清楚几个坑

一是别对效果抱幻想。64M 的模型,答题、写代码都别指望,拿它当学习工具,别当生产工具。

二是"2 小时"只是 SFT,预训练另算时间。想完整跑下来,留出一个晚上比较现实。

三是显卡。单张 3090(24G 显存)是作者实测过的配置,显存太小的卡会吃力。没卡就去租,3 块钱那个数就是这么来的。

四是国内网络连不上 WandB,项目默认已经换成了 SwanLab 做训练可视化,接口基本兼容,照着用就行。

适合谁

想真正搞懂 LLM 内部是怎么回事的人,这个项目就是给你准备的。从分词到预训练到强化学习,每一步的代码都在那儿摆着,改一行就能看到变化。

反过来,如果你只是想找个能干活的模型,直接用 Qwen、DeepSeek 就行,没必要自己训一个 64M 的。MiniMind 的价值不在模型本身,在"从 0 到 1"这个过程。

有空我打算按它的流程完整跑一遍。3 块钱,买一次"原来大模型是这么长出来的",这买卖我觉得值。

项目地址:https://github.com/jingyaogong/minimind

全文完
169 点赞 · 1653 阅读

讨论 共 0 条

还没有评论,来抢沙发吧~