The model that didn't exist, so you made it yourself
作者借助 Hugging Face 的 ML Intern,用一句话描述需求,在一夜之间得到体积仅 0.8B、可在 CPU 上运行的小型提示词改写模型,输出有效率 99.7%、token 消耗约为教师模型四分之一,整个项目(含教师模型标注 8797 条请求)算力成本仅 16 美元。此后作者又以相同方式做出五个模型,并将全部七份提示词公开在 GitHub 上。
Hugging Face 博客作者 yvrjsharma 因官方 Qwen-Image 2.1 提示词改写器体积过大(9B、约需 20GB 内存、推理耗费数千 token),遂向 ML Intern 描述需求,次日获得一个 0.8B、可跑在 CPU 上的蒸馏版本,输出有效率 99.7%、token 消耗约为教师模型四分之一。该项目算力成本(含用 9B 模型标注 8797 条示例请求)合计 16 美元。随后几天作者以同样方式又制作了五个模型,每个都从 HuggingChat 中开启 ML-intern 的一条消息开始,最终成为 Hub 上带评测模型卡的公开模型。ML Intern 负责规划任务、在花钱前申请预算、先跑小测试再正式训练与评测,并在 Hugging Face 硬件上发布;作者强调提示词中最关键的两行分别要求训练前的基线分数和带检查的冒烟测试,并设定单次花费上限。