AI创新案例
WollyMonjac 推出 Tiny 2.1:能在 MS-DOS 单张软盘上运行的语言模型
完整中文导读
开发者 WollyMonjac 发布 Tiny 2.1,一个可在 MS-DOS 下运行、能装进单张软盘的 Transformer 语言模型,参数量仅 367,000。
中文整理
作者 / 来源:Nick Bild · 原文时间:2026年11月19日 05:12(北京时间)
原作者信息要点
开发者 WollyMonjac 推出了 Tiny 2.1,这是一个能在 MS-DOS 下运行、可放在单张软盘上的微型语言模型。
Tiny 2.1 是基于 transformer 架构的真实语言模型,与现代聊天机器人使用同类架构,但规模极小:仅有 367,000 个参数,比当今许多轻量级模型小数千倍。
模型由四层组成,每层 96 个单元宽,逐字符处理文本。其权重被量化为 8 位,内存占用约 380 KB。整个程序仅需约 540 KB 空闲内存,因为 DOS 系统通常在不使用额外内存管理技术时限制在 640 KB。
软件用 Turbo C 2.0 编写,可在 486DX 或 Pentium 处理器上运行,无需专用硬件。用户只需将可执行文件和模型文件复制到 DOS 机器并启动程序。
用户界面具有复古风格:彩色霓虹设计、对话窗口和实时神经活动监视器,还有通过 PC 扬声器播放的合成机器人语音。
Tiny 2.1 仅用 3,500 条事实(以多种问题格式呈现)训练。它能正确回答一些直接问题,但超出有限训练数据的问题则结果不确定。例如,模型正确识别亚历山大·格雷厄姆·贝尔为电话发明者,但也坚持 17 乘以 23 等于 96,并称法国国王是 Antarce Newton,且对这些答案给出 100% 置信度。
项目包含训练数据、问题生成器和用于重新训练模型的 PyTorch 脚本。用户可以添加自己的事实,在现代 CPU 上训练,并导出权重到 DOS 电脑上运行。
本站整理与观察
本站观察:Tiny 2.1 的核心意义在于展示了极低资源环境下运行 transformer 语言模型的可行性,而非提供实用级 AI 助手。其 367,000 参数和 380 KB 权重量化体现了极致的模型压缩。
本站观察:模型在简单事实问答上表现不稳定,且给出错误答案时仍显示 100% 置信度,说明其训练数据量(3,500 条事实)和模型容量严重限制了泛化与校准能力。
本站观察:项目开放训练数据和重训练脚本,允许用户扩展事实并重新训练,这为复古计算爱好者提供了实验平台,但原作者也指出该模型永远不会成为好的通用 AI 助手,或许可训练为老式机器的交互式帮助系统。
材料仅基于原作者 Nick Bild 的报道,未提供独立验证或模型性能的第三方测试数据。关于模型正确/错误回答的例子来自原文描述,本站未进行复现。
本文为来源内容的中文摘要与整理,不代表原文全文翻译。完整信息请查阅来源原文。