← 返回资讯列表

AI 与硬件

RLX:Rust 实现的多后端张量编译器与分布式运行时

RLX:Rust 实现的多后端张量编译器与分布式运行时
配图来源:Fluid Interfaces

完整中文导读

MIT Media Lab 的 RLX 项目用单一 Rust 代码库统一图编译与内核执行,基于三层中间表示和透明调度契约,将算子解析为原生、通用 IR 或重写降级,无法合法化时编译失败。同一 IR 面向十四种运行时设备(cpu、metal、mlx、ane、cuda、rocm、oneapi、tpu、hexagon、gpu、vulkan、opengl、directx、webgpu)及 Cortex-M INT8、FPGA 两条专用代码生成路径,支持 safetensors、GGUF、ONNX、rten 格式与 F16/BF16/F64/C64 及 INT4/INT8 量化流程(AMP/PTQ/QAT),并通过 TCP 与 RDMA 实现张量/流水线并行集合通信。

除神经网络外,还通过稀疏与稠密线性代数扩展(CSR LU/CG/matvec、LAPACK 分解)和 3D 高斯泼溅算子支持科学计算。在相同输入生成与 p50 测量下与 PyTorch、TensorFlow、JAX 等对比,all-MiniLM-L6-v2 上 RLX-Metal 各批次最快(batch 32 为 16.6 ms,PyTorch-MPS 为 26.7 ms),MNIST 训练中图融合 MLP 达 946,487 img/s,高于 NumPy+BLAS 的 787,349 img/s,并在 Qwen3 等参考检查中保持 100% top-1 一致。

本文为来源内容的中文摘要与整理,不代表原文全文翻译。完整信息请查阅来源原文。

打开来源原文 ↗返回资讯列表