云鲸加速器 v3.5 的主要更新
云鲸加速器(CloudCachier)是一款开源的机器学习模型加速器,专门针对TensorFlow和PyTorch框架,能够显著提升模型的推理速度和资源利用效率,截至2024年7月,云鲸加速器的最新版本是 v3.5,以下是其主要特点和改进:
自动化模型量化
支持自动化模型量化(Quantization Awareness),即使不熟悉量化的开发者也能轻松实现模型量化,显著减少模型的推理内存占用(例如从几GB降低到几百MB)。
多模型并行支持
提...