AMCT（昇腾模型压缩工具）与ATC（昇腾模型转换工具）是CANN生态中紧密配合的核心工具，前者负责模型压缩“瘦身”，后者负责模型转换“适配部署”，二者共同支撑昇腾NPU的高效推理，核心区别与协作流程如下。
一、核心定义与定位（小白速览）
| 工具 | 全称 | 核心作用 | 通俗比喻 | 典型场景 |
|---|---|---|---|---|
| AMCT | Ascend Model Compression Toolkit | 模型压缩（量化/剪枝/BN融合），降低参数量、显存占用、计算量，适配昇腾硬件 | 给模型“减肥”，让它更轻更快 | 部署前压缩ResNet/YOLO/LLM等模型，提升推理效率 |
| ATC | Ascend Tensor Compiler | 模型格式转换（PyTorch/TensorFlow→OM）+ 昇腾NPU算子编译优化 | 给模型“换装备”，适配NPU战场 | 压缩后模型转OM，编译生成NPU可执行指令 |
二、核心功能对比（细节拆解）
1. AMCT核心功能（压缩工具）
- 量化：训练后量化（PTQ）、量化感知训练（QAT）、混合精度，支持INT8/FP16等，适配昇腾NPU低精度计算单元。
- 模型优化：BN层融合、张量分解，减少计算量与内存访问。
- 精度保障：自动校准、异常值处理，压缩后精度损失通常＜1%。
- 生态兼容：支持PyTorch/TensorFlow/MindSpore，无缝对接CANN流程。
2. ATC核心功能（转换编译工具）
- 格式转换：将PyTorch的
.pth、TensorFlow的.pb等转为昇腾专属OM（Offline Model）格式。 - 算子编译：解析模型计算图，匹配昇腾NPU算子库，生成高效执行指令。
- 图优化：算子融合、内存复用、并行计算调度，最大化NPU硬件利用率。
- 部署适配：支持动态batch、多输入输出，适配不同昇腾芯片（310/910系列）。
三、协作流程（端到端部署步骤）
以你之前的ResNet18量化为例，AMCT与ATC的配合步骤如下：
- 模型准备：加载ResNet18，设为eval模式。
- AMCT压缩：用AMCT做训练后量化（PTQ），生成量化模型（
.pth），同时输出量化配置（config.json）。 - 模型导出：将量化后的PyTorch模型导出为ONNX（中间格式）。
- ATC转换编译：用ATC将ONNX转为OM，指定芯片型号、输入shape、精度模式（如INT8），生成NPU可执行模型。
- 推理部署：用昇腾推理引擎（如AscendCL）加载OM模型，在NPU上执行高效推理。
关键协作点：AMCT的量化配置会指导ATC在编译时正确处理低精度算子，确保压缩后的模型在NPU上精准执行，无精度/性能损失。
四、关键区别与避坑点（小白必看）
- 依赖关系：AMCT输出的量化模型/配置是ATC的输入之一，ATC需基于AMCT的压缩规则完成算子适配。
- 失败场景：
- 无AMCT：模型未压缩，直接用ATC转OM也能运行，但推理效率低（参数量/计算量大）。
- 无ATC：AMCT压缩后的模型无法转为OM，无法在昇腾NPU上执行（NPU只认OM格式）。
- 常见误区：
- 混淆功能：AMCT不负责格式转换，ATC不负责模型压缩，二者分工明确。
- 跳过AMCT：大模型（如LLM）不压缩会导致显存溢出，必须先用AMCT量化（如INT8）再转OM。
五、总结与协作口诀
- 协作逻辑：AMCT压缩→ATC转换编译→NPU高效推理，二者是昇腾部署的“黄金搭档”。
- 小白口诀：“先AMCT减肥，再ATC换装，NPU推理快如飞”。
需要我给你写一份ResNet18从AMCT量化→ATC转OM→NPU推理的完整可复制代码（含命令行参数）吗？
转载请注明出处