基于 CANN 社区版 8.2.RC1 制作

Ascend C 算子开发

• 1. Ascend C简介
• 2. 环境准备
• 3. 快速入门
     • 3.1. HelloWorld
     • 3.2. 基于Kernel直调工程的算子开发
     • 3.3. 基于自定义算子工程的算子开发
• 4. 抽象硬件架构
• 5. 编程模型
     • 5.1. SPMD模型
     • 5.2. 核函数
     • 5.3. 编程范式
     • 5.4. 编程接口概述
• 6. 算子实现
     • 6.1. 概述
     • 6.2. 矢量编程
       • 6.2.1. 概述
       • 6.2.2. 基础矢量算子
       • 6.2.3. TBuf的使用
       • 6.2.4. 多核&Tiling切分
         • 6.2.4.1. 概述
         • 6.2.4.2. 多核Tiling
         • 6.2.4.3. 尾块Tiling
         • 6.2.4.4. 尾核Tiling
         • 6.2.4.5. 尾核&尾块
       • 6.2.5. DoubleBuffer场景
       • 6.2.6. Broadcast场景
       • 6.2.7. 非对齐场景
     • 6.3. 矩阵编程（高阶API）
       • 6.3.1. 基础知识
       • 6.3.2. 算子实现
       • 6.3.3. 特性场景
         • 6.3.3.1. Matmul特性介绍
         • 6.3.3.2. 多核对齐切分
         • 6.3.3.3. 多核非对齐切分
         • 6.3.3.4. 异步场景处理
         • 6.3.3.5. 矩阵乘输出的量化/反量化
         • 6.3.3.6. 矩阵乘输出的Channel拆分
         • 6.3.3.7. 矩阵向量乘
         • 6.3.3.8. 4:2稀疏矩阵乘
         • 6.3.3.9. TSCM输入的矩阵乘
         • 6.3.3.10. 矩阵乘输出的N方向对齐
         • 6.3.3.11. 单次矩阵乘局部输出
         • 6.3.3.12. AIC和AIV独立运行机制
         • 6.3.3.13. Batch Matmul基础功能
     • 6.4. 矩阵编程（基础API）
       • 6.4.1. 耦合架构
       • 6.4.2. 分离架构
     • 6.5. 融合算子编程
       • 6.5.1. 基础知识
       • 6.5.2. 算子实现
     • 6.6. Kernel直调算子开发
       • 6.6.1. 概述
       • 6.6.2. Kernel直调
       • 6.6.3. Pybind调用
     • 6.7. 工程化算子开发
       • 6.7.1. 概述
       • 6.7.2. 创建算子工程
       • 6.7.3. 算子原型定义
       • 6.7.4. Kernel侧算子实现
       • 6.7.5. Host侧tiling实现
       • 6.7.6. 算子包编译
         • 6.7.6.1. 算子工程编译
         • 6.7.6.2. 算子包部署
       • 6.7.7. 算子动态库编译
       • 6.7.8. 单算子API调用
• 7. 算子调试调优
     • 7.1. 孪生调试简介
     • 7.2. CPU域调试
     • 7.3. NPU域调试调优
• 8. 算子入图（GE图）开发
     • 8.1. 概述
     • 8.2. 开发流程
     • 8.3. Tiling下沉
     • 8.4. 图编译和图执行
• 9. AI框架算子适配
     • 9.1. 概述
     • 9.2. PyTorch框架
     • 9.3. ONNX框架
       • 9.3.1. 适配插件开发
       • 9.3.2. 调用样例
     • 9.4. TensorFlow框架
• 10. 概念原理和术语
      • 10.1. 术语表
      • 10.2. 神经网络和算子
        • 10.2.1. 算子基本概念
        • 10.2.2. 数据排布格式
      • 10.3. 硬件架构与数据处理原理
        • 10.3.1. 基本架构
        • 10.3.2. 计算单元
        • 10.3.3. 存储单元
        • 10.3.4. 控制单元
      • 10.4. 编程模型设计原理
      • 10.5. 性能优化技术原理
        • 10.5.1. DoubleBuffer
• 11. 常用操作
      • 11.1. 如何开发动态输入算子
      • 11.2. 如何在矢量编程时使能Vector Core
      • 11.3. 如何开发通算融合算子
      • 11.4. 如何使用Tensor高维切分计算API
      • 11.5. 如何使用归约指令
      • 11.6. 如何使用掩码操作API
      • 11.7. 如何使用workspace
      • 11.8. 如何进行Tiling调测
      • 11.9. 如何使用SPM Buffer
      • 11.10. 如何使用更底层编程方式提升算子性能
      • 11.11. 如何使用Tensor原地操作提升算子性能
• 12. 附录
      • 12.1. 简易自定义算子工程
      • 12.2. showkerneldebug_data工具
      • 12.3. msobjdump工具
• 13. FAQ
      • 13.1. 核函数运行验证时算子存在精度问题
      • 13.2. 运行验证时AllocTensor/FreeTensor失败
      • 13.3. kernel侧获取Tiling信息不正确
      • 13.4. Kernel编译时报错“error: out of jump/jumpc imm range”
      • 13.5. 使用跨版本的自定义算子包时，含有Matmul高阶API的算子存在编译或执行报错
      • 13.6. 含有Matmul高阶API的算子精度问题
      • 13.7. 算子工程编译时出现文件名过长报错
      • 13.8. 调用算子时出现无法打开config.ini的报错
      • 13.9. 算子包部署时出现权限不足报错

Ascend C API

• 1. Ascend C API列表
• 2. 通用约束
• 3. 数据类型定义
     • 3.1. LocalTensor
       • 3.1.1. 简介
       • 3.1.2. 构造函数
       • 3.1.3. SetValue
       • 3.1.4. GetValue
       • 3.1.5. operator[]
       • 3.1.6. operator()
       • 3.1.7. SetSize
       • 3.1.8. GetSize
       • 3.1.9. SetUserTag
       • 3.1.10. GetUserTag
       • 3.1.11. ReinterpretCast
       • 3.1.12. GetPhyAddr
       • 3.1.13. GetPosition
       • 3.1.14. GetLength
       • 3.1.15. SetShapeInfo
       • 3.1.16. GetShapeInfo
       • 3.1.17. SetAddrWithOffset
       • 3.1.18. SetBufferLen
       • 3.1.19. ToFile
       • 3.1.20. Print
     • 3.2. GlobalTensor
       • 3.2.1. 简介
       • 3.2.2. 构造函数
       • 3.2.3. SetGlobalBuffer
       • 3.2.4. GetPhyAddr
       • 3.2.5. GetValue
       • 3.2.6. operator()
       • 3.2.7. SetValue
       • 3.2.8. GetSize
       • 3.2.9. operator[]
       • 3.2.10. SetShapeInfo
       • 3.2.11. GetShapeInfo
       • 3.2.12. SetL2CacheHint
     • 3.3. ShapeInfo
     • 3.4. ListTensorDesc
     • 3.5. TensorDesc
       • 3.5.1. 简介
       • 3.5.2. 构造和析构函数
       • 3.5.3. SetShapeAddr
       • 3.5.4. GetDim
       • 3.5.5. GetIndex
       • 3.5.6. GetShape
       • 3.5.7. GetDataPtr
       • 3.5.8. GetDataObj
     • 3.6. TensorTrait
     • 3.7. Layout
       • 3.7.1. 简介
       • 3.7.2. 构造函数
       • 3.7.3. layout
       • 3.7.4. GetShape
       • 3.7.5. GetStride
       • 3.7.6. MakeShape
       • 3.7.7. MakeStride
       • 3.7.8. MakeLayout
       • 3.7.9. is_layout
     • 3.8. LocalMemAllocator
       • 3.8.1. 简介
       • 3.8.2. 构造函数
       • 3.8.3. GetCurAddr
       • 3.8.4. Alloc
     • 3.9. UnaryRepeatParams
     • 3.10. BinaryRepeatParams
• 4. 基础API
     • 4.1. 标量计算
       • 4.1.1. ScalarGetCountOfValue
       • 4.1.2. ScalarCountLeadingZero
       • 4.1.3. ScalarCast
       • 4.1.4. CountBitsCntSameAsSignBit
       • 4.1.5. ScalarGetSFFValue
       • 4.1.6. ToBfloat16
       • 4.1.7. ToFloat
     • 4.2. 矢量计算
       • 4.2.1. 单目指令
         • 4.2.1.1. Exp
         • 4.2.1.2. Ln
         • 4.2.1.3. Abs
         • 4.2.1.4. Reciprocal
         • 4.2.1.5. Sqrt
         • 4.2.1.6. Rsqrt
         • 4.2.1.7. Not
         • 4.2.1.8. Relu
         • 4.2.1.9. VectorPadding(ISASI)
         • 4.2.1.10. 更多样例
       • 4.2.2. 双目指令
         • 4.2.2.1. Add
         • 4.2.2.2. Sub
         • 4.2.2.3. Mul
         • 4.2.2.4. Div
         • 4.2.2.5. Max
         • 4.2.2.6. Min
         • 4.2.2.7. And
         • 4.2.2.8. Or
         • 4.2.2.9. AddRelu
         • 4.2.2.10. AddReluCast
         • 4.2.2.11. AddDeqRelu
         • 4.2.2.12. SubRelu
         • 4.2.2.13. SubReluCast
         • 4.2.2.14. MulAddDst
         • 4.2.2.15. MulCast
         • 4.2.2.16. FusedMulAdd
         • 4.2.2.17. FusedMulAddRelu
         • 4.2.2.18. BilinearInterpolation(ISASI)
         • 4.2.2.19. 更多样例
       • 4.2.3. 标量双目指令
         • 4.2.3.1. Adds
         • 4.2.3.2. Muls
         • 4.2.3.3. Maxs
         • 4.2.3.4. Mins
         • 4.2.3.5. ShiftLeft
         • 4.2.3.6. ShiftRight
         • 4.2.3.7. LeakyRelu
         • 4.2.3.8. 更多样例
       • 4.2.4. 标量三目指令
         • 4.2.4.1. Axpy
         • 4.2.4.2. 更多样例
       • 4.2.5. 比较指令
         • 4.2.5.1. Compare
         • 4.2.5.2. Compare（结果存入寄存器）
         • 4.2.5.3. CompareScalar
         • 4.2.5.4. GetCmpMask(ISASI)
         • 4.2.5.5. SetCmpMask(ISASI)
       • 4.2.6. 选择指令
         • 4.2.6.1. Select
         • 4.2.6.2. GatherMask
       • 4.2.7. 精度转换指令
         • 4.2.7.1. Cast
         • 4.2.7.2. CastDeq
       • 4.2.8. 归约指令
         • 4.2.8.1. ReduceMax
         • 4.2.8.2. ReduceMin
         • 4.2.8.3. ReduceSum
         • 4.2.8.4. WholeReduceMax
         • 4.2.8.5. WholeReduceMin
         • 4.2.8.6. WholeReduceSum
         • 4.2.8.7. BlockReduceMax
         • 4.2.8.8. BlockReduceMin
         • 4.2.8.9. BlockReduceSum
         • 4.2.8.10. PairReduceSum
         • 4.2.8.11. RepeatReduceSum
         • 4.2.8.12. GetAccVal(ISASI)
         • 4.2.8.13. GetReduceMaxMinCount(ISASI)
       • 4.2.9. 数据转换
         • 4.2.9.1. Transpose
         • 4.2.9.2. TransDataTo5HD
       • 4.2.10. 数据填充
         • 4.2.10.1. Duplicate
         • 4.2.10.2. Brcb
         • 4.2.10.3. CreateVecIndex
       • 4.2.11. 排序组合(ISASI)
         • 4.2.11.1. ProposalConcat
         • 4.2.11.2. ProposalExtract
         • 4.2.11.3. RpSort16
         • 4.2.11.4. MrgSort4
         • 4.2.11.5. Sort32
         • 4.2.11.6. MrgSort
         • 4.2.11.7. GetMrgSortResult
       • 4.2.12. 数据分散/数据收集
         • 4.2.12.1. Gather
         • 4.2.12.2. Gatherb(ISASI)
         • 4.2.12.3. Scatter(ISASI)
       • 4.2.13. 掩码操作
         • 4.2.13.1. SetMaskCount
         • 4.2.13.2. SetMaskNorm
         • 4.2.13.3. SetVectorMask
         • 4.2.13.4. ResetMask
       • 4.2.14. 量化设置
         • 4.2.14.1. SetDeqScale
     • 4.3. 数据搬运
       • 4.3.1. DataCopy
         • 4.3.1.1. 普通数据搬运
         • 4.3.1.2. 增强数据搬运
         • 4.3.1.3. 切片数据搬运
         • 4.3.1.4. 随路格式转换
       • 4.3.2. Copy
       • 4.3.3. DataCopyPad(ISASI)
       • 4.3.4. SetPadValue(ISASI)
       • 4.3.5. SetFixPipeConfig(ISASI)
       • 4.3.6. SetFixpipeNz2ndFlag(ISASI)
       • 4.3.7. SetFixpipePreQuantFlag(ISASI)
       • 4.3.8. SetFixPipeClipRelu(ISASI)
       • 4.3.9. SetFixPipeAddr(ISASI)
     • 4.4. 内存管理与同步控制
       • 4.4.1. TPipe
         • 4.4.1.1. TPipe构造函数
         • 4.4.1.2. Init
         • 4.4.1.3. Destroy
         • 4.4.1.4. InitBuffer
         • 4.4.1.5. Reset
         • 4.4.1.6. AllocEventID
         • 4.4.1.7. ReleaseEventID
         • 4.4.1.8. FetchEventID
         • 4.4.1.9. GetBaseAddr
         • 4.4.1.10. InitBufPool
       • 4.4.2. GetTPipePtr
       • 4.4.3. TBufPool
         • 4.4.3.1. 简介
         • 4.4.3.2. 构造函数
         • 4.4.3.3. InitBufPool
         • 4.4.3.4. InitBuffer
         • 4.4.3.5. Reset
       • 4.4.4. 自定义TBufPool
         • 4.4.4.1. EXTERNIMPLBUFPOOL宏
         • 4.4.4.2. Reset
         • 4.4.4.3. Init
         • 4.4.4.4. GetBufHandle
         • 4.4.4.5. SetCurAddr
         • 4.4.4.6. GetCurAddr
         • 4.4.4.7. SetCurBufSize
         • 4.4.4.8. GetCurBufSize
       • 4.4.5. TQue
         • 4.4.5.1. 简介
         • 4.4.5.2. AllocTensor
         • 4.4.5.3. FreeTensor
         • 4.4.5.4. EnQue
         • 4.4.5.5. DeQue
         • 4.4.5.6. VacantInQue
         • 4.4.5.7. HasTensorInQue
         • 4.4.5.8. GetTensorCountInQue
         • 4.4.5.9. HasIdleBuffer
       • 4.4.6. TQueBind
         • 4.4.6.1. 简介
         • 4.4.6.2. 构造函数
         • 4.4.6.3. AllocTensor
         • 4.4.6.4. FreeTensor
         • 4.4.6.5. EnQue
         • 4.4.6.6. DeQue
         • 4.4.6.7. VacantInQue
         • 4.4.6.8. HasTensorInQue
         • 4.4.6.9. GetTensorCountInQue
         • 4.4.6.10. HasIdleBuffer
         • 4.4.6.11. FreeAllEvent
         • 4.4.6.12. InitBufHandle
         • 4.4.6.13. InitStartBufHandle
       • 4.4.7. TBuf
         • 4.4.7.1. TBuf简介
         • 4.4.7.2. 构造函数
         • 4.4.7.3. Get
         • 4.4.7.4. GetWithOffset
       • 4.4.8. SPM Buffer
         • 4.4.8.1. InitSpmBuffer
         • 4.4.8.2. WriteSpmBuffer
         • 4.4.8.3. ReadSpmBuffer
       • 4.4.9. workspace
         • 4.4.9.1. GetSysWorkSpacePtr
         • 4.4.9.2. SetSysWorkSpace
         • 4.4.9.3. GetUserWorkspace
       • 4.4.10. 核内同步
         • 4.4.10.1. TQueSync
           • 4.4.10.1.1. 同步控制简介
           • 4.4.10.1.2. 模板参数
           • 4.4.10.1.3. SetFlag/WaitFlag
         • 4.4.10.2. SetFlag/WaitFlag(ISASI)
         • 4.4.10.3. PipeBarrier(ISASI)
         • 4.4.10.4. DataSyncBarrier(ISASI)
       • 4.4.11. 核间同步
         • 4.4.11.1. IBSet
         • 4.4.11.2. IBWait
         • 4.4.11.3. SyncAll
         • 4.4.11.4. CrossCoreSetFlag(ISASI)
         • 4.4.11.5. CrossCoreWaitFlag(ISASI)
         • 4.4.11.6. InitDetermineComputeWorkspace
         • 4.4.11.7. NotifyNextBlock
         • 4.4.11.8. WaitPreBlock
       • 4.4.12. 任务间同步
         • 4.4.12.1. SetNextTaskStart
         • 4.4.12.2. WaitPreTaskEnd
       • 4.4.13. TPosition
     • 4.5. 缓存处理
       • 4.5.1. DataCachePreload
       • 4.5.2. DataCacheCleanAndInvalid
       • 4.5.3. ICachePreLoad(ISASI)
       • 4.5.4. GetICachePreloadStatus(ISASI)
     • 4.6. 系统变量访问
       • 4.6.1. GetBlockNum
       • 4.6.2. GetBlockIdx
       • 4.6.3. GetDataBlockSizeInBytes
       • 4.6.4. GetArchVersion
       • 4.6.5. GetTaskRation
       • 4.6.6. InitSocState
       • 4.6.7. GetProgramCounter(ISASI)
       • 4.6.8. GetSubBlockNum(ISASI)
       • 4.6.9. GetSubBlockIdx(ISASI)
       • 4.6.10. GetSystemCycle(ISASI)
     • 4.7. 原子操作
       • 4.7.1. SetAtomicAdd
       • 4.7.2. SetAtomicType
       • 4.7.3. SetAtomicNone
       • 4.7.4. SetAtomicMax(ISASI)
       • 4.7.5. SetAtomicMin(ISASI)
       • 4.7.6. SetStoreAtomicConfig(ISASI)
       • 4.7.7. GetStoreAtomicConfig(ISASI)
     • 4.8. 矩阵计算(ISASI)
       • 4.8.1. InitConstValue
       • 4.8.2. LoadData
       • 4.8.3. LoadDataWithTranspose
       • 4.8.4. SetAippFunctions
       • 4.8.5. LoadImageToLocal
       • 4.8.6. LoadUnzipIndex
       • 4.8.7. LoadDataUnzip
       • 4.8.8. LoadDataWithSparse
       • 4.8.9. SetFmatrix
       • 4.8.10. SetLoadDataBoundary
       • 4.8.11. SetLoadDataRepeat
       • 4.8.12. SetLoadDataPaddingValue
       • 4.8.13. Mmad
       • 4.8.14. MmadWithSparse
       • 4.8.15. Fixpipe
       • 4.8.16. SetHF32Mode
       • 4.8.17. SetHF32TransMode
       • 4.8.18. SetMMLayoutTransform
       • 4.8.19. CheckLocalMemoryIA
       • 4.8.20. Conv2D
       • 4.8.21. Gemm
     • 4.9. 资源管理(ISASI)
       • 4.9.1. CubeResGroupHandle
         • 4.9.1.1. 使用说明
         • 4.9.1.2. CubeResGroupHandle构造函数
         • 4.9.1.3. CreateCubeResGroup
         • 4.9.1.4. AssignQueue
         • 4.9.1.5. AllocMessage
         • 4.9.1.6. PostMessage
         • 4.9.1.7. PostFakeMsg
         • 4.9.1.8. SetQuit
         • 4.9.1.9. Wait
         • 4.9.1.10. FreeMessage
         • 4.9.1.11. SetSkipMsg
       • 4.9.2. GroupBarrier
         • 4.9.2.1. 使用说明
         • 4.9.2.2. GroupBarrier构造函数
         • 4.9.2.3. Arrive
         • 4.9.2.4. Wait
         • 4.9.2.5. GetWorkspaceLen
       • 4.9.3. KfcWorkspace
         • 4.9.3.1. 构造函数与析构函数
         • 4.9.3.2. UpdateKfcWorkspace
         • 4.9.3.3. GetKfcWorkspace
     • 4.10. Kernel Tiling
       • 4.10.1. GETTILINGDATA
       • 4.10.2. GETTILINGDATAWITHSTRUCT
       • 4.10.3. GETTILINGDATA_MEMBER
       • 4.10.4. TILINGKEYIS
       • 4.10.5. REGISTERTILINGDEFAULT
       • 4.10.6. REGISTERTILINGFOR_TILINGKEY
       • 4.10.7. 设置kernel类型
• 5. 高阶API
     • 5.1. 数学库
       • 5.1.1. Tanh
         • 5.1.1.1. Tanh
         • 5.1.1.2. GetTanhMaxMinTmpSize
         • 5.1.1.3. GetTanhTmpBufferFactorSize
       • 5.1.2. Asin
         • 5.1.2.1. Asin
         • 5.1.2.2. GetAsinMaxMinTmpSize
         • 5.1.2.3. GetAsinTmpBufferFactorSize
       • 5.1.3. Sin
         • 5.1.3.1. Sin
         • 5.1.3.2. GetSinMaxMinTmpSize
         • 5.1.3.3. GetSinTmpBufferFactorSize
       • 5.1.4. Acos
         • 5.1.4.1. Acos
         • 5.1.4.2. GetAcosMaxMinTmpSize
         • 5.1.4.3. GetAcosTmpBufferFactorSize
       • 5.1.5. Cos
         • 5.1.5.1. Cos
         • 5.1.5.2. GetCosMaxMinTmpSize
         • 5.1.5.3. GetCosTmpBufferFactorSize
       • 5.1.6. Log
         • 5.1.6.1. Log
         • 5.1.6.2. GetLogMaxMinTmpSize
         • 5.1.6.3. GetLogTmpBufferFactorSize
       • 5.1.7. Atan
         • 5.1.7.1. Atan
         • 5.1.7.2. GetAtanMaxMinTmpSize
         • 5.1.7.3. GetAtanTmpBufferFactorSize
       • 5.1.8. Power
         • 5.1.8.1. Power
         • 5.1.8.2. GetPowerMaxMinTmpSize
         • 5.1.8.3. GetPowerTmpBufferFactorSize
       • 5.1.9. Sinh
         • 5.1.9.1. Sinh
         • 5.1.9.2. GetSinhMaxMinTmpSize
         • 5.1.9.3. GetSinhTmpBufferFactorSize
       • 5.1.10. Cosh
         • 5.1.10.1. Cosh
         • 5.1.10.2. GetCoshMaxMinTmpSize
         • 5.1.10.3. GetCoshTmpBufferFactorSize
       • 5.1.11. Tan
         • 5.1.11.1. Tan
         • 5.1.11.2. GetTanMaxMinTmpSize
         • 5.1.11.3. GetTanTmpBufferFactorSize
       • 5.1.12. Trunc
         • 5.1.12.1. Trunc
         • 5.1.12.2. GetTruncMaxMinTmpSize
         • 5.1.12.3. GetTruncTmpBufferFactorSize
       • 5.1.13. Frac
         • 5.1.13.1. Frac
         • 5.1.13.2. GetFracMaxMinTmpSize
         • 5.1.13.3. GetFracTmpBufferFactorSize
       • 5.1.14. Erf
         • 5.1.14.1. Erf
         • 5.1.14.2. GetErfMaxMinTmpSize
         • 5.1.14.3. GetErfTmpBufferFactorSize
       • 5.1.15. Erfc
         • 5.1.15.1. Erfc
         • 5.1.15.2. GetErfcMaxMinTmpSize
         • 5.1.15.3. GetErfcTmpBufferFactorSize
       • 5.1.16. Sign
         • 5.1.16.1. Sign
         • 5.1.16.2. GetSignMaxMinTmpSize
         • 5.1.16.3. GetSignTmpBufferFactorSize
       • 5.1.17. Atanh
         • 5.1.17.1. Atanh
         • 5.1.17.2. GetAtanhMaxMinTmpSize
         • 5.1.17.3. GetAtanhTmpBufferFactorSize
       • 5.1.18. Asinh
         • 5.1.18.1. Asinh
         • 5.1.18.2. GetAsinhMaxMinTmpSize
         • 5.1.18.3. GetAsinhTmpBufferFactorSize
       • 5.1.19. Acosh
         • 5.1.19.1. Acosh
         • 5.1.19.2. GetAcoshMaxMinTmpSize
         • 5.1.19.3. GetAcoshTmpBufferFactorSize
       • 5.1.20. Floor
         • 5.1.20.1. Floor
         • 5.1.20.2. GetFloorMaxMinTmpSize
         • 5.1.20.3. GetFloorTmpBufferFactorSize
       • 5.1.21. Ceil
         • 5.1.21.1. Ceil
         • 5.1.21.2. GetCeilMaxMinTmpSize
         • 5.1.21.3. GetCeilTmpBufferFactorSize
       • 5.1.22. Clamp
         • 5.1.22.1. ClampMax
         • 5.1.22.2. ClampMin
         • 5.1.22.3. GetClampMaxMinTmpSize
         • 5.1.22.4. GetClampTmpBufferFactorSize
       • 5.1.23. Round
         • 5.1.23.1. Round
         • 5.1.23.2. GetRoundMaxMinTmpSize
         • 5.1.23.3. GetRoundTmpBufferFactorSize
       • 5.1.24. Axpy
         • 5.1.24.1. Axpy
         • 5.1.24.2. GetAxpyMaxMinTmpSize
         • 5.1.24.3. GetAxpyTmpBufferFactorSize
       • 5.1.25. Exp
         • 5.1.25.1. Exp
         • 5.1.25.2. GetExpMaxMinTmpSize
         • 5.1.25.3. GetExpTmpBufferFactorSize
       • 5.1.26. Lgamma
         • 5.1.26.1. Lgamma
         • 5.1.26.2. GetLgammaMaxMinTmpSize
         • 5.1.26.3. GetLgammaTmpBufferFactorSize
       • 5.1.27. Digamma
         • 5.1.27.1. Digamma
         • 5.1.27.2. GetDigammaMaxMinTmpSize
         • 5.1.27.3. GetDigammaTmpBufferFactorSize
       • 5.1.28. Xor
         • 5.1.28.1. Xor
         • 5.1.28.2. GetXorMaxMinTmpSize
         • 5.1.28.3. GetXorTmpBufferFactorSize
       • 5.1.29. CumSum
         • 5.1.29.1. CumSum
         • 5.1.29.2. GetCumSumMaxMinTmpSize
       • 5.1.30. Fmod
         • 5.1.30.1. Fmod
         • 5.1.30.2. GetFmodMaxMinTmpSize
         • 5.1.30.3. GetFmodTmpBufferFactorSize
       • 5.1.31. 更多样例
     • 5.2. Matmul
       • 5.2.1. Matmul
         • 5.2.1.1. 使用说明
         • 5.2.1.2. Matmul模板参数
         • 5.2.1.3. MatmulConfig
         • 5.2.1.4. MatmulCallBackFunc
         • 5.2.1.5. MatmulPolicy
         • 5.2.1.6. Matmul特性场景
         • 5.2.1.7. GetNormalConfig
         • 5.2.1.8. GetMDLConfig
         • 5.2.1.9. GetSpecialMDLConfig
         • 5.2.1.10. GetIBShareNormConfig
         • 5.2.1.11. GetBasicConfig
         • 5.2.1.12. GetSpecialBasicConfig
         • 5.2.1.13. GetMMConfig
         • 5.2.1.14. REGISTMATMULOBJ
         • 5.2.1.15. Init
         • 5.2.1.16. SetTensorA
         • 5.2.1.17. SetTensorB
         • 5.2.1.18. SetBias
         • 5.2.1.19. DisableBias
         • 5.2.1.20. GetBatchTensorC
         • 5.2.1.21. Iterate
         • 5.2.1.22. GetTensorC
         • 5.2.1.23. IterateAll
         • 5.2.1.24. WaitIterateAll
         • 5.2.1.25. IterateBatch
         • 5.2.1.26. WaitIterateBatch
         • 5.2.1.27. IterateNBatch
         • 5.2.1.28. End
         • 5.2.1.29. SetHF32
         • 5.2.1.30. SetTail
         • 5.2.1.31. SetBatchNum
         • 5.2.1.32. SetQuantScalar
         • 5.2.1.33. SetQuantVector
         • 5.2.1.34. SetOrgShape
         • 5.2.1.35. SetSingleShape
         • 5.2.1.36. SetLocalWorkspace
         • 5.2.1.37. SetWorkspace
         • 5.2.1.38. SetAntiQuantScalar
         • 5.2.1.39. SetAntiQuantVector
         • 5.2.1.40. WaitGetTensorC
         • 5.2.1.41. GetOffsetC
         • 5.2.1.42. AsyncGetTensorC
         • 5.2.1.43. SetUserDefInfo
         • 5.2.1.44. SetSelfDefineData
         • 5.2.1.45. GetMatmulApiTiling
         • 5.2.1.46. ClearBias
         • 5.2.1.47. GetBatchC
         • 5.2.1.48. SetSparseIndex
       • 5.2.2. Matmul Tiling
         • 5.2.2.1. Matmul Tiling类
           • 5.2.2.1.1. 使用说明
           • 5.2.2.1.2. 构造函数
           • 5.2.2.1.3. TCubeTiling结构体
           • 5.2.2.1.4. SetAType
           • 5.2.2.1.5. SetBType
           • 5.2.2.1.6. SetCType
           • 5.2.2.1.7. SetBiasType
           • 5.2.2.1.8. SetSingleShape
           • 5.2.2.1.9. SetShape
           • 5.2.2.1.10. SetOrgShape
           • 5.2.2.1.11. SetFixSplit
           • 5.2.2.1.12. EnableMultiCoreSplitK
           • 5.2.2.1.13. EnableBias
           • 5.2.2.1.14. SetBufferSpace
           • 5.2.2.1.15. SetTraverse
           • 5.2.2.1.16. SetMadType
           • 5.2.2.1.17. SetSplitRange
           • 5.2.2.1.18. SetDoubleBuffer
           • 5.2.2.1.19. GetBaseM
           • 5.2.2.1.20. GetBaseN
           • 5.2.2.1.21. GetBaseK
           • 5.2.2.1.22. GetTiling
           • 5.2.2.1.23. SetDim
           • 5.2.2.1.24. SetSingleRange
           • 5.2.2.1.25. GetSingleShape
           • 5.2.2.1.26. GetCoreNum
           • 5.2.2.1.27. SetAlignSplit
           • 5.2.2.1.28. SetDequantType
           • 5.2.2.1.29. SetALayout
           • 5.2.2.1.30. SetBLayout
           • 5.2.2.1.31. SetCLayout
           • 5.2.2.1.32. SetBatchNum
           • 5.2.2.1.33. SetBatchInfoForNormal
           • 5.2.2.1.34. SetMatmulConfigParams
           • 5.2.2.1.35. SetBias
           • 5.2.2.1.36. SetSplitK
           • 5.2.2.1.37. SetSparse
         • 5.2.2.2. 获取Matmul计算所需空间
           • 5.2.2.2.1. MultiCoreMatmulGetTmpBufSize
           • 5.2.2.2.2. MultiCoreMatmulGetTmpBufSizeV2
           • 5.2.2.2.3. BatchMatmulGetTmpBufSize
           • 5.2.2.2.4. BatchMatmulGetTmpBufSizeV2
           • 5.2.2.2.5. MatmulGetTmpBufSize
           • 5.2.2.2.6. MatmulGetTmpBufSizeV2
     • 5.3. 激活函数
       • 5.3.1. SoftMax
         • 5.3.1.1. SoftMax
         • 5.3.1.2. SimpleSoftMax
         • 5.3.1.3. SoftmaxFlash
         • 5.3.1.4. SoftmaxGrad
         • 5.3.1.5. SoftmaxFlashV2
         • 5.3.1.6. SoftmaxFlashV3
         • 5.3.1.7. SoftmaxGradFront
         • 5.3.1.8. AdjustSoftMaxRes
         • 5.3.1.9. SoftMax Tiling使用说明
         • 5.3.1.10. SoftMax/SimpleSoftMax Tiling
         • 5.3.1.11. SoftmaxFlash Tiling接口
         • 5.3.1.12. SoftmaxGrad Tiling接口
         • 5.3.1.13. SoftmaxFlashV2 Tiling接口
         • 5.3.1.14. SoftmaxFlashV3 Tiling接口
         • 5.3.1.15. IsBasicBlockInSoftMax
       • 5.3.2. LogSoftMax
         • 5.3.2.1. LogSoftMax
         • 5.3.2.2. LogSoftMax Tiling
       • 5.3.3. Gelu
         • 5.3.3.1. Gelu
         • 5.3.3.2. FasterGelu
         • 5.3.3.3. FasterGeluV2
         • 5.3.3.4. GetGeluMaxMinTmpSize
       • 5.3.4. SwiGLU
         • 5.3.4.1. SwiGLU
         • 5.3.4.2. GetSwiGLUMaxMinTmpSize
         • 5.3.4.3. GetSwiGLUTmpBufferFactorSize
       • 5.3.5. Silu
         • 5.3.5.1. Silu
         • 5.3.5.2. GetSiluTmpSize
       • 5.3.6. Swish
         • 5.3.6.1. Swish
         • 5.3.6.2. GetSwishTmpSize
       • 5.3.7. GeGLU
         • 5.3.7.1. GeGLU
         • 5.3.7.2. GetGeGLUMaxMinTmpSize
         • 5.3.7.3. GetGeGLUTmpBufferFactorSize
       • 5.3.8. ReGlu
         • 5.3.8.1. ReGlu
         • 5.3.8.2. GetReGluMaxMinTmpSize
       • 5.3.9. Sigmoid
         • 5.3.9.1. Sigmoid
         • 5.3.9.2. GetSigmoidMaxMinTmpSize
     • 5.4. 数据归一化
       • 5.4.1. LayerNorm
         • 5.4.1.1. LayerNorm
         • 5.4.1.2. LayerNormGrad
         • 5.4.1.3. LayerNormGradBeta
       • 5.4.2. LayerNorm Tiling
         • 5.4.2.1. LayerNorm Tiling
         • 5.4.2.2. LayerNormGrad Tiling
         • 5.4.2.3. LayerNormGradBeta Tiling
       • 5.4.3. RmsNorm
       • 5.4.4. RmsNorm Tiling
       • 5.4.5. BatchNorm
       • 5.4.6. BatchNorm Tiling
       • 5.4.7. DeepNorm
       • 5.4.8. DeepNorm Tiling
       • 5.4.9. Normalize
       • 5.4.10. Normalize Tiling
       • 5.4.11. WelfordUpdate
       • 5.4.12. WelfordUpdate Tiling
       • 5.4.13. WelfordFinalize
       • 5.4.14. WelfordFinalize Tiling
       • 5.4.15. GroupNorm
       • 5.4.16. GroupNorm Tiling
     • 5.5. 量化反量化
       • 5.5.1. AscendQuant
       • 5.5.2. GetAscendQuantMaxMinTmpSize
       • 5.5.3. AscendDequant
       • 5.5.4. GetAscendDequantMaxMinTmpSize
       • 5.5.5. AscendAntiQuant
       • 5.5.6. GetAscendAntiQuantMaxMinTmpSize
     • 5.6. 归约操作
       • 5.6.1. Sum
         • 5.6.1.1. Sum
         • 5.6.1.2. GetSumMaxMinTmpSize
       • 5.6.2. Mean
         • 5.6.2.1. Mean
         • 5.6.2.2. GetMeanMaxMinTmpSize
         • 5.6.2.3. GetMeanTmpBufferFactorSize
       • 5.6.3. ReduceXorSum
         • 5.6.3.1. ReduceXorSum
         • 5.6.3.2. GetReduceXorSumMaxMinTmpSize
       • 5.6.4. ReduceSum
         • 5.6.4.1. ReduceSum
         • 5.6.4.2. GetReduceSumMaxMinTmpSize
       • 5.6.5. ReduceMean
         • 5.6.5.1. ReduceMean
         • 5.6.5.2. GetReduceMeanMaxMinTmpSize
       • 5.6.6. ReduceMax
         • 5.6.6.1. ReduceMax
         • 5.6.6.2. GetReduceMaxMaxMinTmpSize
       • 5.6.7. ReduceMin
         • 5.6.7.1. ReduceMin
         • 5.6.7.2. GetReduceMinMaxMinTmpSize
       • 5.6.8. ReduceAny
         • 5.6.8.1. ReduceAny
         • 5.6.8.2. GetReduceAnyMaxMinTmpSize
       • 5.6.9. ReduceAll
         • 5.6.9.1. ReduceAll
         • 5.6.9.2. GetReduceAllMaxMinTmpSize
       • 5.6.10. ReduceProd
         • 5.6.10.1. ReduceProd
         • 5.6.10.2. GetReduceProdMaxMinTmpSize
     • 5.7. 排序
       • 5.7.1. TopK
       • 5.7.2. TopK Tiling
       • 5.7.3. Sort
         • 5.7.3.1. Concat
         • 5.7.3.2. GetConcatTmpSize
         • 5.7.3.3. Extract
         • 5.7.3.4. Sort
         • 5.7.3.5. GetSortTmpSize
         • 5.7.3.6. GetSortOffset
         • 5.7.3.7. GetSortLen
         • 5.7.3.8. MrgSort
     • 5.8. 数据填充
       • 5.8.1. Pad
       • 5.8.2. Pad Tiling
       • 5.8.3. UnPad
       • 5.8.4. UnPad Tiling
       • 5.8.5. Broadcast
       • 5.8.6. GetBroadCastMaxMinTmpSize
     • 5.9. 索引操作
       • 5.9.1. ArithProgression
       • 5.9.2. GetArithProgressionMaxMinTmpSize
     • 5.10. 比较选择
       • 5.10.1. SelectWithBytesMask
       • 5.10.2. GetSelectWithBytesMaskMaxMinTmpSize
     • 5.11. 数据过滤
       • 5.11.1. DropOut
       • 5.11.2. GetDropOutMaxMinTmpSize
     • 5.12. 变形
       • 5.12.1. ConfusionTranspose
       • 5.12.2. ConfusionTranspose Tiling
       • 5.12.3. TransData
       • 5.12.4. GetTransDataMaxMinTmpSize
     • 5.13. Hccl
       • 5.13.1. Hccl
         • 5.13.1.1. 使用说明
         • 5.13.1.2. Hccl模板参数
         • 5.13.1.3. Init
         • 5.13.1.4. SetCcTiling
         • 5.13.1.5. AllReduce
         • 5.13.1.6. AllGather
         • 5.13.1.7. ReduceScatter
         • 5.13.1.8. AlltoAll
         • 5.13.1.9. AlltoAllV
         • 5.13.1.10. BatchWrite
         • 5.13.1.11. Commit
         • 5.13.1.12. Wait
         • 5.13.1.13. Iterate
         • 5.13.1.14. Query
         • 5.13.1.15. InterHcclGroupSync
         • 5.13.1.16. Finalize
         • 5.13.1.17. GetWindowsInAddr
         • 5.13.1.18. GetWindowsOutAddr
         • 5.13.1.19. GetRankId
         • 5.13.1.20. GetRankDim
       • 5.13.2. Hccl Tiling
         • 5.13.2.1. 使用说明
         • 5.13.2.2. TilingData结构体
         • 5.13.2.3. 构造函数
         • 5.13.2.4. GetTiling
         • 5.13.2.5. SetOpType
         • 5.13.2.6. SetGroupName
         • 5.13.2.7. SetAlgConfig
         • 5.13.2.8. SetReduceType
         • 5.13.2.9. SetStepSize
         • 5.13.2.10. SetSkipLocalRankCopy
         • 5.13.2.11. SetSkipBufferWindowCopy
         • 5.13.2.12. SetDebugMode
         • 5.13.2.13. v1版本TilingData（废弃）
         • 5.13.2.14. v2版本TilingData（废弃）
       • 5.13.3. Hccl Context
         • 5.13.3.1. 简介
         • 5.13.3.2. SetHcclContext
         • 5.13.3.3. GetHcclContext
     • 5.14. 工具类
       • 5.14.1. InitGlobalMemory
     • 5.15. 卷积正向
       • 5.15.1. Conv3D
         • 5.15.1.1. Conv3D
           • 5.15.1.1.1. 使用说明
           • 5.15.1.1.2. Conv3D模板参数
           • 5.15.1.1.3. Init
           • 5.15.1.1.4. SetInput
           • 5.15.1.1.5. SetWeight
           • 5.15.1.1.6. SetBias
           • 5.15.1.1.7. SetSingleOutputShape
           • 5.15.1.1.8. SetInputStartPosition
           • 5.15.1.1.9. IterateAll
           • 5.15.1.1.10. End
         • 5.15.1.2. Conv3D Tiling
           • 5.15.1.2.1. 使用说明
           • 5.15.1.2.2. 构造函数
           • 5.15.1.2.3. TConv3DApiTiling结构体
           • 5.15.1.2.4. GetTiling
           • 5.15.1.2.5. SetOrgWeightShape
           • 5.15.1.2.6. SetOrgInputShape
           • 5.15.1.2.7. SetSingleWeightShape
           • 5.15.1.2.8. SetSingleOutputShape
           • 5.15.1.2.9. SetInputType
           • 5.15.1.2.10. SetWeightType
           • 5.15.1.2.11. SetBiasType
           • 5.15.1.2.12. SetOutputType
           • 5.15.1.2.13. SetPadding
           • 5.15.1.2.14. SetDilation
           • 5.15.1.2.15. SetStride
           • 5.15.1.2.16. SetGroups
     • 5.16. 卷积反向
       • 5.16.1. Conv3DBackpropInput
         • 5.16.1.1. Conv3DBackpropInput
           • 5.16.1.1.1. 使用说明
           • 5.16.1.1.2. Init
           • 5.16.1.1.3. SetGradOutput
           • 5.16.1.1.4. SetWeight
           • 5.16.1.1.5. SetSingleShape
           • 5.16.1.1.6. SetStartPosition
           • 5.16.1.1.7. Iterate
           • 5.16.1.1.8. GetTensorC
           • 5.16.1.1.9. End
         • 5.16.1.2. Conv3DBackpropInput Tiling
           • 5.16.1.2.1. 使用说明
           • 5.16.1.2.2. 构造函数
           • 5.16.1.2.3. TConv3DBackpropInputTiling结构体
           • 5.16.1.2.4. GetTiling
           • 5.16.1.2.5. SetWeightShape
           • 5.16.1.2.6. SetInputShape
           • 5.16.1.2.7. SetGradOutputShape
           • 5.16.1.2.8. SetWeightType
           • 5.16.1.2.9. SetInputType
           • 5.16.1.2.10. SetGradOutputType
           • 5.16.1.2.11. SetPadding
           • 5.16.1.2.12. SetStride
           • 5.16.1.2.13. SetDilation
           • 5.16.1.2.14. SetOutputPadding
       • 5.16.2. Conv3DBackpropFilter
         • 5.16.2.1. Conv3DBackpropFilter
           • 5.16.2.1.1. 使用说明
           • 5.16.2.1.2. Init
           • 5.16.2.1.3. SetInput
           • 5.16.2.1.4. SetGradOutput
           • 5.16.2.1.5. SetSingleShape
           • 5.16.2.1.6. SetStartPosition
           • 5.16.2.1.7. Iterate
           • 5.16.2.1.8. GetTensorC
           • 5.16.2.1.9. End
         • 5.16.2.2. Conv3DBackpropFilter Tiling
           • 5.16.2.2.1. 使用说明
           • 5.16.2.2.2. 构造函数
           • 5.16.2.2.3. TConv3DBpFilterTiling结构体
           • 5.16.2.2.4. GetTiling
           • 5.16.2.2.5. SetWeightShape
           • 5.16.2.2.6. SetInputShape
           • 5.16.2.2.7. SetGradOutputShape
           • 5.16.2.2.8. SetWeightType
           • 5.16.2.2.9. SetInputType
           • 5.16.2.2.10. SetGradOutputType
           • 5.16.2.2.11. SetPadding
           • 5.16.2.2.12. SetStride
           • 5.16.2.2.13. SetDilation
     • 5.17. 模板库函数
       • 5.17.1. max
       • 5.17.2. min
       • 5.17.3. index_sequence
       • 5.17.4. 容器函数
         • 5.17.4.1. tuple
         • 5.17.4.2. get
         • 5.17.4.3. make_tuple
       • 5.17.5. typetraits
         • 5.17.5.1. [is
         convertible](https://www.hiascend.com/doccenter/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi0710114.html)
         • 5.17.5.2. isbaseof
         • 5.17.5.3. is_same
         • 5.17.5.4. enable_if
         • 5.17.5.5. conditional
• 6. Host API
     • 6.1. 原型注册与管理
       • 6.1.1. 原型注册接口（OP_ADD）
       • 6.1.2. OpDef
         • 6.1.2.1. Input
         • 6.1.2.2. Output
         • 6.1.2.3. Attr
         • 6.1.2.4. SetInferShape
         • 6.1.2.5. SetInferShapeRange
         • 6.1.2.6. SetInferDataType
         • 6.1.2.7. AICore
         • 6.1.2.8. MC2
         • 6.1.2.9. EnableFallBack
         • 6.1.2.10. Comment
         • 6.1.2.11. FormatMatchMode
       • 6.1.3. OpParamDef
         • 6.1.3.1. ParamType
         • 6.1.3.2. DataType
         • 6.1.3.3. DataTypeForBinQuery
         • 6.1.3.4. DataTypeList
         • 6.1.3.5. Format
         • 6.1.3.6. FormatForBinQuery
         • 6.1.3.7. FormatList
         • 6.1.3.8. UnknownShapeFormat（废弃）
         • 6.1.3.9. ValueDepend
         • 6.1.3.10. IgnoreContiguous
         • 6.1.3.11. AutoContiguous
         • 6.1.3.12. Scalar
         • 6.1.3.13. ScalarList
         • 6.1.3.14. To
         • 6.1.3.15. Version
         • 6.1.3.16. InitValue
         • 6.1.3.17. OutputShapeDependOnCompute
         • 6.1.3.18. Follow
         • 6.1.3.19. Comment
       • 6.1.4. OpAttrDef
         • 6.1.4.1. OpAttrDef
         • 6.1.4.2. Comment
       • 6.1.5. OpAICoreDef
         • 6.1.5.1. SetTiling
         • 6.1.5.2. SetCheckSupport
         • 6.1.5.3. SetOpSelectFormat
         • 6.1.5.4. AddConfig
       • 6.1.6. OpAICoreConfig
         • 6.1.6.1. Input
         • 6.1.6.2. Output
         • 6.1.6.3. DynamicCompileStaticFlag
         • 6.1.6.4. DynamicFormatFlag
         • 6.1.6.5. DynamicRankSupportFlag
         • 6.1.6.6. DynamicShapeSupportFlag
         • 6.1.6.7. NeedCheckSupportFlag
         • 6.1.6.8. PrecisionReduceFlag
         • 6.1.6.9. ExtendCfgInfo
       • 6.1.7. OpMC2Def
         • 6.1.7.1. 简介
         • 6.1.7.2. 构造函数
         • 6.1.7.3. HcclGroup
         • 6.1.7.4. operator=
     • 6.2. Tiling数据结构注册
       • 6.2.1. TilingData结构定义
       • 6.2.2. TilingData结构注册
       • 6.2.3. ContextBuilder
         • 6.2.3.1. 简介
         • 6.2.3.2. 构造函数
         • 6.2.3.3. KernelRunContextHolder结构定义
         • 6.2.3.4. Inputs
         • 6.2.3.5. Outputs
         • 6.2.3.6. BuildKernelRunContext
         • 6.2.3.7. NodeIoNum
         • 6.2.3.8. SetOpNameType
         • 6.2.3.9. IrInstanceNum
         • 6.2.3.10. AddInputTd
         • 6.2.3.11. AddOutputTd
         • 6.2.3.12. AddAttr
         • 6.2.3.13. CompileInfo
         • 6.2.3.14. PlatformInfo
         • 6.2.3.15. AddPlatformInfo
         • 6.2.3.16. TilingData
         • 6.2.3.17. Workspace
         • 6.2.3.18. BuildTilingContext
       • 6.2.4. OpTilingRegistry
         • 6.2.4.1. 简介
         • 6.2.4.2. 构造和析构函数
         • 6.2.4.3. GetTilingFunc
         • 6.2.4.4. LoadTilingLibrary
       • 6.2.5. 模板参数定义
       • 6.2.6. GETTPLTILING_KEY
       • 6.2.7. ASCENDCTPLSEL_PARAM
       • 6.2.8. DEVICEIMPLOP_OPTILING
     • 6.3. 平台信息获取
       • 6.3.1. PlatformAscendC
         • 6.3.1.1. 简介
         • 6.3.1.2. 构造及析构函数
         • 6.3.1.3. GetCoreNum
         • 6.3.1.4. GetSocVersion
         • 6.3.1.5. GetCoreNumAic
         • 6.3.1.6. GetCoreNumAiv
         • 6.3.1.7. GetCoreNumVector
         • 6.3.1.8. CalcTschBlockDim
         • 6.3.1.9. GetCoreMemSize
         • 6.3.1.10. GetCoreMemBw
         • 6.3.1.11. GetLibApiWorkSpaceSize
         • 6.3.1.12. GetResGroupBarrierWorkSpaceSize
         • 6.3.1.13. GetResCubeGroupWorkSpaceSize
         • 6.3.1.14. ReserveLocalMemory
       • 6.3.2. PlatformAscendCManager
     • 6.4. 单算子API执行相关接口
       • 6.4.1. 单算子API执行相关接口列表
       • 6.4.2. 框架能力接口
         • 6.4.2.1. 常用宏和类
           • 6.4.2.1.1. ADDTOLAUNCHERLISTAICORE
           • 6.4.2.1.2. ADDTOLAUNCHERLISTAICPU
           • 6.4.2.1.3. CREATE_EXECUTOR
           • 6.4.2.1.4. DFX_IN
           • 6.4.2.1.5. DFX_OUT
           • 6.4.2.1.6. INFER_SHAPE
           • 6.4.2.1.7. L0_DFX
           • 6.4.2.1.8. L2DFXPHASE_1
           • 6.4.2.1.9. L2DFXPHASE_2
           • 6.4.2.1.10. OP_ATTR
           • 6.4.2.1.11. OPATTRNAMES
           • 6.4.2.1.12. OPEMPTYARG
           • 6.4.2.1.13. OP_INPUT
           • 6.4.2.1.14. OP_MODE
           • 6.4.2.1.15. OP_OUTPUT
           • 6.4.2.1.16. OP_OUTSHAPE
           • 6.4.2.1.17. OP_OPTION
           • 6.4.2.1.18. OPTYPEREGISTER
           • 6.4.2.1.19. OP_WORKSPACE
           • 6.4.2.1.20. OpImplMode
           • 6.4.2.1.21. OpExecMode
         • 6.4.2.2. bfloat16
         • 6.4.2.3. commontypes
           • 6.4.2.3.1. [GetStorageShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071068.html)
           • 6.4.2.3.2. [SetStorageShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071069.html)
           • 6.4.2.3.3. [GetOriginalShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071070.html)
           • 6.4.2.3.4. [SetOriginalShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071071.html)
           • 6.4.2.3.5. [GetViewShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071072.html)
           • 6.4.2.3.6. [SetViewShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071073.html)
           • 6.4.2.3.7. [GetStorageFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071074.html)
           • 6.4.2.3.8. [SetStorageFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071075.html)
           • 6.4.2.3.9. [GetOriginalFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071076.html)
           • 6.4.2.3.10. [SetOriginalFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071077.html)
           • 6.4.2.3.11. [GetViewFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071078.html)
           • 6.4.2.3.12. [SetViewFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071079.html)
           • 6.4.2.3.13. [GetViewStrides](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071080.html)
           • 6.4.2.3.14. [SetViewStrides](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071081.html)
           • 6.4.2.3.15. [Numel](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071082.html)
           • 6.4.2.3.16. [GetDataType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071083.html)
           • 6.4.2.3.17. [IsEmpty](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071084.html)
           • 6.4.2.3.18. [SetData](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071085.html)
           • 6.4.2.3.19. [SetDataType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071086.html)
           • 6.4.2.3.20. [SetBoolData](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071087.html)
           • 6.4.2.3.21. [SetIntData](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071088.html)
           • 6.4.2.3.22. [SetFloatData](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071089.html)
           • 6.4.2.3.23. [SetFp16Data](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071090.html)
           • 6.4.2.3.24. [SetBf16Data](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071091.html)
           • 6.4.2.3.25. [CheckOverflows](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071092.html)
           • 6.4.2.3.26. [预留接口](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1093.html)
         • 6.4.2.4. datatypeutils
           • 6.4.2.4.1. IsBasicType
           • 6.4.2.4.2. IsNumberType
           • 6.4.2.4.3. IsRealNumberType
           • 6.4.2.4.4. TypeSize
           • 6.4.2.4.5. ToOpDataType
           • 6.4.2.4.6. ToAclDataType
           • 6.4.2.4.7. 预留接口
         • 6.4.2.5. formatutils
           • 6.4.2.5.1. [IsPrivateFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071103.html)
           • 6.4.2.5.2. [GetPrimaryFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071104.html)
           • 6.4.2.5.3. [ToOpFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071105.html)
           • 6.4.2.5.4. [ToAclFormat](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071106.html)
           • 6.4.2.5.5. [预留接口](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1107.html)
         • 6.4.2.6. fp16_t
         • 6.4.2.7. frameworkop
           • 6.4.2.7.1. [CopyToNpu](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071110.html)
           • 6.4.2.7.2. [CopyToNpuSync](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071111.html)
           • 6.4.2.7.3. [CopyNpuToNpu](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1112.html)
         • 6.4.2.8. object
         • 6.4.2.9. opargdef
         • 6.4.2.10. op_cache
         • 6.4.2.11. opcachecontainer
         • 6.4.2.12. op_config
         • 6.4.2.13. op_def
         • 6.4.2.14. op_dfx
         • 6.4.2.15. opexecutor
           • 6.4.2.15.1. [AllocTensor](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071120.html)
           • 6.4.2.15.2. [AllocHostTensor](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071121.html)
           • 6.4.2.15.3. [AllocIntArray](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071122.html)
           • 6.4.2.15.4. [AllocFloatArray](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071123.html)
           • 6.4.2.15.5. [AllocBoolArray](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071124.html)
           • 6.4.2.15.6. [AllocTensorList](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071125.html)
           • 6.4.2.15.7. [AllocScalarList](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071126.html)
           • 6.4.2.15.8. [AllocScalar](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071127.html)
           • 6.4.2.15.9. [ConvertToTensor](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071128.html)
           • 6.4.2.15.10. [CommonOpExecutorRun](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071129.html)
           • 6.4.2.15.11. [ReleaseTo](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071130.html)
           • 6.4.2.15.12. [Getworkspacesize](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071131.html)
           • 6.4.2.15.13. [AbandonCache](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071132.html)
           • 6.4.2.15.14. [预留接口](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1133.html)
         • 6.4.2.16. op_log
         • 6.4.2.17. platform
           • 6.4.2.17.1. GetCurrentPlatformInfo
           • 6.4.2.17.2. GetSocVersion
           • 6.4.2.17.3. GetSocLongVersion
           • 6.4.2.17.4. GetBlockSize
           • 6.4.2.17.5. 预留接口
         • 6.4.2.18. pool_allocator
         • 6.4.2.19. shapeutils
           • 6.4.2.19.1. [ToShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071143.html)
           • 6.4.2.19.2. [ToShapeVector](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071144.html)
           • 6.4.2.19.3. [ToContiguousStrides](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071145.html)
           • 6.4.2.19.4. [CheckBroadcastShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071146.html)
           • 6.4.2.19.5. [BroadcastInferShape](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071147.html)
           • 6.4.2.19.6. [预留接口](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1148.html)
         • 6.4.2.20. small_vector
         • 6.4.2.21. tensorviewutils
           • 6.4.2.21.1. IsContiguous
           • 6.4.2.21.2. 预留接口
         • 6.4.2.22. opcommon相关接口
           • 6.4.2.22.1. data
           typeutils
           • 6.4.2.22.1.1. [IsComplexType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071155.html)
           • 6.4.2.22.1.2. [IsFloatingType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071156.html)
           • 6.4.2.22.1.3. [IsIntegralType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071157.html)
           • 6.4.2.22.1.4. [IsIntegralType（含bool）](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071158.html)
           • 6.4.2.22.1.5. [CanCast](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi071159.html)
           • 6.4.2.22.1.6. [PromoteType](https://www.hiascend.com/doc
           center/source/zh/CANNCommunityEdition/82RC1/API/ascendcopapi/atlasascendcapi07_1160.html)
         • 6.4.2.23. aicpu相关接口
           • 6.4.2.23.1. AicpuTask类
           • 6.4.2.23.2. AicpuTaskSpace类
           • 6.4.2.23.3. aicpuargshandler
           • 6.4.2.23.4. aicpuextinfo_handle
           • 6.4.2.23.5. aicpu_uitls
           • 6.4.2.23.6. aicpu_task
       • 6.4.3. 基础核函数接口
         • 6.4.3.1. Cast
         • 6.4.3.2. Contiguous
         • 6.4.3.3. ViewCopy
         • 6.4.3.4. Pad
         • 6.4.3.5. Reshape
         • 6.4.3.6. Slice
         • 6.4.3.7. Transpose
         • 6.4.3.8. TransData
         • 6.4.3.9. TransDataSpecial
         • 6.4.3.10. ReFormat
         • 6.4.3.11. IsNullptr
     • 6.5. 内部关联接口
• 7. 算子调测API
     • 7.1. DumpTensor
     • 7.2. printf
     • 7.3. assert
     • 7.4. DumpAccChkPoint
     • 7.5. Trap
     • 7.6. PrintTimeStamp
     • 7.7. GmAlloc
     • 7.8. ICPURUNKF
     • 7.9. ICPUSETTILING_KEY
     • 7.10. GmFree
     • 7.11. SetKernelMode
     • 7.12. TRACE_START
     • 7.13. TRACE_STOP
     • 7.14. MetricsProfStart
     • 7.15. MetricsProfStop
• 8. 预留接口

Ascend C 最佳实践

• 1. 前言
• 2. 异构计算
• 3. 功能调试
     • 3.1. 运行正常
     • 3.2. 精度正常
     • 3.3. 算子调试
• 4. 性能分析
     • 4.1. 获取性能数据
     • 4.2. 分析性能数据
• 5. 性能优化
     • 5.1. 优化建议总览表
     • 5.2. 搬运优化
       • 5.2.1. 尽量一次搬运较大的数据块
       • 5.2.2. GM地址尽量512B对齐
       • 5.2.3. 高效的使用搬运API
     • 5.3. 内存优化
       • 5.3.1. 算子与高阶API共享临时Buffer
       • 5.3.2. 限制TilingData结构大小
       • 5.3.3. 通过缩减Tensor ShapeInfo维度，优化栈空间
       • 5.3.4. 通过Unified Buffer融合实现连续vector计算
       • 5.3.5. 通过BT Buffer实现高效的bias计算
       • 5.3.6. 通过FP Buffer存放量化参数实现高效随路量化
       • 5.3.7. 通过L0C Buffer数据暂存实现高效的矩阵乘结果累加
       • 5.3.8. 较小矩阵长驻L1 Buffer，仅分次搬运较大矩阵
       • 5.3.9. 优化bank分配以提升读写性能
     • 5.4. API使用优化
       • 5.4.1. 纯搬运类算子VECIN和VECOUT建议复用
       • 5.4.2. 避免TPipe在对象内创建和初始化
       • 5.4.3. Matmul使能AtomicAdd选项
       • 5.4.4. Vector算子灵活运用Counter模式
       • 5.4.5. 针对不同场景合理使用归约指令
     • 5.5. 流水优化
       • 5.5.1. 使能double buffer
       • 5.5.2. 使能Iterate或IterateAll异步接口避免AIC/AIV同步依赖
     • 5.6. Tiling优化
       • 5.6.1. L2 Cache切分
       • 5.6.2. 核间负载均衡
• 6. 优秀实践
     • 6.1. FlashAttention算子性能调优案例
     • 6.2. Matmul算子性能调优案例
     • 6.3. GroupedMatmul算子性能调优案例
     • 6.4. MC²算子性能调优案例
     • 6.5. Matmul高阶API使能IBShare性能提升案例
     • 6.6. Matmul常量化算子性能提升案例

算子开发工具

• 1. 简介
• 2. 环境准备
• 3. 算子设计（msKPP）
     • 3.1. 工具概述
     • 3.2. 使用前准备
     • 3.3. 性能建模
       • 3.3.1. 原理概述
       • 3.3.2. 算子特性建模
       • 3.3.3. 算子计算搬运规格分析
       • 3.3.4. 极限性能分析
       • 3.3.5. 算子tiling初步设计
       • 3.3.6. 对外接口使用说明
         • 3.3.6.1. 接口列表
         • 3.3.6.2. 基础功能接口
           • 3.3.6.2.1. Chip
           • 3.3.6.2.2. Core
           • 3.3.6.2.3. Tensor
           • 3.3.6.2.4. Tensor.load
         • 3.3.6.3. 同步类指令接口
           • 3.3.6.3.1. set_flag
           • 3.3.6.3.2. wait_flag
         • 3.3.6.4. 指令接口
           • 3.3.6.4.1. mmad
           • 3.3.6.4.2. vadd
           • 3.3.6.4.3. vbrcb
           • 3.3.6.4.4. vconv
           • 3.3.6.4.5. vconv_deq
           • 3.3.6.4.6. vconv_vdeq
           • 3.3.6.4.7. vector_dup
           • 3.3.6.4.8. vexp
           • 3.3.6.4.9. vln
           • 3.3.6.4.10. vmax
           • 3.3.6.4.11. vmul
           • 3.3.6.4.12. vmuls
           • 3.3.6.4.13. vsub
           • 3.3.6.4.14. vdiv
           • 3.3.6.4.15. vcadd
           • 3.3.6.4.16. vabs
           • 3.3.6.4.17. vaddrelu
           • 3.3.6.4.18. vaddreluconv
           • 3.3.6.4.19. vadds
           • 3.3.6.4.20. vand
           • 3.3.6.4.21. vaxpy
           • 3.3.6.4.22. vbitsort
           • 3.3.6.4.23. vcgadd
           • 3.3.6.4.24. vcgmax
           • 3.3.6.4.25. vcgmin
           • 3.3.6.4.26. vcmax
           • 3.3.6.4.27. vcmin
           • 3.3.6.4.28. vcmp_xxx
           • 3.3.6.4.29. vcmpv_xxx
           • 3.3.6.4.30. vcmpvs_xxx
           • 3.3.6.4.31. vcopy
           • 3.3.6.4.32. vcpadd
           • 3.3.6.4.33. vgather
           • 3.3.6.4.34. vgatherb
           • 3.3.6.4.35. vlrelu
           • 3.3.6.4.36. vmadd
           • 3.3.6.4.37. vmaddrelu
           • 3.3.6.4.38. vmaxs
           • 3.3.6.4.39. vmin
           • 3.3.6.4.40. vmins
           • 3.3.6.4.41. vmla
           • 3.3.6.4.42. vmrgsort
           • 3.3.6.4.43. vmulconv
           • 3.3.6.4.44. vnot
           • 3.3.6.4.45. vor
           • 3.3.6.4.46. vrec
           • 3.3.6.4.47. vreduce
           • 3.3.6.4.48. vreducev2
           • 3.3.6.4.49. vrelu
           • 3.3.6.4.50. vrsqrt
           • 3.3.6.4.51. vsel
           • 3.3.6.4.52. vshl
           • 3.3.6.4.53. vshr
           • 3.3.6.4.54. vsqrt
           • 3.3.6.4.55. vsubrelu
           • 3.3.6.4.56. vsubreluconv
           • 3.3.6.4.57. vtranspose
     • 3.4. 调用msOpGen算子工程
       • 3.4.1. 功能介绍
       • 3.4.2. 调用示例
       • 3.4.3. 接口列表
         • 3.4.3.1. mskpp.tiling_func
         • 3.4.3.2. mskpp.getkernelfrom_binary
     • 3.5. 自动调优
       • 3.5.1. 功能介绍
       • 3.5.2. 快速入门
       • 3.5.3. 自动调优示例
       • 3.5.4. 接口列表
         • 3.5.4.1. autotune
         • 3.5.4.2. code_gen
         • 3.5.4.3. compile
         • 3.5.4.4. autotune_v2
         • 3.5.4.5. compile_executable
       • 3.5.5. 附录
         • 3.5.5.1. basicmatmulautotune.py
         • 3.5.5.2. jit_build.sh
         • 3.5.5.3. basicmatmulexecutable_autotune.py
         • 3.5.5.4. jitbuildexecutable.sh
     • 3.6. FAQ
       • 3.6.1. 运行Kernel时提示权限错误
• 4. 算子工程创建（msOpGen）
     • 4.1. 工具概述
     • 4.2. 使用前准备
     • 4.3. 创建算子工程
     • 4.4. 算子开发
     • 4.5. 算子编译部署
     • 4.6. 查看算子仿真流水图
     • 4.7. 典型案例
       • 4.7.1. Ascend C自定义算子开发实践
• 5. 算子测试（msOpST）
     • 5.1. 工具概述
     • 5.2. 使用前准备
     • 5.3. 生成测试用例定义文件
     • 5.4. 生成/执行测试用例
     • 5.5. 生成单算子上板测试框架
     • 5.6. 典型案例
       • 5.6.1. 测试用例定义文件
• 6. 异常检测（msSanitizer）
     • 6.1. 工具概述
     • 6.2. 使用前准备
     • 6.3. 内存检测
     • 6.4. 竞争检测
     • 6.5. 未初始化检测
     • 6.6. 典型案例
       • 6.6.1. 检测内核调用符方式的Ascend C算子
       • 6.6.2. 检测API调用的单算子
       • 6.6.3. 检测PyTorch接口调用的算子
       • 6.6.4. 检测CANN软件栈的内存
     • 6.7. FAQ
       • 6.7.1. msSanitizer工具异常报告中未显示正确的文件名和行号
       • 6.7.2. msSanitizer工具使用"--cce-enable-sanitizer -g"编译算子时出现"InputSection too large"错误
       • 6.7.3. msSanitizer工具提示--cache-size异常
     • 6.8. 对外接口使用说明
       • 6.8.1. 接口列表
       • 6.8.2. sanitizer接口
         • 6.8.2.1. sanitizerRtMalloc
         • 6.8.2.2. sanitizerRtMallocCached
         • 6.8.2.3. sanitizerRtFree
         • 6.8.2.4. sanitizerRtMemset
         • 6.8.2.5. sanitizerRtMemsetAsync
         • 6.8.2.6. sanitizerRtMemcpy
         • 6.8.2.7. sanitizerRtMemcpyAsync
         • 6.8.2.8. sanitizerRtMemcpy2d
         • 6.8.2.9. sanitizerRtMemcpy2dAsync
         • 6.8.2.10. sanitizerReportMalloc
         • 6.8.2.11. sanitizerReportFree
       • 6.8.3. 扩展接口（mstx）
         • 6.8.3.1. mstx接口简介
         • 6.8.3.2. mstxDomainCreateA
         • 6.8.3.3. mstxMemHeapRegister
         • 6.8.3.4. mstxMemRegionsRegister
         • 6.8.3.5. mstxMemRegionsUnregister
         • 6.8.3.6. mstxMemHeapUnregister
• 7. 算子调试（msDebug）
     • 7.1. 工具概述
     • 7.2. 使用前准备
     • 7.3. 指定Device ID（通算融合算子场景）
     • 7.4. 断点设置
     • 7.5. 内存与变量打印
     • 7.6. 单步调试
     • 7.7. 中断运行
     • 7.8. 核切换
     • 7.9. 读取寄存器
     • 7.10. 调试信息展示
     • 7.11. 解析异常算子dump文件
     • 7.12. 典型案例
       • 7.12.1. 上板调试vector算子
       • 7.12.2. 调用Ascend CL单算子
       • 7.12.3. 调试PyTorch接口调用的算子
       • 7.12.4. 上板调试模板库的算子
     • 7.13. FAQ
       • 7.13.1. msDebug工具使用"-O0 -g"编译算子时，stack frame size超出限制
       • 7.13.2. msDebug工具打印Tensor变量功能不可用，提示“unavailable”或“memory read failed”
       • 7.13.3. msDebug工具在容器环境中调试运行失败，提示需安装HDK驱动包
       • 7.13.4. msDebug工具断点设置在核函数内，命中断点后执行continue命令，算子运行失败
       • 7.13.5. msDebug工具在docker中执行"run"命令运行程序后，提示“'A' packet returned an error: 8”
• 8. 算子调优（msProf）
     • 8.1. 工具概述
     • 8.2. 使用前准备
     • 8.3. 工具使用
     • 8.4. 计算内存热力图
     • 8.5. Roofline瓶颈分析图
     • 8.6. Cache热力图
     • 8.7. 通算流水图
     • 8.8. 指令流水图
     • 8.9. 算子代码热点图
     • 8.10. 内存通路吞吐率波形图
     • 8.11. 性能数据文件
       • 8.11.1. msprof op
         • 8.11.1.1. ArithmeticUtilization（cube及vector类型指令耗时和占比）
         • 8.11.1.2. L2Cache（L2 Cache命中率）
         • 8.11.1.3. Memory（内存读写带宽速率）
         • 8.11.1.4. MemoryL0（L0读写带宽速率）
         • 8.11.1.5. MemoryUB（UB读写带宽速率）
         • 8.11.1.6. OpBasicInfo（算子基础信息）
         • 8.11.1.7. PipeUtilization（计算单元和搬运单元耗时占比）
         • 8.11.1.8. ResourceConflictRatio（资源冲突占比）
       • 8.11.2. msprof op simulator
         • 8.11.2.1. 代码行耗时数据文件
         • 8.11.2.2. 代码指令信息文件
     • 8.12. Json配置文件说明
     • 8.13. 典型案例
       • 8.13.1. 采集Ascend C算子的性能数据
       • 8.13.2. 通过指令流水图优化算子
       • 8.13.3. 采集MC2算子的性能数据
     • 8.14. 扩展接口（mstx）
       • 8.14.1. mstx接口简介
       • 8.14.2. mstxRangeStartA
       • 8.14.3. mstxRangeEnd
• 9. 附录
     • 9.1. TBE&AI CPU算子开发场景
       • 9.1.1. 基于msOpGen工具创建算子工程
       • 9.1.2. 算子编译部署
         • 9.1.2.1. 简介
         • 9.1.2.2. 算子工程编译
         • 9.1.2.3. 算子交付件独立编译
         • 9.1.2.4. 算子包部署
       • 9.1.3. 基于msOpST工具进行算子ST测试
         • 9.1.3.1. 简介
         • 9.1.3.2. 生成测试用例定义文件
         • 9.1.3.3. 生成/执行测试用例
         • 9.1.3.4. 测试用例定义文件配置样例