端侧AI推理相关文章

深入 Android 端侧 AI 推理的声明式管道：用 Kotlin Flow 构建可组合的推理工作流

本文介绍如何用 Kotlin Flow 将端侧 AI 推理抽象为可组合的声明式管道，通过 Preprocess/Inference/Postprocess 三层架构实现预处理、推理、后处理的解耦，并结合背压控制与分层测试策略构建健壮的推理工作流。

端侧 AI 推理稳不住？温度、电量、内存三维协同降级策略

本文提出端侧AI推理的温度、电量、内存三维协同降级策略，通过归一化评分与木桶原理实现多维度仲裁，配合模型预加载与状态迁移，确保推理在资源受限设备上稳定运行。

深入 Android NNAPI 全链路：从 HAL 硬件抽象到 Qualcomm/MTK NPU 厂商驱动的端侧 AI 推理加速架构

深入剖析 Android NNAPI 的全链路架构，从 HAL 硬件抽象层到 QNN/Neuron 厂商驱动，结合图分区、算子回退与真实踩坑经验，系统讲解端侧 AI 推理的加速原理、性能调优与选型决策。