端侧AI 相关文章

深入 Android 端侧 AI 推理的功耗与热管理全链路：从 SoC DVFS 调度到 Thermal Throttling 的性能稳定性工程实践

本文从端侧 LLM 持续推理的性能退化问题出发，剖析 GPU 功耗画像、DVFS 调度与 Thermal Throttling 机制，提出双层温控感知的负载调度方案，将长时间推理的 P99 延迟从 890ms 压至 380ms。

深入 Android 端侧 AI 推理的内存带宽优化：从 GPU 共享内存到 NPU 零拷贝的异构数据传输架构

端侧AI推理的性能瓶颈不在算力而在内存带宽。本文深入分析从Camera到GPU再到NPU的数据搬运开销，介绍AHardwareBuffer共享内存、ION buffer复用和NPU零拷贝三条优化路径，给出不同场景的选型建议。

深入 Android 端侧 AI 推理性能剖析：用 Perfetto 追踪 NPU 调度与内存带宽瓶颈

基于 Perfetto 追踪端侧 AI 推理的 NPU 调度与内存带宽瓶颈，通过权重常驻、推理渲染隔离和算子融合将 token 生成速度从 18 提升至 35 token/s。

深入 Android 端侧 AI 图像预处理全链路：从 Bitmap 像素操作到 Tensor 输入的高性能数据管道

端侧 AI 推理中，数据预处理常占 30%-50% 耗时。本文梳理从 Bitmap 像素到 Tensor 输入的完整链路，涵盖内存模型、像素格式转换、Resize 策略、标准化及零拷贝优化，帮助开发者将预处理延迟压到毫秒级。