端侧AI推理 相关文章
深入 Android 端侧 AI 推理的 Compose 声明式集成全链路:从推理状态建模到 UI 响应式渲染的工程化实践
介绍一套将端侧 AI 推理工程化接入 Jetpack Compose 的通用范式,涵盖推理状态机建模、协程生命周期绑定与流式渲染限流方案。
Read Post
深入 Android 端侧 AI 推理的远程配置与动态实验体系:从推理参数热更新到 A/B 分流的工程架构
文章介绍了 Android 端侧 AI 推理的远程配置与 A/B 实验体系的工程实践,涵盖推理参数热更新、轻量化配置中心设计、端侧实验分流及安全兜底机制。
Read Post
深入 Android 端侧 AI 推理的声明式管道:用 Kotlin Flow 构建可组合的推理工作流
本文介绍如何用 Kotlin Flow 将端侧 AI 推理抽象为可组合的声明式管道,通过 Preprocess/Inference/Postprocess 三层架构实现预处理、推理、后处理的解耦,并结合背压控制与分层测试策略构建健壮的推理工作流。
Read Post
端侧 AI 推理稳不住?温度、电量、内存三维协同降级策略
本文提出端侧AI推理的温度、电量、内存三维协同降级策略,通过归一化评分与木桶原理实现多维度仲裁,配合模型预加载与状态迁移,确保推理在资源受限设备上稳定运行。
Read Post
Android NNAPI:HAL、NPU 架构与弃用后的迁移方向
(Updated on )
解析 Android NNAPI 的 HAL 与 NPU 推理架构,并说明 Android 15 起的弃用状态。供存量应用维护、硬件加速排障与迁移选型参考。
Read Post