模型部署 相关文章

深入 Android 端侧 AI 推理的 ExecuTorch 全链路:从 PyTorch 模型原生导出到 Android 端部署的零转换推理引擎实践

本文深入分析 ExecuTorch 在 Android 端的全链路实践,从 PyTorch 模型原生导出到 .pte 文件部署,对比 LiteRT 性能表现,剖析 AOT 委托机制与常见坑点,帮助开发者做出选型判断。

深入 Android 端侧 AI 推理引擎横向对比:从 LiteRT 到 ExecuTorch 的多引擎选型决策框架

横向对比 LiteRT、MediaPipe、ExecuTorch、ONNX Runtime 和 llama.cpp 五大端侧推理引擎,从算子覆盖、硬件加速、性能基准到选型矩阵,提供可落地的决策框架。