极限挑战：RK3588 NPU 跑LLM

在4GB 板载LPDDR4内存的底配版 RK3588 开发板上，首先借助RKLLM 工具链量化编译 11 亿参数的 TinyLlama，并最终在开发板端侧运行。这期视频是玩转RK3588 NPU 系列的第四集， 也是目前这个系列的最后一期。 整个视频包含4个关键部分 资源获取：获取RKLLM与TinyLlama-1.1B 量化与编译：PC端编译环境配置、皆准模型转换脚本进行LLM量化与编译、编译运行LLM的示例推理程序 板端配置：创建Swap分区与固定板端硬件频率 端侧推理：在开发板端运行量化后的LLM并监测系统资源使用情况 rknn-toolkit2资源链接: https://github.com/airockchip/rknn-to... 大模型资源链接： https://huggingface.co/TinyLlama/Tiny... https://www.modelscope.cn/models/AI-M... 视频中涉及到的脚本、测试程序链接： https://github.com/hannahrepo/rk3588-npu #RK3588 #NPU #ZeroCopy #MultiCore #EdgeAI #YOLOv5 #EmbeddedLinux #Rockchip #MachineLearning #PerformanceOptimization