9月7日，足下科技AI工程师朱震东作为讲师受邀参加国内规模最大并唯一的Rust线下盛会——RustChina Conf2024，并做了《Rust加速构建端侧LLM应用》主题演讲，与现场几百名Rust开发者共同分享Rust在构建端侧LLM应用方面的实践经验，共同推动Rust生态的繁荣与发展。
相比于云端LLM应用，端侧LLM应用不仅可以大幅降低网络延迟，提升响应速度，节省流量和电量，还可以保障数据安全，降低数据泄露的风险，大幅提升了车主的用户体验，是众多OEM的迫切诉求。但在算力和存储都有限的汽车芯片上开发可量产的端侧LLM应用是个极具挑战的系统工程难题，并且不同的推理引擎支持的芯片不同，导致应用迁移到不同的芯片平台需要重新开发。解决办法是通过高性能推理引擎充分利用芯片资源，并对不同的推理引擎进行抽象。而Rust语言以其卓越的执行效率、资源占用率和内存安全性，是构建端侧LLM应用的不二之选。
足下科技Earth系统软件，已全面支持智驾、座舱、舱驾融合、中央计算应用开发，并支持LLM、端到端等大模型应用，通过不同推理引擎的抽象，让客户在根据场景优化大模型时，可以快速验证在不同推理引擎下的大模型效果。同时，足下科技已使用Rust实现端侧LLM编程助手，并已集成到ZStudio集成开发环境中，通过问答的方式快速解决工程师的开发问题，大幅提升了开发效率。足下科技以在异构并行计算及大模型工程落地领域的专业性，正在与主流主机厂合作优化大模型。
