近日,国家自然科学基金委员会公布了2024年度国家自然科学基金青年学生项目(博士生)立项名单,中国科大苏州高等研究院智能网络与系统课题组博士生廖云铭申报的项目获得资助。项目遴选过程历经博士生个人申请、学校择优推荐、基金委组织专家函评与会评等多个环节,层层选拔,最终确定资助项目。
获资助项目简介
微调是实现基础大模型适配下游应用的重要手段。面对端侧海量数据,为保障数据隐私和安全,联邦微调逐渐成为大模型微调技术的演进方向。考虑到终端设备的资源有限性(或称弱设备),已有针对大模型全量参数微调的方法需要大量计算资源,而参数高效微调技术(如低秩适配等)能有效减轻端侧负载,更适用于弱设备的联邦微调场景。
本项目以构建泛在智能服务为应用背景,综合分析面向弱设备的联邦微调应用需求,紧紧围绕面向端侧模型微调的端云协同机理这一科学问题,重点研究面向完整模型的联邦低秩微调、联合模型剪枝的联邦低秩微 调和基于模型分裂的联邦低秩微调,最终搭建面向弱设备的联邦低秩微调原型系统,对设计的架构和算法进行验证分析。通过该项目研究,促进大模型与物联网的融合发展,推动面向智能终端设备的大模型应用落地。
获资助者简介
廖云铭,中国科学技术大学计算机科学与技术学院22级博士研究生,指导老师为乔春明教授和许杨特任副研究员。2020年6月本科毕业于中国科学技术大学电子信息工程专业并获得保研名额。目前共发表高水平论文18篇,其中一作/学生一作CCF-A类论文9篇,包括MobiCom、INFOCOM、ICDE、ToN、TMC等顶级国际会议和期刊。曾获得中国科学技术大学RoboGame2018比赛冠军,硕士、博士研究生国家奖学金,“蛟龙”一等奖学金,苏州育才奖学金,苏州工业园区奖学金,2020-2024研究生一等学业奖学金。
(智能网络与系统课题组)