吕新昱
人工智能系
副教授、硕士生导师
E-mail：lvxinyu@swufe.edu.cn
※教师简介
吕新昱，副教授，硕士生导师，现任职于西南财经大学555000a公海会员中心（新财经综合实验室）。2024年6月毕业于电子科技大学计算机科学与工程学院，博士导师为高联丽教授、宋井宽教授与邵杰教授，于2024年6月获得工学博士学位。主要研究方向为多模态处理，专注于解决计算机视觉、视觉语义理解和多模态大模型中的语义/价值对齐问题。近五年已完成18篇高水平学术论文，其中8篇发表于CCF-A类会议或中科院SCI-1区Top期刊，包括IEEE TPAMI'23、IEEE TCSVT'23、PR'21、CVPR'22/23、ACMMM'19/21/22等。参与国家自然科学基金项目3项、科技部科技创新2030"新一代人工智能"重大项目1项，快手高校科研项目2项等。目前担任多个国际领域会议和顶级期刊审稿人如IEEE TPAMI、IEEE TMM、ACM TOMM、CVPR、ECCV、AAAI和ACM MM等。2023年获得四川省计算机学会SCF优秀论文奖。
欢迎对深度学习、多模态处理、大模型安全等方向感兴趣的本科生/硕士生/博士生（热爱科研，强自驱力，熟悉深度学习、PyTorch优先）加入课题组！我将为每位学生提供独立的研究课题并全程指导。
※研究领域
计算机视觉，多模态处理，大模型安全
※教育背景
2020/09-2024/07 电子科技大学 博士
2017/09-2019/07 美国罗格斯大学 硕士
2014/09-2018/07 电子科技大学 本科
※职业经历
2024/07年至今 西南财经大学计算机与人工智能学院 副教授
※研究成果
代表性学术论文（*通讯作者）
[1] Lyu, Xinyu and Gao, Lianli* and Zeng, Pengpeng and Shen, Heng Tao and Song, Jingkuan. Adaptive Fine-Grained Predicates Learning for Scene Graph Generation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023: 13921-13940, (中科院一区Top期刊，影响因子：23.6，财大外文A+).
[2] Lyu, Xinyu and Gao, Lianli* and Guo, Yuyu and Zhao, Zhou and Huang, Hao and Shen, Heng Tao and Song, Jingkuan. Fine-Grained Predicates Learning for Scene Graph Generation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022: 19445-19453, (CCF A).
[3] Lyu, Xinyu* and Liu, Jingwei. Local-Global Information Interaction Debiasing for Dynamic Scene Graph Generation. Artificial Intelligence and Robotics: 8th International Symposium (ISAIR), 2023, (EI).
[4] Chaofan Zheng†, Xinyu Lyu† (共同一作), Lianli Gao, Jingkuan Song. Prototype-based Embedding Network for Scene Graph Generation, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023: 22783-22792, (CCF A).
[5] Zhao, Lei and Lyu, Xinyu and Song, Jingkuan* and Gao, Lianli. GuessWhich? Visual dialog with attentive memory network. Pattern Recognition, Volume 114, 2021: 107823–107831, (中科院一区Top期刊，影响因子：8.5，财大外文A).
[6] Yue Gu, and Lyu, Xinyu, Sun, Weijia, and Li, Weitian and Chen, Shuhong and Li, Xinyu and Ivan Marsic. "Mutual correlation attentive factors in dyadic fusion networks for speech emotion recognition." Proceedings of the 30th ACM International Conference on Multimedia (ACM MM), 2019: 157–166, (CCF A).
[7] Zheng, Chaofan and Lyu, Xinyu and Guo, Yuyu and Song, Jingkuan and Gao, Lianli*. Learning to Generate Scene Graph from Head to Tail. 2022 IEEE International Conference on Multimedia and Expo (ICME), 2022: 01-06, (CCF B).
[8] Chen, Min and Lyu, Xinyu and Guo, Yuyu and Song, Jingkuan and Gao, Lianli*. Multi-Scale Graph Attention Network for Scene Graph Generation. 2022 IEEE International Conference on Multimedia and Expo (ICME), 2022: 01-06, (CCF B).
[9] Zheng, Chaofan and Gao, Lianli* and Lyu, Xinyu and Zeng, Pengpeng and Saddik Abdulmotaleb El and Shen, Heng Tao. Dual-branch hybrid learning network for unbiased scene graph generation. IEEE Transactions on Circuits and Systems for Video Technology, 2023, (中科院一区Top期刊，影响因子：8.3，财大外文A).
[10] Wang, Shuang and Gao, Lianli* and Lyu, Xinyu and Guo, Yuyu and Song, Jingkuan. Dynamic Scene Graph Generation via Temporal Prior Inference. Proceedings of the 30th ACM International Conference on Multimedia (ACM MM), 2021: 5793–5801, (CCF A).
[11] Zeng, Pengpeng and Gao, Lianli* and Lyu, Xinyu and Jing, Shuaiqi and Song, Jingkuan. Conceptual and Syntactical Cross-modal Alignment with Cross-level Consistency for Image-Text Matching. Proceedings of the 29th ACM International Conference on Multimedia (ACM MM), 2021:2205–2213, (CCF A).
[12] Zhang, Haonan and Zeng, Pengpeng and Gao, Lianli and Lyu, Xinyu and Song, Jingkuan* and Shen, Heng Tao. SPT: Spatial Pyramid Transformer for Image Captioning. IEEE Transactions on Circuits and Systems for Video Technology, 2023, (中科院一区Top期刊，影响因子：8.3，财大外文A).
其他学术成果请见个人主页：Google Scholar
主要科研项目
[1] 科学技术部科技创新2030-"新一代人工智能"重大项目，2018AAA0102200，视听觉信息的协同认知、主动决策与平台验证，2023-01 至 2024-06，已结题，参与
[2] 快手科技-高校科研项目，202109FKY00302，电商直播/视频的场景图生成，2020-01至2022-07，已结题，主研
[3] 国家自然科学基金，62020106008，协同视觉与语言处理的视觉自然认知关键技术研究，2021-01至2025-12，在研，参与
[4] 国家自然科学基金，61772116，协同深度视频理解、描述和视觉问答的关键技术研究，2018-01至2021-12，已结题，参与
[5] 国家自然科学基金，61872064，融合自然语言处理的深度视觉理解关键技术研究，2019-01至2022-12，已结题，参与
[6] J委KJ委项目-"XXX项目"，61872064，信息增强的HZC目标智能认知方法"，2020-09至2022-09，已结题，参与
