本期为TechBeat人工智能社区第571期线上Talk。

北京时间2月8日(周四)20:00，香港科技大学博士生—苟耘豪的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突”，系统地介绍了他的团队基于指令聚类和通用专家的MoE多模态大模型微调方法等相关工作所做的研究。

Talk·信息

▼

主题：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突

嘉宾：香港科技大学博士生 苟耘豪

时间：北京时间 2月8日(周四)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=849

Talk·介绍

▼

本次分享介绍基于指令聚类和通用专家的MoE多模态大模型微调方法。现有的方法让所有数据一起微调，造成任务冲突。我们对任务指令进行聚类，使用聚类结果选择合适的任务专家从而缓解冲突。同时，一个通用专家从所有数据学习共享的知识，增强模型对新任务的泛化性。

Talk大纲

1、背景 - 多模态大模型指令微调的方法介绍

2、观察 - 更多指令数据不一定能带来更好的模型

3、方法 - MoCLE：基于指令聚类和通用专家的MoE多模态大模型微调方法

4、实验 - 聚类专家缓解冲突，通用专家提升泛化

5、结论

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2312.12379

论文链接：

https://arxiv.org/pdf/2305.06500.pdf

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

苟耘豪

香港科技大学·博士生

香港科技大学和南方科技大学二年级联培博士生，师从James T. Kwok教授和Yu Zhang教授。主要研究方向为多模态大语言模型，视觉-语言模型与零样本学习，相关工作发表于CVPR、ECCV、CIKM等计算机视觉和数据挖掘的顶级学术会议。

个人主页: 

TechBeat

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区