Appearance
先把作业、学业任务完成,确保能有效应对后大幅投入科研、工程、数据、创业产出。 然后身体健康很重要,脑健康很重要,好好休息,保持一个健康的身体和健康的脑子。 只要身体健康,那就无所畏惧,打不倒我的只会让我更强。
入门主线
- 先读 CLIP:理解图文对齐、contrastive learning、joint embedding。
- 再读 BLIP-2 / Flamingo / MiniGPT-4 / LLaVA:理解视觉编码器如何接入 LLM。
- 再看 Qwen-VL / InternVL / LLaVA-NeXT 等工程化模型:理解实际系统怎么做指令微调、数据构造、评测。
- 最后看综述:用综述补全术语和研究版图。
更具体地说,入门主线可以是:
CLIP
→ BLIP-2
→ Flamingo
→ MiniGPT-4
→ LLaVA
→ Qwen-VL / InternVL / LLaVA-NeXT
→ MME / MMBench / SEED-Bench / Hallucination benchmark冷启动
兼顾论文、创业、长期能力 方向: Multimodal AI for Scientific / Engineering Research Workflows 面向科学论文和工程仿真结果的多模态理解、验证与自动化研究系统。
第一阶段可以做两个子项目之一:
1.选项 A:科研论文图表理解
适合发论文、做 benchmark、进入 AI for Science。
2.选项 B:训练实验诊断 / 仿真结果分析
适合未来创业,连接 AI for AI 和 AI 工程优化。
如果只能选一个,我建议:
Multimodal Training Run Diagnosis + Research Agent
因为它直接服务“用 AI 提高 AI 基础能力”,并且容易从你自己的模型实验中积累数据和产品原型。
和导师沟通:
我想在 multimodal 方向做一个既有研究价值、又能长期连接 AI for Science / AI research automation 的项目。我的初步兴趣是 scientific figure understanding、training run diagnosis 或 multimodal research agents。我希望先做一个小型 benchmark 和 baseline,再逐步发展成论文级工作。请问组里是否有相关数据、算力或已有项目可以接入?
争取目标
- 论文资产:至少争取一篇可投稿工作;
- 工程资产:做出可运行系统,而不是只有实验表格;
- 数据资产:参与或构建一个有质量的数据集/benchmark;
- 导师资产:建立可信关系和推荐基础;
- 合作者资产:找到未来可能合伙的人;
- 创业资产:把研究问题连接到真实科研/工程工作流;
- 身份资产:论文、开源、影响力未来可用于研究生、实习、O-1/NIW 等路径。