Skip to content

先把作业、学业任务完成,确保能有效应对后大幅投入科研、工程、数据、创业产出。 然后身体健康很重要,脑健康很重要,好好休息,保持一个健康的身体和健康的脑子。 只要身体健康,那就无所畏惧,打不倒我的只会让我更强。

入门主线

  1. 先读 CLIP:理解图文对齐、contrastive learning、joint embedding。
  2. 再读 BLIP-2 / Flamingo / MiniGPT-4 / LLaVA:理解视觉编码器如何接入 LLM。
  3. 再看 Qwen-VL / InternVL / LLaVA-NeXT 等工程化模型:理解实际系统怎么做指令微调、数据构造、评测。
  4. 最后看综述:用综述补全术语和研究版图。

更具体地说,入门主线可以是:

CLIP
→ BLIP-2
→ Flamingo
→ MiniGPT-4
→ LLaVA
→ Qwen-VL / InternVL / LLaVA-NeXT
→ MME / MMBench / SEED-Bench / Hallucination benchmark

冷启动

兼顾论文、创业、长期能力 方向: Multimodal AI for Scientific / Engineering Research Workflows 面向科学论文和工程仿真结果的多模态理解、验证与自动化研究系统。

第一阶段可以做两个子项目之一:

1.选项 A:科研论文图表理解

适合发论文、做 benchmark、进入 AI for Science。

2.选项 B:训练实验诊断 / 仿真结果分析

适合未来创业,连接 AI for AI 和 AI 工程优化。

如果只能选一个,我建议:

Multimodal Training Run Diagnosis + Research Agent

因为它直接服务“用 AI 提高 AI 基础能力”,并且容易从你自己的模型实验中积累数据和产品原型。

和导师沟通:

我想在 multimodal 方向做一个既有研究价值、又能长期连接 AI for Science / AI research automation 的项目。我的初步兴趣是 scientific figure understanding、training run diagnosis 或 multimodal research agents。我希望先做一个小型 benchmark 和 baseline,再逐步发展成论文级工作。请问组里是否有相关数据、算力或已有项目可以接入?

争取目标

  • 论文资产:至少争取一篇可投稿工作;
  • 工程资产:做出可运行系统,而不是只有实验表格;
  • 数据资产:参与或构建一个有质量的数据集/benchmark;
  • 导师资产:建立可信关系和推荐基础;
  • 合作者资产:找到未来可能合伙的人;
  • 创业资产:把研究问题连接到真实科研/工程工作流;
  • 身份资产:论文、开源、影响力未来可用于研究生、实习、O-1/NIW 等路径。