Skip to content

work and record my progress and effort in the scientific research in ZJU CAD&CG

AGILE

type: paper description: Hand-object Interaction Reconstruction from video via Agentic Generation

monocular video mesh, fragmented, non-simulation-ready geometry

long-tail = category that has less samples in dataset 长尾类别指数据分布中样本数量较少的类别,与头部类别相对。不等于现实稀有类别。

CV 常见任务:

任务模型要回答的问题输出是什么例子
图像分类 Classification这张图整体是什么?一个或多个类别标签这张图是 dog
目标检测 Object Detection图里有哪些物体?分别在哪里?类别 + 矩形框图中有一只 dog,位置是一个 box
实例分割 Instance Segmentation每个独立物体的精确轮廓是什么?类别 + 每个实例的 mask两只狗分别对应两个 mask
语义分割 Semantic Segmentation每个像素属于什么类别?每个像素的类别草地像素是 grass,狗像素是 dog
姿态估计 Pose Estimation人/动物的关键点在哪里?关键点坐标人的肩膀、手肘、膝盖位置
目标跟踪 Object Tracking视频里同一个物体在不同帧中如何移动?ID + 框/mask/轨迹第 1 只狗从左边跑到右边
图像生成 Image Generation根据条件生成图像新图像根据文字生成“一只雪地里的阿拉斯加犬”
图像描述 Image Captioning这张图在讲什么?一段自然语言“一只狗站在草地上”
视觉问答 Visual Question Answering, VQA根据图片回答问题文本答案问:“狗是什么颜色?”答:“黑白色”
OCR Optical Character Recognition图片里的文字是什么?文本 + 可选位置识别车牌、票据、截图文字
深度估计 Depth Estimation每个位置离相机多远?深度图判断道路场景中物体远近
异常检测 Anomaly Detection图像里有没有异常?异常在哪里?正常/异常 + 可选区域工业零件有划痕
图像检索 Image Retrieval哪些图片和这张图相似?相似图片排序以图搜图
重识别 Re-identification, ReID不同摄像头中是不是同一个对象?ID 匹配结果行人 ReID、车辆 ReID

这个输出的答案就是数据标注 annotation 比如一个COCO的目标检测标注:

json
{
  "image_id": 1,
  "category_id": 18,
  "bbox": [120, 80, 300, 240]
}

表示第一个物体是第18个类别,位置框是 [120,80,300,240]

Annotation 是数据集中人工标注的给模型用的答案。

Fine-tune: use a specific dataset make a trained model more excelled in specific domain. RAG: retrieve information from outside knowledge library. It's better for frequently changing information.

embedding: transform discrete objects to continuous vectors e.g.:

"蓝牙耳机" → [0.12, -0.38, 0.91, ...]
"降噪耳机" → [0.15, -0.35, 0.88, ...]
"煮饭锅"   → [-0.72, 0.04, 0.19, ...]

The model doesn't understand "蓝牙耳机". But it transforms it to numerical representation. The semantic similarity can be described by vector distance or angle.


AI for science: Accelerating, optimization

小切口: 哪个问题足够窄、足够真实、足够可验证,并且能在你的资源约束下做出比现有 baseline 更明确的改进?

指标你要问的问题
数据可得性是否有公开数据集?数据格式是否容易处理?
评估清晰度是否有明确指标,比如 Dice、MAE、AUROC、top-k recall?
算力可承受4060/4090 是否能复现和改进?
baseline 明确是否有公开代码、论文、SOTA 可对比?
领域价值这个问题是否对应真实科研/工程需求?
差异化空间还能不能通过结构先验、模型改造、数据构造做出新东西?
作品集展示性是否容易写成 GitHub、技术博客、复现实验、demo?
不选“最宏大”的,选择指标得分高且能落地的

选择晶体材料性质预测 / 结构预训练工作

湿实验(wet lab experiment)指在真实物理环境中操作生物、化学或医学材料的实验,通常会接触液体样品、试剂、细胞、组织、微生物、DNA/RNA、蛋白质等。

典型例子包括:

类型例子
分子生物学PCR、qPCR、DNA/RNA 提取、凝胶电泳
细胞实验细胞培养、转染、药物处理、细胞活性检测
生化实验Western blot、ELISA、酶活测定
微生物实验细菌培养、抗生素敏感性测试
化学实验滴定、合成反应、色谱分析

它与**干实验(dry lab)**相对。干实验主要依赖计算、建模、数据分析或仿真,例如生物信息学分析、分子对接、机器学习建模、统计分析等。

简单说:湿实验是在实验台上“动手做样品”;干实验是在计算机上“分析或模拟”。