Appearance
work and record my progress and effort in the scientific research in ZJU CAD&CG
AGILE
type: paper description: Hand-object Interaction Reconstruction from video via Agentic Generation
monocular video mesh, fragmented, non-simulation-ready geometry
long-tail = category that has less samples in dataset 长尾类别指数据分布中样本数量较少的类别,与头部类别相对。不等于现实稀有类别。
CV 常见任务:
| 任务 | 模型要回答的问题 | 输出是什么 | 例子 |
|---|---|---|---|
| 图像分类 Classification | 这张图整体是什么? | 一个或多个类别标签 | 这张图是 dog |
| 目标检测 Object Detection | 图里有哪些物体?分别在哪里? | 类别 + 矩形框 | 图中有一只 dog,位置是一个 box |
| 实例分割 Instance Segmentation | 每个独立物体的精确轮廓是什么? | 类别 + 每个实例的 mask | 两只狗分别对应两个 mask |
| 语义分割 Semantic Segmentation | 每个像素属于什么类别? | 每个像素的类别 | 草地像素是 grass,狗像素是 dog |
| 姿态估计 Pose Estimation | 人/动物的关键点在哪里? | 关键点坐标 | 人的肩膀、手肘、膝盖位置 |
| 目标跟踪 Object Tracking | 视频里同一个物体在不同帧中如何移动? | ID + 框/mask/轨迹 | 第 1 只狗从左边跑到右边 |
| 图像生成 Image Generation | 根据条件生成图像 | 新图像 | 根据文字生成“一只雪地里的阿拉斯加犬” |
| 图像描述 Image Captioning | 这张图在讲什么? | 一段自然语言 | “一只狗站在草地上” |
| 视觉问答 Visual Question Answering, VQA | 根据图片回答问题 | 文本答案 | 问:“狗是什么颜色?”答:“黑白色” |
| OCR Optical Character Recognition | 图片里的文字是什么? | 文本 + 可选位置 | 识别车牌、票据、截图文字 |
| 深度估计 Depth Estimation | 每个位置离相机多远? | 深度图 | 判断道路场景中物体远近 |
| 异常检测 Anomaly Detection | 图像里有没有异常?异常在哪里? | 正常/异常 + 可选区域 | 工业零件有划痕 |
| 图像检索 Image Retrieval | 哪些图片和这张图相似? | 相似图片排序 | 以图搜图 |
| 重识别 Re-identification, ReID | 不同摄像头中是不是同一个对象? | ID 匹配结果 | 行人 ReID、车辆 ReID |
这个输出的答案就是数据标注 annotation 比如一个COCO的目标检测标注:
json
{
"image_id": 1,
"category_id": 18,
"bbox": [120, 80, 300, 240]
}表示第一个物体是第18个类别,位置框是
Annotation 是数据集中人工标注的给模型用的答案。
Fine-tune: use a specific dataset make a trained model more excelled in specific domain. RAG: retrieve information from outside knowledge library. It's better for frequently changing information.
embedding: transform discrete objects to continuous vectors e.g.:
"蓝牙耳机" → [0.12, -0.38, 0.91, ...]
"降噪耳机" → [0.15, -0.35, 0.88, ...]
"煮饭锅" → [-0.72, 0.04, 0.19, ...]The model doesn't understand "蓝牙耳机". But it transforms it to numerical representation. The semantic similarity can be described by vector distance or angle.
AI for science: Accelerating, optimization
小切口: 哪个问题足够窄、足够真实、足够可验证,并且能在你的资源约束下做出比现有 baseline 更明确的改进?
| 指标 | 你要问的问题 |
|---|---|
| 数据可得性 | 是否有公开数据集?数据格式是否容易处理? |
| 评估清晰度 | 是否有明确指标,比如 Dice、MAE、AUROC、top-k recall? |
| 算力可承受 | 4060/4090 是否能复现和改进? |
| baseline 明确 | 是否有公开代码、论文、SOTA 可对比? |
| 领域价值 | 这个问题是否对应真实科研/工程需求? |
| 差异化空间 | 还能不能通过结构先验、模型改造、数据构造做出新东西? |
| 作品集展示性 | 是否容易写成 GitHub、技术博客、复现实验、demo? |
| 不选“最宏大”的,选择指标得分高且能落地的 |
选择晶体材料性质预测 / 结构预训练工作
湿实验(wet lab experiment)指在真实物理环境中操作生物、化学或医学材料的实验,通常会接触液体样品、试剂、细胞、组织、微生物、DNA/RNA、蛋白质等。
典型例子包括:
| 类型 | 例子 |
|---|---|
| 分子生物学 | PCR、qPCR、DNA/RNA 提取、凝胶电泳 |
| 细胞实验 | 细胞培养、转染、药物处理、细胞活性检测 |
| 生化实验 | Western blot、ELISA、酶活测定 |
| 微生物实验 | 细菌培养、抗生素敏感性测试 |
| 化学实验 | 滴定、合成反应、色谱分析 |
它与**干实验(dry lab)**相对。干实验主要依赖计算、建模、数据分析或仿真,例如生物信息学分析、分子对接、机器学习建模、统计分析等。
简单说:湿实验是在实验台上“动手做样品”;干实验是在计算机上“分析或模拟”。