semantic gap 为什么研究机器视觉的时候都是在研究猫呢
assignment 1
2.图像分类与线性分类器
机器学习的流程: 1. 收集数据集和标签 2. 用机器学习算法训练分类器 3. 在新图像上评价分类器
Nearest Neighbor KNN
曼哈顿距离 L1 对特征值敏感,比如旋转则特征值将改变
超参数问题 hyperparameters
测试集、训练集、验证集
交叉验证
CIFAR10 数据集
Linear Classifier
线性分类器
$$
f(x,W,b)=Wx+b
$$
权重,偏置

从代数视角看一个 2×2 像素图像,变成向量,输入线性函数,映射得到分数进行分类
损失函数 衡量预测分数与真实分数之间的差异
Softmax Classifier
思路: 1. 把 score 转成“概率形式” 2. 用正确类别的概率计算 loss
linear classifier + softmax + loss
softmax 公式:全部分数取指数然后归一化
概率由 softmax 定义 正确类别概率取负值再取对数得到损失函数
KL 函数 交叉熵函数 BCE 二元交叉熵
3. Regularization and Optimization
正则化与优化
正则化目的,让训练集预测差一点但是测试集表现好一点,也就是防止过拟合
optimize
损失景观
Gradient Descent梯度下降

优化 RMSProp
优化 Adam
学习率 调度器 线形缩放定律
神经网络与反向传播
激活函数 Activation functions ReLU 激活函数引入非线性变换 sigmoid
调整正则化超参数
感知和理解视觉世界
卷积神经网络
算子:卷积层、池化层
特征提取范式,淘汰了
卷积网络,端到端学习方式
卷积层、全连接层
滤波器怎么来?梯度下降学习出来的
超参数:训练之前就确定好的参数,比如滤波器大小
CNN 架构
多层网络性能优化,让其不比浅层模型差
residual connection 残差连接

怎么确定初始权重 Weight Initialization
何恺明? MSRA Initialization
训练数据不足时如何训练 cnn
其实是预训练微调
超参数选择
循环神经网络 RNN
工具:weights and biases
构建神经网络
注意力与 Transformer
Attention and Transformer
Attention layer
编码器以及解码器
目标检测、图像分割与可视化
vision transformer(ViT)
patch➡️token➡️add position ➡️

全卷积网络
语义分割
Object Detection 实例分割
Single-Stage Object Detectors
YOLO

Mask R-CNN
Class Activation Mapping (CAM)类激活图算法
大规模分布式训练
GPU 用于并行计算
TPU 训练
梯度运算可以并行
Self-Supervised Learning 自监督学习
predict rotation
掩码自编码器 MAE
SimCLR MoCo DINO
Generative Models 生成模型
输出具有模糊性
变分自编码器 VAE
Diffusion Models 扩散模型
关于在机器人中的应用可以看这篇论文
修正流模型 Rectified Flow
Latent Diffusion Models(LDMs) 潜在扩散模型
Diffusion Transformer
3D Vision
网格
Multi多模态基础模型
SimCLR
CLIP
文本编码器

































































