知识点

这里将记录一些在读论文中遇到的一些知识点

向量范数

定义

向量范数是用于度量向量空间中向量"长度"或"大小"的函数，需满足以下条件：

1. 非负性：

   $$\mathrm{\forall }\mathbf{x}\in {\mathbb{R}}^n(\text{或 }{\mathbb{C}}^n),\parallel \mathbf{x}\parallel \ge 0\text{ 且 }\parallel \mathbf{x}\parallel =0\iff \mathbf{x}=\mathbf{0}$$

2. 齐次性：

   $$\mathrm{\forall }c\in \mathbb{R},\mathbf{x}\in {\mathbb{R}}^n,\parallel c\mathbf{x}\parallel =|c|\cdot \parallel \mathbf{x}\parallel$$

3. 三角不等式：

   $$\mathrm{\forall }\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n,\parallel \mathbf{x}+\mathbf{y}\parallel \le \parallel \mathbf{x}\parallel +\parallel \mathbf{y}\parallel$$

常见范数类型

名称	数学表示	应用场景
L₁范数 (曼哈顿范数)	$|\mathbf{x}|1 = \sum^n	x_i
L₂范数 (欧几里得范数)	$|\mathbf{x}{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}$	欧氏距离计算
L∞范数 (切比雪夫范数)	$|\mathbf{x}|_\infty = \max_i	x_i
L₀范数	$|\mathbf{x}{|}_0=\mathrm{\#}\{i\mid x_i\ne 0\}$	稀疏优化

应用场景

机器学习

• 特征缩放：通过L₂范数归一化处理
• 正则化：
  • L₁范数 → Lasso回归
  • L₂范数 → 岭回归

重要性质

1. 连续性：

   $$\parallel \mathbf{x}\parallel \to \parallel \mathbf{y}\parallel \iff \mathbf{x}\to \mathbf{y}$$

2. 等价性：

   $$\mathrm{\exists }m,M>0,\text{ s.t. }m\parallel \mathbf{x}{\parallel }_{\alpha }\le \parallel \mathbf{x}{\parallel }_{\beta }\le M\parallel \mathbf{x}{\parallel }_{\alpha }$$

Jaccard距离的定义与计算

Jaccard Similarity Index

Jaccard相似指数用来度量两个集合之间的相似性，它被定义为两个集合交集的元素个数除以并集的元素个数。

$$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

Jaccard Distance

Jaccard距离用来度量两个集合之间的差异性，它是Jaccard的相似系数的补集，被定义为1减去Jaccard相似系数。

$$d_J(A,B)=1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}$$

即越小相似度越高