Vectors: Basic Operations

This blog is based on Jong-han Kim's Linear Algebra

Block Vectors

Zero, ones, and unit vectors

• n-vector 모든 값이 $0$ 이면, $0_n$, $0$라 표현한다.
• n-vector 모든 값이 $1$ 이면, $\mathbf{1}_n$, $\mathbf{1}$라 표현한다.
• unit vector 는 하나의 값이 $1$, 나머지는 $0$으로 채워짐.

e.g., 길이가 $3$인 단위벡터

Sparsity

벡터에 $0$으로 채워진 경우가 많다. 이를 효율적으로 계산할 수 있음.
$\mathbf{mnz}(x)$: non-zero인 값의 수

e.g., zero vector, unit vector

Properties of vector addition

• commutative: $a + b = b + a$
• associative: $(a + b) + c = a + (b + c)$

Scaler-vector multiplication

scalar $\beta$, n-vector $\mathbf{a}$

e.g.,

Properties of scalar-vector multiplication

• associative: $(\beta \gamma)\mathbf{a} = \beta(\gamma \mathbf{a})$
• left distributive: $(\beta + \gamma) \mathbf{a} = \beta\mathbf{a} + \gamma\mathbf{a}$
• right distributive: $\beta(\mathbf{a} + \mathbf{b}) = \beta\mathbf{a} + \beta\mathbf{b}$

Linear combinations

vectors $\mathbf{a}_1, \dots, \mathbf{a}_m$, scalars $\beta_1, \dots,\beta_m$ 의 linear combination은 $\beta_1\mathbf{a}_1 + \dots + \beta_m\mathbf{a}_m$ 이다.

e.g., for any n-vector $\mathbf{b}$

Linear product

Inner product (or dot product) of n-vectors $\mathbf{a}$ and $\mathbf{b}$ is

다른 notation: $<a, b>,\ <a \vert b>,\ (a, b),\ a \cdot b$

e.g.,

Properties of inner product

• $\mathbf{a}^T\mathbf{b} = \mathbf{b}^T\mathbf{a}$
• $(\gamma\mathbf{a})^T\mathbf{b} = \gamma(\mathbf{a}^T\mathbf{b})$
• $(\mathbf{a}+\mathbf{b})^T\mathbf{c} = \mathbf{a}^T\mathbf{c}+\mathbf{b}^T\mathbf{c}$

e.g.,

중요 예시

행렬에서 자주 사용하는 수식이다.