← Back to Blog

[Convex Optimization] Convex

math > convex-optimization

2026-03-142 min read

#convexity #operations #convex-optimization

Convex function

함수 f:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R} 의 정의역이 convex set이고, 임의의 두 점 x,y∈domfx,y \in \text{dom} f 를 잇는 선분 위의 모든 점들이 함수 ff 위의 점들보다 위에 있다면 그 함수 ff 는 convex 이다.

f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y),with 0≤θ≤1,for all x,y∈domf\begin{align} &f(\theta x + (1-\theta)y) \leq \theta f(x) + (1 - \theta)f(y),\\ &\text{with}\ 0 \leq \theta \leq 1, \text{for all}\ x,y \in \text{dom}f \end{align}

fg1

위 식은 ff 상에 존재하는 임의의 점 xx 와 점 yy 를 잇는 선분이 함수 ff 의 그래프 위에 존재하는 것을 의미한다. 즉, 두 점 x,yx,y 의 convex combination에서의 ff 의 값은 f(x),f(y)f(x), f(y) 의 convex combination 값보다 작거나 같다.

Strictly convex

함수 f:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R} 가 임의의 서로 다른 두 점 x,y∈domfx,y \in \text{dom}f 과 0<θ<10\lt \theta \lt 1 에 대해 다음의 조건을 만족하면 이를 strictly convex 라 한다.

f(θx+(1−θ)y)<θf(x)+(1−θ)f(y)\begin{align} &f(\theta x + (1-\theta)y) \lt \theta f(x) + (1-\theta)f(y)\\ \end{align}

Strongly convex

f−m2∥x∥22 with m>0f - \frac{m}{2} \lVert x\rVert^2_2\ \text{with}\ m\gt 0 가 convex 이면 ff 는 strongly convex 이다.

Concave function

함수 −f-f 가 convex 이면, ff 는 concave라고 한다.

Linear 함수를 포함한 모든 affine 함수 f(x)=aTx+bf(x) = a^T x + b 는 다음 식을 만족한다.

f(θx+(1−θ)y)=aT(θx+(1−θ)y)+b=θaTx+(1−θ)aTy+θb+(1−θ)b=θf(x)+(1−θ)f(y)for all x,y∈domf, with 0≤θ≤1\begin{align} f(\theta x + (1-\theta)y) &= a^T(\theta x + (1-\theta)y) + b\\ &= \theta a^T x + (1-\theta)a^T y + \theta b + (1-\theta)b\\ &= \theta f(x) + (1-\theta)f(y)\\ \text{for all}\ x,y &\in \text{dom} f\text{, with}\ 0 \leq \theta \leq 1 \end{align}

affine 함수는 항상 convex이며, 동시에 concave 이다.