← Back to Blog

[Convex Optimization] Key properties of convex functions

math > convex-optimization

2026-03-232 min read

#convexity #operations #convex-optimization

reference

Key properties of convex functions

Epigraph characterization

ff 가 convex 이면 epigraph는 convex set이고, 그 역도 성립한다.

f is convex⟺epi(f)={(x,y)∈Rn+1∣x∈domf,f(x)≤t} is a convex setf\ \text{is convex} \Longleftrightarrow \text{epi}(f) = \{(x,y) \in \mathbb{R}^{n+1} \mid x \in \text{dom} f, f(x) \leq t\}\ \text{is a convex set}

Convex sublevel sets

함수 ff 가 convex이면 그 sublevel set도 convex이다.

{x∈domf:f(x)≤t, for all t∈R}\{x \in \text{dom}f: f(x) \leq t\text{, for all}\ t\in \mathbb{R}\}

[참고] Sublevel set

함수의 f:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R} 에 대한 Cα={x∈domf∣f(x)≤α}C_\alpha = \{x\in \text{dom}f \mid f(x) \leq \alpha\} 를 α\alpha -sublevel set 이라 한다.

First-order characterization

함수 ff 가 미분가능하다고 가정하면 다음이 성립한다.
함수 ff 의 도메인 domf\text{dom} f 가 convex 이고, 함수 ff 의 도메인에 속하는 임의의 x,yx,y 에 대하여 f(y)≥f(x)+∇f(x)T(y−x) for all x,y∈domff(y) \geq f(x) + \nabla f(x)^T(y-x)\ \text{for all}\ x,y \in \text{dom}f

아래 그림은 미분 가능한 convex function ff 에 관한 1차 테일러 다항식의 그래프이다. 임의의 x,y∈domfx,y\in \text{dom}f 에 대해서 f(y)≥f(x)+Δf(x)T(y−x)f(y)\geq f(x) + \Delta f(x)^T(y-x) 임을 만족한다.

convex function

Second-order characterization

함수 ff 가 두 번 미분가능할 때 함수 ff 는 다음과 같은 성질을 가진다.

정의역이 convex 인 함수 ff 의 2차 미분이 0보다 크거나 같을 경우, 함수 ff 는 convex 이고, 그 역 또한 성립된다.

f is convex⟺∇2f(x)⪰0 for all x∈domf,domf:convexf\ \text{is convex} \Longleftrightarrow \nabla^2 f(x) \succeq 0\ \text{for all}\ x\in \text{dom}f,\text{dom}f: \text{convex}

함수 ff 의 2차 미분이 0보다 클 경우, 함수 ff 는 strictly convex이다.

if ∇2f(x)≻ for all x∈domf, then f is strictly convex\text{if}\ \nabla^2 f(x) \succ\ \text{for all}\ x\in \text{dom}f\text{, then}\ f\ \text{is strictly convex}

기울기 변화량이 항상 양수임을 의미한다.

Jensen's inequality

이건 수능에서 킬러문제 풀 때 애용하는 수식이라 익숙할 것이다.
함수 ff 가 convex 이고 nn 개의 양수 w1,…,wnw_1,\dots,w_n 에 대하여 ∑i=1nwi=1\sum^n_{i=1} w_i = 1 이라 하자.
이때 다음이 성립한다.

∑i=1nwif(xi)≥f(∑i=1nwixi)\sum^n_{i=1} w_i f(x_i) \geq f(\sum^n_{i=1} w_i x_i)

함수 ff 가 convex 이면 다음 부등식을 만족한다.

f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2) for 0≤t≤1f(tx_1 + (1-t)x_2) \leq t f(x_1) + (1-t)f(x_2)\ \text{for}\ 0 \leq t \leq 1

Jensen's Inequality