最优化理论-1.最优化问题的基本形式

最优化问题的基本形式

最优化问题的定义

  从一个可行解的集合$S$中，求出针对某一问题的最优的解$X^{\ast }$。

最优化问题的基本形式

  最优化问题的基本形式(1)：

$$\begin{array}{rl}\underset{x}{min}& f(x)\\ s.t.& m_i(x)\le 0,i=1,2,\dots ,M\\ & n_j(x)=0,j=1,2,\dots ,N\end{array}$$

• $x={\left[\begin{array}{c}{x}_1,x_2,\dots ,x_n\end{array}\right]}^T,x\in {\mathbb{R}}^n$ 称为优化变量(Optimization Variable).
  

• $f:{\mathbb{R}}^n\to \mathbb{R}$，称为目标函数(Objective Function).
  

• $m_i:{\mathbb{R}}^n\to \mathbb{R}$，称为不等式约束(Inequality Constraint).
  

• $n_j:{\mathbb{R}}^n\to \mathbb{R}$，称为等式约束(Equality Constraint).
  

• $$，称为最优化问题的域(Domain)，$$ 称为可行解(Feasible Solution).

• $$，称为最优化问题的最优值(Optimum).
  

• $$，称$$为最优化问题的最优解(Optimal Solution).
  

• $$，称为最优化问题的最优解集(Optima Set).

• 注：有时最优解不止一个，最优解的集合称为最优解集。

最优化问题的分类

  根据最优化问题的目标函数、可行解的不同，可以将最优化问题分为多种类别，以下是一些比较常见的分类：

• 线性规划/非线性规划
    若目标函数$$与不等式约束$$均为线性函数，则该最优化问题称为线性规划问题，否则即为非线性规划问题。
    函数$$为线性函数的充要条件：$$.

• 凸优化/非凸优化
    若目标函数$$为凸函数，且可行解$$为凸集，则该最优化问题称为凸优化问题。
    集合$$为凸集的充要条件：$$.
    函数$$为凸函数的充要条件: $$为凸集，且$$，有以下不等式成立：
  $$

• 连续变量优化/离散变量优化
    若可行解$$是连续的，则该最优化问题为连续变量优化问题；若可行解$$是离散的，则该最优化问题称为离散变量优化问题。
    离散变量优化问题中比较常见的为可行解均为整数的整数变量优化。

• 单目标优化/多目标优化
    若目标函数$$是唯一的，则为单目标优化问题；若有多个目标函数$$，则为多目标优化问题。

• 无约束问题/等式约束问题/不等式约束问题
    若最优化问题没有约束条件，只有目标函数，则称为无约束问题；若最优化问题的约束条件是一些等式，则称为等式约束问题；若最优化问题的约束条件是一些不等式，则称为不等式约束问题。