%% LyX 2.4.4 created this file.  For more info, see https://www.lyx.org/.
%% Do not edit unless you really know what you are doing.
\documentclass[slovene]{article}
\usepackage[T1]{fontenc}
%\usepackage[latin2]{inputenc}
\usepackage{babel}
\usepackage{float}
\usepackage{mathtools}
\usepackage{enumitem}
\usepackage{amsmath}
\usepackage{amsthm}
\usepackage{amssymb}
\usepackage{cancel}
\usepackage{graphicx}
\usepackage{geometry}
\geometry{verbose,tmargin=2cm,bmargin=2cm,lmargin=2cm,rmargin=2cm,headheight=2cm,headsep=2cm,footskip=1cm}
\usepackage[pdfusetitle,
 bookmarks=true,bookmarksnumbered=false,bookmarksopen=false,
 breaklinks=false,pdfborder={0 0 1},backref=false,colorlinks=false]
 {hyperref}

\makeatletter

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% LyX specific LaTeX commands.
\newcommand{\noun}[1]{\textsc{#1}}
%% Because html converters don't know tabularnewline
\providecommand{\tabularnewline}{\\}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% Textclass specific LaTeX commands.
\newlength{\lyxlabelwidth}      % auxiliary length 
\theoremstyle{definition}
\newtheorem*{example*}{\protect\examplename}
% labeling-like list based on enumitem's description list with
% mandatory second argument (label-pattern):
	\newenvironment{elabeling}[2][]%
	{\settowidth{\lyxlabelwidth}{#2}
		\begin{description}[font=\normalfont,style=sameline,
			leftmargin=\lyxlabelwidth,#1]}
	{\end{description}}
\theoremstyle{definition}
\newtheorem*{defn*}{\protect\definitionname}
\theoremstyle{remark}
\newtheorem*{claim*}{\protect\claimname}
\theoremstyle{plain}
\newtheorem*{fact*}{\protect\factname}
\theoremstyle{remark}
\newtheorem*{note*}{\protect\notename}
\theoremstyle{plain}
\newtheorem*{question*}{\protect\questionname}
\theoremstyle{plain}
\newtheorem*{thm*}{\protect\theoremname}
\theoremstyle{plain}
\newtheorem{thm}{\protect\theoremname}
\theoremstyle{plain}
\newtheorem{cor}[thm]{\protect\corollaryname}
\theoremstyle{plain}
\newtheorem*{cor*}{\protect\corollaryname}
\theoremstyle{remark}
\newtheorem*{rem*}{\protect\remarkname}
\theoremstyle{plain}
\newtheorem*{lem*}{\protect\lemmaname}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% User specified LaTeX commands.
\usepackage{hyperref}
\usepackage{siunitx}
\usepackage{pgfplots}
\usepackage{listings}
\usepackage{multicol}
\sisetup{output-decimal-marker = {,}, quotient-mode=fraction, output-exponent-marker=\ensuremath{\mathrm{3}}}
\usepackage{amsmath}
\usepackage{tikz}
\newcommand{\udensdash}[1]{%
    \tikz[baseline=(todotted.base)]{
        \node[inner sep=1pt,outer sep=0pt] (todotted) {#1};
        \draw[densely dashed] (todotted.south west) -- (todotted.south east);
    }%
}%
\DeclareMathOperator{\Lin}{\mathcal Lin}
\DeclareMathOperator{\rang}{rang}
\DeclareMathOperator{\sled}{sled}
\DeclareMathOperator{\Aut}{Aut}
\DeclareMathOperator{\red}{red}
\DeclareMathOperator{\karakteristika}{char}
\DeclareMathOperator{\Ker}{Ker}
\DeclareMathOperator{\Slika}{Im}
\DeclareMathOperator{\sgn}{sgn}
\DeclareMathOperator{\End}{End}
\DeclareMathOperator{\n}{n}
\DeclareMathOperator{\Col}{Col}
\DeclareMathOperator{\Frac}{Frac}
\DeclareMathOperator{\Int}{Int}
\DeclareMathOperator{\Cl}{Cl}
\DeclareMathOperator{\Fr}{Fr}
\DeclareMathOperator{\diam}{diam}
\usepackage{algorithm,algpseudocode}
\providecommand{\corollaryname}{Posledica}
\usepackage[slovenian=quotes]{csquotes}
\DeclareMathOperator{\grad}{grad}

\makeatother

\providecommand{\claimname}{Trditev}
\providecommand{\corollaryname}{Korolar}
\providecommand{\definitionname}{Definicija}
\providecommand{\examplename}{Zgled}
\providecommand{\factname}{Dejstvo}
\providecommand{\lemmaname}{Lema}
\providecommand{\notename}{Opomba}
\providecommand{\questionname}{Vprašanje}
\providecommand{\remarkname}{Pripomba}
\providecommand{\theoremname}{Izrek}

\begin{document}
\title{Teorija OM --- IŠRM 2024/25}
\author{\noun{Anton Luka Šijanec}}
\date{\today}
\maketitle
\begin{abstract}
Povzeto po mojih zapiskih s predavanj profesorja Konvalinke.
\end{abstract}
\tableofcontents{}

Opozorilo: Dokument ni uradna skripta, napisal sem ga študent. V dokumentu
so gotovo napake. Kjer se pojavi niz ,,NE RAZUMEM`` je kakšen dokaz
ali postopek nepopoln, lažniv ali pa je zgolj nepreverjen prepis nerazumljivega
zapisa iz zvezka. Dokument je ustvarjen brez dovoljenja nosilca predmeta
in je v resnici tudi predelana avtorsko zaščitena vsebina (predavanja).
Morebitnim avtorskim pravicam, če mi pripadajo, se odrekam in, če
smem, kar mogoče ni nujno, ker je povzet po avtorsko zaščitenih predavanjih,
dokument licenciram pod CC0 --- \href{https://creativecommons.org/publicdomain/zero/1.0/deed.sl}{https://creativecommons.org/publicdomain/zero/1.0/deed.sl}.
Izvorna koda dokumenta: \href{http://4a.si./omlyx}{http://4a.si./omlyx}

\section{Optimizacijski problemi}

Radi bi našli $\min$ ali $\max$ (skupno rečeno opt) vrednost določene
funkcije (kriterijska funkcija), ki slika v $\mathbb{R}$, na neki
množici (dopustna množica dopustnih rešitev).
\begin{example*}
Nekaj zgledov:
\begin{elabeling}{00.00.0000}
\item [{$f:\left[-1,2\right]\to\mathbb{R};\quad x\mapsto x^{2}-2x+1$}] Optimume
najdemo z znanim postopkom: izračunamo odvod, preverimo stacionarne
točke in krajišča.
\item [{$f:\left[0,2\right]\times\left[1,4\right]\to\mathbb{R};\quad x\mapsto x^{2}-3xy+y^{2}+4x-5$}] Optimume
najdemo z znanim postopkom: izračunamo parcialni odvod, preverimo
stacionarne točke in parametriziramo rob in najdemo ekstreme še na
robu.
\item [{Kmetija}] ima $50$ hektarov zemlje in goji pšenico, koruzo in
krompir z naslednjimi lastnostmi:
\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|}
\hline 
poljščina & delovna sila {[}človek ura na hektar{]} & strošek {[}evro na hektar{]} & dobiček {[}evro na hektar{]}\tabularnewline
\hline 
\hline 
pšenica & 60 & 400 & 240\tabularnewline
\hline 
koruza & 80 & 600 & 400\tabularnewline
\hline 
krompir & 100 & 480 & 320\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Specifikacija problema kmetije}

\end{table}
Na voljo imajo 5000 človek ur, 24000 evrov kapitala. Maksimizirajmo
dobiček.

Naše spremenljivke so pšenica ($x_{1}$), koruza ($x_{2}$) in krompir
($x_{3}$). Nalogo rešimo s spodnjim optimizacijskim problemom ---
problemom linearnega programa/linearne optimizacije:

\[
\begin{array}{ccccc}
\max & 240x_{1} & +400x_{2} & +320x_{3}\\
 & x_{1} & +x_{2} & +x_{3} & \leq50\\
 & 60x_{1} & +80x_{2} & +100x_{3} & \leq5000\\
 & 400x_{1} & +600x_{2} & +480x_{3} & \leq24000\\
 & x_{1}, & x_{2,} & x_{3} & \geq0
\end{array}
\]

\item [{Jabolka}] Imamo $2n$ jabolk s težami $w_{1},\dots,w_{2n}$. Razporedi
jih v dve košari, v vsako $n$ jabolk, da je razlika tež čim manjša.
Spremenljivke: $x_{i}\in\left\{ -1,1\right\} $ ($-1$ za levo, $1$
za desno košaro) za $i\in\left\{ 1..2n\right\} $. Optimizacijski
problem 
\[
\min\left|\sum_{i\in\left\{ 1..2n\right\} }w_{i}x_{i}\right|\quad\text{p.p.}\quad\sum_{i=1}^{2n}x_{i}=0
\]
ni linearen program, ker kriterijska funkcija ni linearna v spremenljivkah.
\item [{Most}] Štiri osebe (Ana, Barbara, Cvetka in Darja) želijo prečkati
most. Prečkata ga lahko največ dve osebi hkrati. Imajo le eno svetilko.
Ana prečka most v eni minuti, Barbara v dveh, Cvetka v petih in Darja
v desetih. Izračunaj minimalni potreben čas, v katerem lahko vse prečkajo
most.

Nalogo rešimo z uteženim grafom stanj $G=\left(V,E\right)$, kjer
so $V$ možna stanja, $E$ možni prehodi med stanji in uteži povezav
porabljen čas za prehod med stanji. Stanje je oblike $\left\{ 0,1\right\} \times2^{\left\{ A,B,C,D\right\} }$
in ponazarja, na kateri strani mostu je svetilka in katere osebe so
na začetni strani mostu. Začetno stanje je $\underline{ABCD}-\emptyset$
(svetilka in vse osebe so na začetni strani mostu), ciljno pa $\emptyset-\underline{ABCD}$
(svetilka in vse osebe so na končni strani mostu). Utež povezave je
izražena v minutah, potrebnih za prestavitev med stanji in predstavlja
maksimum prehodnih časov oseb, ki prečkajo most. Da najdemo optimalno
pot med začetnim in ciljnim stanjem, uporabimo Dijkstrov algoritem.
\item [{Plavalci}] Imamo šest plavalcev s podanimi časi po disciplinah
\[
\begin{array}{ccccc}
 & \text{prsno} & \text{hrbtno} & \text{delfin} & \text{prosto}\\
1 & 65 & 73 & 63 & 57\\
2 & 67 & 70 & 65 & 58\\
3 & 68 & 72 & 69 & 55\\
4 & 67 & 75 & 70 & 59\\
5 & 71 & 69 & 75 & 57\\
6 & 69 & 71 & 66 & 59
\end{array}
\]
Sestaviti želimo čimhitrejšo štafeto, torej vsaki disciplini želimo
prirediti natanko enega plavalca, ki bo to plaval v tej disciplini,
pri pogoju, da lahko plavalec plava v največ eni disciplini.

Izdelamo poln dvodelni graf $K_{4,6}$ z utežmi na povezavah, ki predstavljajo
čas plavalca v disciplini. Iščemo popolno prirejanje iz $X$ v $Y$.
Vseh je $6^{\underline{4}}$. Iščemo tisto z najmanjšo vsoto ---
najcenejše popolno prirejanje iz $X$ v $Y$. Problem rešimo z madžarsko
metodo z utežmi.
\item [{TSP}] Problem potujočega trgovca. Podana je matrika z razdaljami
med mesti:
\[
\begin{array}{cccccc}
 & \text{Ljubljana} & \text{London} & \text{Madrid} & \text{Pariz} & \text{Rim}\\
\text{Ljubljana} & 0 & 5 & 10 & 5 & 10\\
\text{London} & 5 & 0 & 10 & 1 & 5\\
\text{Madrid} & 10 & 10 & 0 & 5 & 5\\
\text{Pariz} & 5 & 1 & 5 & 0 & 1\\
\text{Rim} & 10 & 5 & 5 & 1 & 0
\end{array}
\]
Navodilo: Iz Ljubljane obišči vsa mesta in se vrni v Ljubljano čim
ceneje. Vsako mesto obišči točno enkrat. Rešitev: Izdelamo utežen
polni graf z mesti za vozlišča in razdaljami med njimi za uteži na
povezavah. Iščemo najcenejši Hamiltonov cikel. Za ta problem ne obstaja
učinkovit algoritem.
\end{elabeling}
\end{example*}
\begin{defn*}
Optimizacijski problem je trojica (max/min, kriterijska oziroma ciljna
funkcija $f$ , dopustna množica oziroma množica dopustnih rešitev
oziroma feasible set $\Omega$). Iščemo optimalno rešitev $x^{*}\in\Omega\ni:\forall x\in\Omega:f\left(x^{*}\right)\geq f\left(x\right)$
oz. $f\left(x^{*}\right)\leq f\left(x\right)$. Optimalna vrednost
je $f\left(x^{*}\right)$, kjer je $x^{*}$ optimalna rešitev. ,,Rešiti
optimizacijsko nalogo`` pomeni ,,poiskati optimalno rešitev``.

Optimizacijski problemi se delijo na:
\begin{itemize}
\item nedopustne: množica dopustnih rešitev je prazna. Primer: $\left(\max,x,x\leq1\wedge x\geq2\right)$.
\item dopustne: množica dopustnih rešitev ni prazna. Ti se dalje delijo
na:
\begin{itemize}
\item neomejene: $f$ lahko doseže poljubno velike vrednosti. Primer: $\left(\max,x,x\geq0\right)$.
\item neoptimalne: ni ustrezne rešitve, a problem ni neomejen: Primer: $\left(\max,x,x<5\right)$
(opazi: strogo manjše).
\item optimalne: ima rešitev. Primer: $\left(\max,-x,x\geq0\right)$ (optimalna
rešitev je $x^{*}=0$ z vrednostjo $f\left(0\right)=0$).
\end{itemize}
\end{itemize}
\end{defn*}

\subsection{Linearno programiranje}
\begin{defn*}
Linearni program/LP je optimizacijski problem, pri katerem je $f$
linearna funkcija in $\Omega\subseteq\mathbb{R}^{n}$ je podana z
linearnimi enakostmi in neenakostmi oblike $a_{1}x_{1}+\cdots+a_{n}x_{n}\oplus b$,
kjer je $\oplus\in\left\{ \leq,\geq,=\right\} $ (ne pa tudi $<$
in $>$). Pravimo, da je LP v standardni obliki, če
\begin{itemize}
\item iščemo maksimum,
\item $\Omega$ je podan s samimi $\leq$ (brez $=$,$\geq$) in
\item za vse spremenljivke velja, da so nenegativne.
\end{itemize}
Torej LP v standardni obliki izgleda takole:

\[
\begin{array}{ccccc}
\max & cx_{1} & +\cdots+ & c_{n}x_{n}\\
\text{p. p.} & a_{11}x_{1} & +\cdots+ & a_{1n}x_{n} & \leq b_{1}\\
 & \vdots &  & \vdots & \vdots\\
 & a_{m1}x_{1} & +\cdots+ & a_{mn}x_{n} & \leq b_{m}\\
 & x_{1}, & \cdots & x_{m} & \geq0
\end{array}
\]
Tipično je maksimizacija dobička LP v standardni obliki. Simpleksna
metoda deluje na LP v standardni obliki.

\end{defn*}
\begin{claim*}
Vsak LP je ekvivalenten nekemu LP v standardni obliki.
\end{claim*}
\begin{proof}
Pretvorbe 
\begin{itemize}
\item $\min f\mapsto\max-f$
\item $a\geq b\mapsto-a\leq-b$
\item $c=d\mapsto c\leq d\wedge d\leq c$
\item $x_{i}\leq0\mapsto x_{i}'=-x_{i},x_{i}'\geq0$
\item $x_{j}\lesseqqgtr0\mapsto x_{j}=x_{j}'-x_{j}''\wedge x_{j}',x_{j}''\geq0$
--- vsako število lahko izrazimo kot razliko dveh pozitivnih števil
\end{itemize}
ohranijo optimalne rešitve.
\end{proof}
\begin{example*}
Oglejmo si pretvorbo danega LP v LP v standardni obliki:
\[
\begin{array}{ccccc}
\min & 2x_{1} & -3x_{2} & +x_{3}\\
\text{p. p.} & x_{1} & +x_{2} &  & \leq4\\
 & 3x_{1} & -x_{2} & -x_{3} & \geq1\\
 & 2x_{2} &  & +5x_{3} & =-1\\
 & x_{1}\geq0 &  & \leq0
\end{array}
\]
Vpeljemo $x_{3}'\coloneqq-x_{3}$ in $x_{2}=x_{2}'-x_{2}''$ in popravimo
neenakosti, enakosti in opt ter kriterijsko funkcijo po zgoraj opisanih
pretvorbah. Dobimo
\[
\begin{array}{cccccc}
\max & -2x_{1} & +3x_{2}' & -3x_{2}'' & +x_{3}'\\
\text{p. p.} & x_{1} & +x_{2}' & -x_{2}'' &  & \leq4\\
 & -3x_{1} & +x_{2}' & -x_{2}'' & -x_{3}' & \leq-1\\
 &  & 2x_{2}' & -2x_{2}'' & +5x_{3}' & \leq-1\\
 &  & -2x_{2}' & +2x_{2}'' & -5x_{3}' & \leq1\\
 & x_{1}, & x_{2}', & x_{2}'', & x_{3}' & \geq0
\end{array}
\]
\end{example*}

\subsubsection{Konveksna množica}

$x+\left(y-x\right)\cdot\lambda=\left(1-\lambda\right)x+\lambda y$
je parametrizacija točk na $xy-$premici. Za $\lambda\in\left[0,1\right]$
pa je to parametrizacija $xy-$daljice.
\begin{defn*}
$A\subseteq\mathbb{R}$ (ali poljuben vektroski prostor nad poljem
$\mathbb{R}$) je konveksna, če velja $\forall a,b\in A,\lambda\in\left[0,1\right]:\left(1-\lambda\right)x+\lambda y\in A$.
\end{defn*}
\begin{fact*}
Za $A\subseteq\mathbb{R}$ se izkaže, da je $A$ konveksna $\Leftrightarrow A$
je interval.
\end{fact*}
%
\begin{fact*}
Krogla $R$ v $\mathbb{R}^{n}$ je konveksna, kajti 
\[
\left|\left|x\right|\right|,\left|\left|y\right|\right|\leq R\Rightarrow\left|\left|\left(1-\lambda\right)x+\lambda y\right|\right|\leq\left|\left|\left(1-\lambda\right)x\right|\right|+\left|\left|\lambda y\right|\right|=\left|1-\lambda\right|\left|\left|x\right|\right|+\left|\lambda\right|\left|\left|y\right|\right|=\left(1-\lambda\right)\left|\left|x\right|\right|+\lambda\left|\left|y\right|\right|\leq\left(1-\lambda\right)R+\lambda R=R
\]
Nadalje so v $\mathbb{R}^{n}$ konveksne še premica, ravnina in kocka.
\end{fact*}
\begin{claim*}
Vsak linearen podprostor v $\mathbb{R}^{n}$ je konveksen.
\end{claim*}
\begin{proof}
Če je $x,y\in V$, je $\lambda x+\mu y\in V$, torej tudi za $\lambda\in\left[0,1\right]$
in $\mu=1-\lambda$.
\end{proof}
\begin{claim*}
$a+V$ je tudi konveksna za $V$ podprostor. Naj bo $x,y\in V$. 
\end{claim*}
\begin{proof}
\[
\left(1-\lambda\right)x+\lambda y\in V\Rightarrow\left(1-\lambda\right)\left(x+a\right)+\lambda\left(y+a\right)=\left(1-\lambda\right)x+\lambda x+\left(1-\lambda\right)a+\lambda a=\left(1-\lambda\right)x+\lambda y+a\in V
\]
\end{proof}
\begin{claim*}
Polprostor je tudi konveksen.
\end{claim*}
\begin{proof}
Naj bo polprostor definiran z enačbo $H=\left\{ x\subseteq V;a\cdot x=a_{1}x_{1}+\cdots+a_{n}x_{n}\leq b\right\} $.
Imejmo $x,y\in H$, se pravi velja 
\[
\text{I:}\quad a_{1}x_{1}+\cdots+a_{n}x_{n}\leq b\quad\text{in}
\]
\[
\text{II:}\quad a_{1}y_{1}+\cdots+a_{n}y_{n}\leq b.
\]
Naj bo $\lambda\in\left[0,1\right]$ in 
\[
\left(1-\lambda\right)x+\lambda y=\sum_{i=1}^{n}\left(\left(1-\lambda\right)x_{i}+\lambda y_{i}\right)\quad\quad/\cdot a
\]
\[
a\left(\left(1-\lambda\right)x+\lambda y\right)=\sum_{i=1}^{n}a_{i}\left(\left(1-\lambda\right)x_{i}+\lambda y_{i}\right)=\left(1-\lambda\right)\sum_{i=1}^{n}a_{i}x_{i}+\lambda\sum_{i=1}^{n}a_{i}y_{i}\overset{\text{po I. in II.}}{\leq}\lambda b+\left(1-\lambda\right)b=b,
\]
torej skupaj $\left(1-\lambda\right)x+\lambda y\leq b$ --- polprostor
je konveksen.
\end{proof}
\begin{defn*}
Pravimo takole: $\lambda x+\mu y$ je linearna kombinacija, $\lambda x+\mu y$
ob $x+y=1$ je afina kombinacija, $\lambda x+\mu y$ ob $\lambda,\mu\geq0\wedge\lambda+\mu=1$
je konveksna kombinacija, $\lambda x+\mu y$ ob $\lambda,\mu\geq0$
pa je nenegativna kombinacija.
\end{defn*}
\begin{claim*}
Za $A,B$ konveksni je $A\cap B$ konveksna in za $\left\{ A_{i};i\in I\subseteq\mathbb{N}\right\} $
je $\bigcap_{i\in I}A_{i}$ konveksna.
\end{claim*}
\begin{proof}
Naj bosta $x,y\in\bigcap_{i\in I\subseteq\mathbb{N}}A_{i}$ in $\lambda\in\left[0,1\right]$.
Velja $\forall i\in I:\left(1-\lambda\right)x+\lambda y\in A_{i}$,
ker je $A_{i}$ konveksna in ker sta $x,y$ v $A_{i}$ zaradi lastnosti
preseka.
\end{proof}
\begin{note*}
Unija ni nujno konveksna.
\end{note*}
\begin{claim*}
Naj bo P LP. Velja $\Omega$ konveksna in množica optimalnih rešitev
$\Omega^{*}=\left\{ x^{*}:x^{*}\text{ optimalna rešitev}\right\} $
konveksna.
\end{claim*}
\begin{proof}
$\Omega$ je presek polprostorov, torej je konveksen. Če je $\Omega^{*}=\emptyset$,
je konveksen, sicer pa 
\[
\exists x^{*}\in\Omega^{*}\ni:\Omega^{*}=\left\{ x\in\Omega;f\left(x\right)=f\left(x^{*}\right)\right\} =\Omega\cap\left\{ x\text{ poljuben};f\left(x\right)=f\left(x^{*}\right)\right\} 
\]
in $\Omega$ je konveksen, $\left\{ x\text{ poljuben};f\left(x\right)=f\left(x^{*}\right)\right\} $
pa je hiperravnina (ker je $f$ linearna je izraz $f\left(x\right)=f\left(x^{*}\right)$
oblike $a_{1}x_{1}+\cdots+a_{n}x_{n}=c$) in zato konveksna. Njun
presek je po prejšnji trditvi tudi sam konveksen.
\end{proof}
Linearne programe z dvema spremenljivkama lahko rešujemo grafično.
Pogoji so premice, ki razsekajo prostor in omejijo množico rešitev,
kriterijska funkcija pa določa vektor, ki kaže proti optimalni vrednosti.

\subsection{Simpleksna metoda}
\begin{defn*}
LP v std. obliki
\[
\begin{array}{ccccc}
\max & c_{1}x_{1} & +\cdots+ & c_{n}x_{n}\\
\text{p. p.} & a_{11}x_{1} & +\cdots+ & a_{1n}x_{n} & \leq b_{1}\\
 & \vdots &  & \vdots & \vdots\\
 & a_{m1}x_{1} & +\cdots+ & a_{mn}x_{n} & \leq b_{m}\\
 & x_{1}, & \dots & x_{n} & \geq0
\end{array}
\]
lahko zapišemo v matrični obliki kot
\[
c=\left[\begin{array}{c}
c_{1}\\
\vdots\\
c_{n}
\end{array}\right]\in\mathbb{R}^{n},\quad b=\left[\begin{array}{c}
b_{1}\\
\vdots\\
b_{m}
\end{array}\right]\in\mathbb{R}^{m},\quad A=\left[a_{ij}\right]_{i\in\left\{ 1..m\right\} ,j\in\left\{ 1..n\right\} }\in\mathbb{R}^{m\times n},\quad\max c^{T}x\quad\text{p. p.}\quad Ax\leq b,x\geq0.
\]
\end{defn*}
Orodje za reševanje LPVSO je simpleksna metoda. Naj bo P LPVSO.
\begin{enumerate}
\item Delimo vse enačbe z največjim skupnim deliteljem. Za primer kmetije
od prej:
\[
\begin{array}{ccccc}
\max & 3x_{1} & +5x_{2} & +4x_{3}\\
 & x_{1} & +x_{2} & +x_{3} & \leq50\\
 & 3x_{1} & +4x_{2} & +5x_{3} & \leq250\\
 & 10x_{1} & +15x_{2} & +12x_{3} & \leq600\\
 & x_{1}, & x_{2,} & x_{3} & \geq0
\end{array}
\]
\item Napišemo prvi slovar: To so vpeljane dopolnilne spremenljivke. Toliko
jih je, kolikor je omejitev: 
\[
x_{n+1}\coloneqq b_{1}-a_{11}x_{1}-\cdots-a_{1n}x_{n}
\]
\[
\vdots
\]
\[
x_{n+m}\coloneqq b_{m}-a_{m1}x_{1}-\cdots-a_{mn}x_{n}
\]
Za zgornji primer je prvi slovar
\[
x_{4}=50-x_{1}-x_{2}-x_{3}
\]
\[
x_{5}=250-5x_{3}-4x_{2}-3x_{1}
\]
\[
x_{6}=600-10x_{1}-15x_{2}-12x_{3}
\]
\[
z=3x_{1}+5x_{2}+4x_{3}\quad\text{(funkcija, ki jo maksimiziramo)}
\]
Dobimo slovar z $m+1$ enačbami: $m$ baznih spremenljivk in spremenljivka
$z$ so izražene s preostalimi $n$ nebaznimi spremenljivkami. Prvi
slovar so dopolnilne spremenljivke, izražene s prvotnimi, torej dopolnilne
so bazne, prvotne pa nebazne.

Pravimo, da je slovar dopusten $\Leftrightarrow$ konstantni koeficienti
pri vseh baznih spremenljivkah so nenegativni (v primeru so to $\left\{ 50,250,600\right\} $),
kar pri prvem slovarju pomeni $\forall i:b_{i}\geq0$. Če $\cancel{\forall i:b_{i}\geq0}$,
uporabimo dvofazno simpleksno metodo (kasneje). Zaenkrat predpostavimo
dopustnost.

V simpleksni metodi tudi za dopolnilne spremenljivke velja, da so
vselej nenegativne.
\item Če je slovar dopusten, nam daje bazno dopustno rešitev: vse nebazne
spremenljivke postavimo na 0. Sedaj želimo povečati $z$. Izberemo
nebazno spremenljivko s pozitivnim koeficientom v kriterijski funkciji
$z$. Rečemo ji vstopna spremenljivka. Vzamemo tisto bazno spremenljivko,
ki nam zapoveduje najnižno zgornjo mejo za vstopno spremenljivko ZDB
izberemo tisto, ki nas najbolj omejuje, ko želimo vstopno spremenljivko
čim bolj povečati. Tej pravimo izstopna spremenljivka ($x_{0}$).
Nastavimo vhodno spremenljivko na to zgornjo mejo. Tedaj je $x_{0}=0$.
Zamenjamo vlogo $x_{0}$ in vstopne spremenljivke (tako da izrazimo
vstopno --- sedaj vstopna postane bazna spremenljivka) in postopek
nadaljujemo.
\begin{question*}
Katero kandidatko za vstopno spremenljivko izberemo? Vseeno je. Lahko
recimo izberemo
\begin{itemize}
\item tisto z najmanjšim indeksom,
\item tisto z največjim koeficientom v $z$ (v praksi nekoliko hitrejše
računanje) ali pa
\item tisto, kjer lahko $z$ največ povečamo upoštevaje omejitve in koeficiente
(pravilo največjega povečanja).
\end{itemize}
\end{question*}
Vsaka bazna spremenljivka nam pove, za koliko se lahko poveča vstopna
spremenljivka. Za izstopno spremenljivko ($x_{0}$) izberemo tisto,
ki vstopno najbolj omejuje. Vrstici v bazi s to spremenljivko pravimo
,,pivotna vrstica``.

Če je koeficient vstopne spremenljivke pri kakšni bazni spremenljivki
$\geq0$, nam to ne daje omejitve za vstopno spremenljivko oziroma
$x_{i}\leq\infty$.

Če nam nobena bazna spremenljivka v nekem trenutku ne omejuje vstopne
spremenljivke, je problem neomejen --- končamo.

Degeneriran korak simpleksne metode: lahko se zgodi, da je ena od
omejitev $x_{i}\leq0$. V tem primeru se vrednost kriterijske funkcije
ne poveča.

V pivotni vrstici vstopno spremenljivko izrazimo z ostalimi nebaznimi
spremenljivkami in izraženo vstopno spremenljivko vstavimo v vse ostale
vrstice slovarja.

V našem primeru naj bo $x_{2}$ vstopna. Baza nam poda naslednje omejitve:
$x_{2}\leq50$, $x_{2}\leq\frac{250}{4}$, $x_{2}\leq\frac{600}{15}=40$
(slednje najbolj navzdol omeji $x_{2}$, zato bo tretja vrstica baze
pivotna in $x_{6}$ vzamemo kot izstopno spremenljivko). Takole preuredimo
pivotno vrstico, da izrazimo $x_{2}$:
\[
x_{6}=600-10x_{1}-15\underline{x_{2}}-12x_{3}
\]
\[
15x_{2}=600-10x_{1}-12x_{3}-x_{6}\quad/:15
\]
\[
x_{2}=40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}
\]
Nato to izražavo $x_{2}$ vstavimo v prvi slovar:
\[
x_{4}=50-x_{1}-\left(40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}\right)-x_{3}
\]
\[
x_{5}=250-3x_{1}-4\left(40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}\right)-5x_{3}
\]
\[
x_{2}=40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}
\]
\[
z=3x_{1}+5\left(40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}\right)+4x_{3}
\]
In po pokrajšanju iz tega dobimo drugi slovar:
\[
x_{2}=40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}
\]
\[
x_{4}=10-\frac{1}{3}x_{1}-\frac{1}{5}x_{3}+\frac{1}{15}x_{6}
\]
\[
x_{5}=90-\frac{1}{3}x_{1}-\frac{9}{5}x_{3}+\frac{4}{15}x_{6}
\]
\[
z=200-\frac{1}{3}x_{1}+0x_{3}-\frac{1}{3}x_{6}=200-\frac{1}{3}x_{1}-\frac{1}{3}x_{6}
\]

\item Ko v $z$ v slovarju naposled ni več nobene spremenljivke s pozitivnim
koeficientom, smo končali --- našli optimalno rešitev. Spremenljivke,
ki ostanejo v $z$ in imajo negativen koeficient, nastavimo na $0$.
Tiste, ki imajo v $z$ ničelni koeficient (= jih ni v $z$), vzamemo
kot parametre rešitve. Optimalna vrednost je nato vrednost $z$ (prosti
koeficient brez spremenljivke). V našem primeru:
\[
x_{1}^{*}=0,\quad x_{6}^{*}=0,\quad x_{3}^{*}=t,\quad z^{*}=200,\quad x_{2}^{*}=40-\frac{4}{5}t,\quad x_{4}^{*}=10-\frac{1}{5}t,\quad x_{5}^{*}=90-\frac{9}{5}t
\]
Meje za parametre dobimo tako, da upoštevamo, da morajo biti vse spremenljivke
pozitivne. V našem primeru 
\[
x_{2}^{*}=40-\frac{4}{5}t\geq0\Rightarrow t\leq50\qquad x_{5}^{*}=90-\frac{9}{5}t\geq0\Rightarrow t\leq50\qquad x_{3}^{*}=t\geq0\Rightarrow t\geq0\qquad\Longrightarrow t\in\left[0,50\right]
\]
Konkretno rešitev najdemo tako, da fiksiramo parametre v njihovih
mejah. Recimo v našem primeru $t=0$. Tedaj $x_{1}^{*}=0$, $x_{2}^{*}=40$,
$x_{3}^{*}=0$, $x_{4}^{*}=10$, $x_{5}^{*}=90$, $x_{6}=0$. Torej
je ena veljavna rešitev posejati samo 40 hektarov koruze in nobenih
drugih poljščin.

Optimalne vrednosti baznih spremenljivk nam povedo, koliko bi še lahko
zmanjšali množico dopustnih rešitev oziroma vrednosti $b_{i}$, da
bi še vedno našli dano fiksirano rešitev. V tem primeru za $t=0$
dobimo $x_{4}^{*}=10$, $x_{5}^{*}=90$, $x_{6}^{*}=0$. Toda pozor,
enačbe smo delili z največjim skupnim deliteljem. Če to razveljavimo
(dobljene vrednosti množimo s tem istim deliteljem), dobimo $x_{4}^{*}{}'=10\cdot1=10$,
$x_{5}^{*}{}'=90\cdot20=1800$, $x_{6}^{*}{}'=0\cdot40=0$. To pomeni,
da kmetiji ostane še 10 hektarov neobdelane zemlje in 1800 človek
ur delovne sile, sredstev pa jim ne ostane več nič.

Optimalno vrednost kriterijske funkcije dobimo tako, da vzamemo končen
$z$ in razveljavimo morebitno deljenje iz začetka postopka reševanja.
V tem primeru smo delili z 80, torej je končna optimalna vrednost
$z^{*}{}'=200\cdot80=16000$ evrov dobička.

\end{enumerate}
\begin{fact*}
Ali se simpleksna metoda zagotovo ustavi? Ne. A vendar je slovarjev
končno mnogo -- ${m+n \choose n}$, torej se simpleksna metoda lahko
zacikla v ciklu samih degeneriranih korakov. Ciklanje je izjemno redek
pojav, ki se mu lahko izognemo.
\end{fact*}
\begin{thm*}
Če uporabljamo pravilo najmanjšega indeksa za vstopne in izstopne
spremenljivke, do ciklanja ne pride.
\end{thm*}
\begin{proof}
Ne bomo dokazali.
\end{proof}
\begin{fact*}
Časovna zahtevnost simpleksne metode je nepolinomska. Oglejmo si primer
(Klee-Minty):
\[
\begin{array}{ccccc}
\max & 100x_{1} & +10x_{2} & +x_{3}\\
 & x_{1} &  &  & \leq1\\
 & 20x_{1} & +20x_{2} & +x_{3} & \leq10000\\
 & x_{1}, & x_{2}, & x_{3} & \geq0
\end{array}
\]
Z metodo največjega koeficienta bomo za reševanje tega LPVSO potrebovali
7 korakov oziroma v splošnem $2^{n}-1$. Če pa že takoj za vstopno
spremenljivko izberemo $x_{1}$, pa bomo potrebovali le en korak.

Torej: v teoriji je simpleksna metoda lahko počasna, v praksi pa je
zelo učinkovita in hitra (občasno $m\log n$).

Obstajajo tudi dokazljivo polinomske metode (recimo elipsoidna metoda
ali metoda notranjih točk) za reševanje linearnih programov --- linearno
programiranje je v skupini problemov P.
\end{fact*}
Geometrijsko simpleksna metoda izgleda kot sprehajanje po ogliščih
poliedra, dokler ne pridemo do maksimuma.
\begin{question*}
Kaj pa, če $\cancel{\forall i:b_{i}\geq0}$? Oglejmo si primer. Imejmo
dva tipa vitaminskih tablet -- Polivit in Oligovit -- in tri vitamine,
B, C in D.

\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|c|}
\hline 
 & Vitamin B & Vitamin C & Vitamin D & cena na tableto\tabularnewline
\hline 
\hline 
Polivit & 1 & 4 & 1 & 12\tabularnewline
\hline 
Oligovit & 1 & 1 & 2 & 10\tabularnewline
\hline 
dnevna potreba & 7 & 13 & 8 & \tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Vitaminske tablete}

\end{table}
Čim ceneje želimo potešiti dnevno potrebo po vitaminih. To lahko izrazimo
z naslednjim linearnih programom:
\[
\begin{array}{cccc}
\min & 12x_{1} & +10x_{2}\\
\text{p. p.} & x_{1} & +x_{2} & \geq7\\
 & 4x_{1} & +x_{2} & \geq13\\
 & x_{1} & +2x_{2} & \geq8\\
 & x_{1}, & x_{2} & \geq0
\end{array}
\]
Prepišimo ga v standardno obliko:
\[
\begin{array}{cccc}
\max & -12x_{1} & -10x_{2}\\
\text{p. p.} & -x_{1} & -x_{2} & \leq-7\\
 & -4x_{1} & -x_{2} & \leq-13\\
 & -x_{1} & -2x_{2} & \leq-8\\
 & x_{1}, & x_{2} & \geq0
\end{array}
\]
Problema z doslej znano enofazno simpleksno metodo ne moremo rešiti,
ker $\cancel{\forall i:b_{i}\geq0}$. Lahko ga rešimo z dvofazno simpleksno
metodo.
\end{question*}

\subsection{Dvofazna simpleksna metoda}
\begin{enumerate}
\item Prva faza: Preverimo dopustnost. Ker $b_{i}$ ni nujno $\geq0$, $x_{1}=\cdots=x_{n}=0$
ni več dopustna rešitev. Rešimo LP
\[
\begin{array}{ccccc}
\min & x_{0}\\
\text{p. p.} & a_{11}x_{1} & +\cdots+ & a_{1n}x_{n} & \leq b_{1}+x_{0}\\
 & \vdots &  & \vdots & \vdots\\
 & a_{m1}x_{1} & +\cdots+ & a_{mn}x_{n} & \leq b_{m}+x_{0}\\
x_{0}, & x_{1}, & \dots & x_{n} & \geq0
\end{array}
\]
Tak problem je gotovo dopusten (recimo $x_{1}=\cdots=x_{n}=0$ za
nek $x_{0}\geq0$) in gotovo ni neomejen, ker iščemo $\min$ navzdol
omejene kriterijske funkcije $x_{0}$. Velja: optimalna vrednosti
tega problema je $0\Longleftrightarrow$ prvotni problem je dopusten.
Prvi slovar tega LP ni dopusten niti ne obstaja kandidatka za vhodno
spremenljivko in se glasi
\[
x_{n+1}=b_{1}+x_{0}-a_{11}x_{1}-\cdots-a_{1n}x_{n}
\]
\[
\vdots
\]
\[
x_{n+m}=b_{m}+x_{0}-a_{m1}x_{1}-\cdots-a_{mn}x_{n}
\]
\[
w=-x_{0}.
\]
Čeprav ima negativen predznak, za vstopno spremenljivko vedno izberemo
$x_{0}$. Povečujemo $x_{0}$, dokler ne dobimo dopustnega slovarja.
Spomni se, da so $b_{i}$ lahko negativne. Prva spremenljivka pove,
da mora biti $x_{0}$ vsaj $-b_{1}$, ..., $m-$ta, da mora biti $x_{0}$
vsaj $-b_{m}$. Tista, ki najbolj omejuje $x_{0}$ (tista, ki zahteva,
da je največji), naj bo izstopna spremenljivka oziroma pivotna vrstica.

Kot v običajni metodi zamenjamo vlogo vstopne $x_{0}$ in izstopne
$x_{i}$ in dobimo drugi slovar, ki je vedno dopusten (če kadarkoli
pridemo do nedopustnega slovarja, smo se zmotili, recimo izbrali napačno
izstopno spremenljivko).

Sedaj problem rešujmo dalje kot pri navadni simpleksni metodi ---
izbiramo vstopne spremenljivke iz kriterijske funkcije $w$, vse dokler
iz baze zopet ne izstopi $x_{0}$ --- takrat dobimo $w=-x_{0}$.

V prvi fazi torej:
\begin{itemize}
\item Če najdemo optimalno vrednost, ki je strogo manjša od 0 --- $x_{0}$
je še vedno bazna spremenljivka $\Rightarrow$ prvotni primer je nedopusten.
\item Če $x_{0}$ zapusti bazo in je optimalna vrednost 0 $\Rightarrow$
nadaljujemo z drugo fazo.
\item Če pridemo do zadnjega slovarja, optimalna vrednost je 0, toda $x_{0}$
je še vedno bazna spremenljivka. $\Rightarrow$ Temu se izognemo in
to tako, da če je $x_{0}$ kandidatka za vstopno spremenljivko, jo
vedno izberemo.
\end{itemize}
\item Ko dobimo optimalno rešitev LP prve faze ($x_{0}^{*}=0$, ...), smo
našli eno dopustno rešitev prvotnega problema. Iz zadnjega slovarja
prve faze izbrišimo $x_{0}$ in dobimo prvi slovar druge faze. Kriterijska
funkcija je v drugi fazi kriterijska funkcija prvotnega problema,
le da morebitne bazne spremenljivke, ki se pojavljajo v njej, zamenjamo
z njihovimi vrednostmi iz slovarja. Drugo fazo rešujemo kot navadno
simpleksno metodo. Rešitev, ki jo dobimo, je optimalna rešitev prvotnega
problema.
\end{enumerate}
S tem znanjem sedaj rešimo problem iz primera zgoraj:
\begin{enumerate}
\item Prva faza:
\[
\begin{array}{cccc}
\min & x_{0}\\
\text{p. p.} & -x_{1} & -x_{2} & \leq-7+x_{0}\\
 & -4x_{1} & -x_{2} & \leq-13+x_{0}\\
 & -x_{1} & -2x_{2} & \leq-8+x_{0}\\
x_{0}, & x_{1}, & x_{2}, & \geq0
\end{array}
\]
Prvi slovar prve faze:
\[
x_{3}=-7+x_{0}+x_{1}+x_{2}
\]
\[
x_{4}=-13+x_{0}+4x_{1}+x_{2}
\]
\[
x_{5}=-8+x_{0}+x_{1}+2x_{2}
\]
\[
w=-x_{0}
\]
Prva vrstica pove, da mora biti $x_{0}\geq7$, druga pove, da mora
biti $x_{0}\geq13$, tretja pa pove, da mora biti $x_{0}\geq8$. Druga
vrstica nas najbolj omejuje, zato za izstopno spremenljivko izberemo
$x_{4}$ in izrazimo $x_{0}$, da vstopi v bazo.
\[
x_{0}=13-4x_{1}-x_{2}+x_{4}
\]
\[
x_{3}=-7+13-4x_{1}-x_{2}+x_{4}+x_{1}+x_{2}=6-3x_{1}+x_{4}
\]
\[
x_{5}=-8+13-4x_{1}-x_{2}+x_{4}+x_{1}+2x_{2}=5-3x_{1}+x_{2}+x_{4}
\]
\[
w=-13+4x_{1}+x_{2}-x_{4}
\]
Vzemimo vstopno spremenljivko $x_{2}$. Preverimo omejitve za izstopno
spremenljivko: $x_{2}\leq13$, $x_{2}\leq\infty$, $x_{2}\leq\infty$
$\Longrightarrow$ izstopna spremenljivka bo $x_{0}$:
\[
x_{2}=13-x_{0}-4x_{1}+x_{4}
\]
\[
x_{3}=6-3x_{1}+x_{4}
\]
\[
x_{5}=5-3x_{1}+13-x_{0}-4x_{1}+x_{4}+x_{4}=18-x_{0}-7x_{1}+2x_{4}
\]
\[
w=-13+4x_{1}+13-x_{0}-4x_{1}+x_{4}-x_{4}=-x_{0}
\]
Dobimo optimalno rešitev: $x_{0}=0$, $x_{1}=t$, $x_{2}=13-4t+u$.
Ena ustrezna je $x_{0}=0$, $x_{1}=0$, $x_{2}=13$ (nastavimo $t=u=0$
in preverimo, da se izide).
\item Prvi slovar druge faze je potemtakem
\[
x_{2}=13-4x_{1}+x_{4}
\]
\[
x_{3}=6-3x_{1}+x_{4}
\]
\[
x_{5}=18-7x_{1}+2x_{4}
\]
\[
z=-12x_{1}-10x_{2}=-12x_{1}-10\left(13-4x_{1}+x_{4}\right)=-12x_{1}-130+40x_{1}-10x_{4}=-130+28x_{1}-10x_{4}
\]
Vstopna spremenljivka je $x_{1}$, ki jo bazne omejujejo sledeče:
$x_{1}\leq\frac{13}{4}$, $x_{1}\leq\frac{6}{3}=2$ (ta jo najbolj),
$x_{1}\leq\frac{18}{7}$. Pivotna vrstica je torej druga --- vstopna
spremenljivka je $x_{3}$.
\[
x_{1}=\frac{6}{3}-\frac{1}{3}x_{3}+\frac{1}{3}x_{4}=2-\frac{1}{3}x_{3}+\frac{1}{3}x_{4}
\]
\[
x_{2}=13-4\left(2-\frac{1}{3}x_{3}+\frac{1}{3}x_{4}\right)+x_{4}=5+\frac{4}{3}x_{3}-\frac{4}{3}x_{4}+x_{4}=5+\frac{4}{3}x_{3}+\frac{1}{3}x_{4}
\]
\[
x_{5}=18-7\left(2-\frac{1}{3}x_{3}+\frac{1}{3}x_{4}\right)+2x_{4}=4+\frac{7}{3}x_{3}-\frac{7}{3}x_{4}+2x_{4}=4+\frac{7}{3}x_{3}-\frac{1}{3}x_{4}
\]
\[
z=-130+28\left(2-\frac{1}{3}x_{3}+\frac{1}{3}x_{4}\right)-10x_{4}=-130+56-\frac{28}{3}x_{3}+\frac{28}{3}x_{4}-10x_{4}=-74-\frac{28}{3}x_{3}-\frac{2}{3}x_{4}
\]
Končamo, ker ima $z$ le negativne koeficiente --- zadnji slovar.
Dobimo rešitev $x_{1}^{*}=2,\quad x_{2}^{*}=5,\quad z^{*}=74$.
\end{enumerate}
Linearni problemi se torej delijo takole:
\begin{enumerate}
\item $\cancel{\forall i:b_{i}\geq0}$: uporabimo dvofazno simpleksno metodo.
\begin{enumerate}
\item Prva faza ima $w^{*}<0$: problem je nedopusten
\item Prva faza ima $w^{*}=0$: problem je dopusten --- reši drugo fazo
kot po točki \ref{enu::-dopusten} tega seznama
\end{enumerate}
\item \label{enu::-dopusten}$\forall i:b_{i}\geq0$: dopusten
\begin{enumerate}
\item v nekem trenutku ni kandidatke za izstopno spremenljivko: problem
je neomejen
\item pridemo do optimalne rešitve
\end{enumerate}
\end{enumerate}

\subsection{Dualnost pri linearnem programiranju}

\subsubsection{Motivacija}

Denimo, da imamo linearen program $\max c^{T}x$ p. p. $Ax\leq b$,
$x\geq0$ in njegovo optimalno rešitev $x^{*}$ z optimalno vrednostjo
$c^{T}x^{*}$ in želimo nekomu dokazati, da je rešitev res optimalna.
Brez škode za splošnost se zaenkrat osredotočamo na LPVSO, vendar
analogno velja za vse LP.

Vsako neenačbo lahko množimo z nekim nenegativnim $y_{i}$ --- $i-$to
neenačbo torej množimo z $y_{i}$. Če zagotovimo (beri najdemo take
$y_{i}\geq0$), da $\forall j\in\left\{ 1..n\right\} :\sum_{i=1}^{m}y_{i}a_{ij}\geq c_{j}$,
bo, ko seštejemo vse neenačbe, leva stran večja ali enaka kriterijski
funkciji, desna stran pa neki vrednosti $b^{T}y$. Super, našli smo
zgornjo mejo za kriterijsko funkcijo --- velja $c^{T}x\leq b^{T}y$.
Sedaj je cilj poiskati najmanjšo zgornjo mejo $b^{T}y$ s pravilno
izbiro $y$. Če bomo našli tako, da bo $b^{T}y=c^{T}x^{*}$ (izkazalo
se bo, da je za optimalne LP ta najmanjša zgornja meja ravno optimalna
vrednost), smo na konju --- dokaz optimalnosti vrednosti $c^{T}x^{*}$
je tedaj ravno $y$.

Kako pa bi tak $y$ lahko našli? Iščemo $\min b^{T}y$ pri pogojih
$A^{T}y\geq c\wedge y\geq0$. To pa je zopet linearen program! Torej
naš dokaz lahko (če se navežemo na dejstvo iz prihodnosti, da za optimalne
LP vedno velja $\exists y\ni:b^{T}y=c^{T}x^{*}$) najdemo z reševanjem
še enega linearnega programa. Temu linearnemu programu pravimo dual
--- če je izvirni program $P$, je ta nov program ,,dual $P-$ju``;
označimo ga s $P'$.
\begin{example*}
Oglejmo si okrajšan dualni progam kmetije --- imenujmo ga $P$:
\[
\begin{array}{cccccc}
\max & 3x_{1} & +5x_{2} & +4x_{3}\\
\text{p. p.} & x_{1} & +x_{2} & +x_{3} & \leq50 & /\cdot y_{1}\geq0\\
 & 3x_{1} & +4x_{2} & +5x_{3} & \leq250 & /\cdot y_{2}\geq0\\
 & 10x_{1} & +15x_{2} & +12x_{3} & \leq600 & /\cdot y_{3}\geq0\\
 & x_{1}, & x_{2}, & x_{3} & \geq0
\end{array}
\]
Radi bi našli zgornjo mejo za kriterijsko funkcijo. Množimo enačbe
z nenegativnimi koeficienti in seštejemo
\[
\left(y_{1}+3y_{2}+10y_{3}\right)x_{1}+\left(y_{1}+4y_{2}+15y_{3}\right)x_{2}+\left(y_{1}+5y_{2}+12y_{3}\right)x_{3}\leq50y_{1}+250y_{2}+600y_{3}
\]
Če veljajo pogoji
\[
y_{1}+3y_{2}+10y_{3}\geq3\qquad\wedge\qquad y_{1}+4y_{2}+15y_{3}\geq5\qquad\wedge\qquad y_{1}+5y_{2}+12y_{3}\geq4,
\]
potem velja $3x_{1}+5x_{2}+4x_{3}\leq50y_{1}+250y_{2}+600y_{3}$.
\end{example*}
Problemu $P$ dualni problem $P'$:
\[
\begin{array}{ccccc}
\min & 50y_{1} & +250y_{2} & +600y_{3}\\
\text{p. p.} & y_{1} & +3y_{2} & +10y_{3} & \geq3\\
 & y_{1} & +4y_{2} & +15y_{3} & \geq5\\
 & y_{1} & +5y_{2} & +12y_{3} & \geq4\\
 & y_{1}, & y_{2}, & y_{3} & \geq0
\end{array}
\]
Rešimo ga. Prestavimo ga v standardno obliko:

\[
\begin{array}{ccccc}
\max & -50y_{1} & -250y_{2} & -600y_{3}\\
\text{p. p.} & -y_{1} & -3y_{2} & -10y_{3} & \leq-3\\
 & -y_{1} & -4y_{2} & -15y_{3} & \leq-5\\
 & -y_{1} & -5y_{2} & -12y_{3} & \leq-4\\
 & y_{1}, & y_{2}, & y_{3} & \geq0
\end{array}
\]
Prvi slovar prve faze:
\[
y_{4}=-3+y_{0}+y_{1}+3y_{2}+10y_{3}
\]
\[
y_{5}=-5+y_{0}+y_{1}+4y_{2}+15y_{3}
\]

\[
y_{6}=-4+y_{0}+y_{1}+5y_{2}+12y_{3}
\]
\[
w=-y_{0}
\]
Vstopi $y_{0}$. Omejitve: $y_{0}\geq3$, $y_{0}\geq5$, $y_{0}\geq4$.
Pivotna je druga vrstica --- izstopi $y_{5}$:
\[
y_{0}=5-y_{1}-4y_{2}-15y_{3}+y_{5}
\]
\[
y_{4}=-3+5-y_{1}-4y_{2}-15y_{3}+y_{5}+y_{1}+3y_{2}+10y_{3}=2-y_{2}-5y_{3}+y_{5}
\]

\[
y_{6}=-4+5-y_{1}-4y_{2}-15y_{3}+y_{5}+y_{1}+5y_{2}+12y_{3}=1+y_{2}-3y_{3}+y_{5}
\]
\[
w=-5+y_{1}+4y_{2}+15y_{3}-y_{5}
\]
Vstopi $y_{1}$. Omejitve: $y_{1}\leq5$, $y_{1}\leq2$, $y_{1}\leq\infty$.
Pivotna je prva vrstica --- izstopi $y_{0}$:
\[
y_{1}=5-y_{0}-4y_{2}-15y_{3}+y_{5}
\]
\[
y_{4}=2-y_{2}-5y_{3}+y_{5}
\]
\[
y_{6}=1+y_{2}-3y_{3}+y_{5}
\]
\[
w=-5+5-y_{0}-4y_{2}-15y_{3}+y_{5}+4y_{2}+15y_{3}-y_{5}=-y_{0}
\]
Prva faza končana. Prvi slovar druge faze:
\[
y_{1}=5-4y_{2}-15y_{3}+y_{5}
\]
\[
y_{4}=2-y_{2}-5y_{3}+y_{5}
\]
\[
y_{6}=1+y_{2}-3y_{3}+y_{5}
\]
\[
z=-50y_{1}-250y_{2}-600y_{3}=-50\left(5-4y_{2}-15y_{3}+y_{5}\right)-250y_{2}-600y_{3}=-250+200y_{2}+750y_{3}-50y_{5}-250y_{2}-600y_{3}=
\]
\[
=-250-50y_{2}+150y_{3}-50y_{5}
\]
Vstopi $y_{3}$. Omejitve so sledeče: $y_{3}\leq\frac{5}{15}$, $y_{3}\leq\frac{2}{5}=\frac{6}{15}$,
$y_{3}\leq\frac{1}{3}=\frac{5}{15}$. Pivotna spremenljivka je torej
prva --- izstopi $y_{1}$.
\[
y_{3}=\frac{5}{15}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}=\frac{1}{3}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}
\]
\[
y_{4}=2-y_{2}-5\left(\frac{1}{3}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}\right)+y_{5}=2-y_{2}-\frac{5}{3}+\frac{1}{3}y_{1}+\frac{4}{3}y_{2}-\frac{1}{3}y_{5}+y_{5}=\frac{1}{3}+\frac{1}{3}y_{2}+\frac{2}{3}y_{5}
\]
\[
y_{6}=1+y_{2}-3\left(\frac{1}{3}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}\right)+y_{5}=1+y_{2}-1+\frac{1}{5}y_{1}+\frac{4}{5}y_{2}-\frac{1}{5}y_{5}+y_{5}=\frac{1}{5}y_{1}+\frac{9}{5}y_{2}+\frac{4}{5}y_{5}
\]
\[
z=-250-50y_{2}+150\left(\frac{1}{3}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}\right)-50y_{5}=-250-50y_{2}+50-\frac{150}{15}y_{1}-\frac{600}{15}y_{2}+\frac{150}{15}y_{5}-50y_{5}=
\]
\[
=-200-10y_{1}-90y_{2}-40y_{5}
\]

Končamo. $z^{*}=200$ (spremenimo predznak ker smo, če se spomnimo,
,,standardizirali`` problem na začetku reševanja). $y_{1}^{*}=0$,
$y_{2}^{*}=0$, $y_{3}^{*}=\frac{1}{3}$, $y_{4}^{*}=\frac{1}{3}$,
$y_{5}^{*}=0$, $y_{6}^{*}=0$.

Vsaka dopustna rešitev dualnega problema nam da zgornjo mejo za rešitev
prvotnega problema. $\min$ kriterijske funkcije duala nam da najmanjšo
zgornjo mejo prvotnega problema.

\begin{example*}
Naj bo $P$: $\max c^{T}x$ p. p. $Ax\leq b\wedge x\geq0$. Tedaj
je $P-$ju dualni program $P'$: $\min b^{T}y$ p. p. $A^{T}y\geq c\wedge y\geq0$.
Dualnih spremenljivk je toliko, kolikor je neenačb v prvotnem problemu.

Alternativni zapis: Naj bo $P$: $\max\sum_{j=1}^{n}c_{j}x_{j}$ p.
p. $\forall j\in\left\{ 1..n\right\} :x_{j}\geq0\wedge\forall i\in\left\{ 1..m\right\} :\sum_{j=1}^{n}a_{ij}x_{j}\leq b_{i}$.
Tedaj je $P-$ju dualni program $P'$: $\min\sum_{i=1}^{m}b_{i}y_{i}$
p. p. $\forall i\in\left\{ 1..m\right\} :y_{i}\geq0\wedge\forall j\in\left\{ 1..n\right\} :\sum_{i=1}^{m}a_{ij}y_{i}\geq c_{j}$.
\end{example*}
\begin{claim*}
Dual duala je prvotni problem ZDB $P''=P$.
\end{claim*}
\begin{proof}
Naj bo $P$ $c^{T}x$ p. p. $Ax\leq b\wedge x\geq0$ Tedaj je $P'$
v std. obliki: $\max\left(-b\right)^{T}y$ p. p. $\left(-A^{T}\right)y\leq-c\wedge y\geq0$.
Tedaj $P''$: $\min\left(-c\right)^{T}x$ p. p. $\left(-A^{T}\right)^{T}x\geq-b\wedge x\geq0$
oziroma v standardni obliki $\max c^{T}x$ p. p. $Ax\leq b\wedge x\geq0$.
\end{proof}
\begin{thm*}
Šibki izrek o dualnosti (ŠID). Če velja, da je $x$ dopustna rešitev
problema $P$ ($\max c^{T}x$ p. p. $Ax\leq b\wedge x\geq0$) in $y$
dopustna rešitev problema $P'$ ($\min b^{T}y$ p. p. $A^{T}y\geq c\wedge y\geq0$),
potem velja $c^{T}x\leq b^{T}y$. ZDB dopustne rešitve duala predstavljajo
zgornje meje za rešitve prvotnega problema.
\end{thm*}
\begin{proof}
Dva ekvivalentna načina dokaza: Predpostavke: I: $Ax\leq b$, II:
$x\geq0$, III: $A^{T}y\geq c$, IV: $y\geq0$. 
\begin{enumerate}
\item Računajmo:
\[
c^{T}x\overset{\text{III in II}}{\leq}\left(A^{T}y\right)^{T}x=y^{T}Ax=y^{T}\left(Ax\right)\overset{\text{I in IV}}{\leq}y^{T}b=b^{T}y\quad\Longrightarrow\quad c^{T}x\leq b^{T}y
\]
\item Računajmo:
\[
\sum_{j=1}^{n}c_{j}x_{j}\overset{\text{III in II}}{\leq}\sum_{j=1}^{n}\left(\sum_{i=1}^{m}a_{ij}y_{i}\right)x_{j}=\sum_{j=1}^{n}\sum_{i=1}^{m}a_{ij}y_{i}x_{j}=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}x_{j}y_{i}=\sum_{i=1}^{m}\left(\sum_{j=1}^{n}a_{ij}x_{j}\right)y_{i}\leq\sum_{i=1}^{m}b_{i}y_{i}
\]
\end{enumerate}
\end{proof}
\begin{cor}
Naj velja $x$ dopusten za $P$, $y$ dopusten za $P'$, $c^{T}x=b^{T}y$.
Sledi, da je $x$ optimalna rešitev za $P$ in $y$ optimalna rešitev
za $P'$. Če torej izvemo optimalno rešitev $P$ in $P'$, lahko preverimo,
da je res optimalna.
\end{cor}

\begin{proof}
Naj bo $x'$ poljubna dopustna za $P$. Tedaj $c^{T}x'\overset{\text{ŠID}}{\leq}b^{T}y\overset{\text{predpostavka}}{=}c^{T}x\Rightarrow c^{T}x'\leq c^{T}x$.
Naj bo $y'$ poljubna dopustna za $P'$. Tedaj $b^{T}y'\overset{\text{ŠID}}{\geq}c^{T}x\overset{\text{predpostavka}}{=}b^{T}y\Rightarrow b^{T}y'\geq b^{T}y$.
\end{proof}
\begin{cor}
Naj bo $P$ neomejen. Tedaj je $P'$ nedopusten.
\end{cor}

\begin{proof}
Naj bo $P$ neomejen. PDDRAA $P'$ je dopusten in naj bo $y'$ dopustna
rešitev za $P'$. Tedaj po ŠID velja $c^{T}x\leq b^{T}y'$ za vse
za $P$ dopustne $x$ in zato je $P$ omejen, kar je v protislovju
s predpostavko.
\end{proof}
\begin{thm*}
Krepki izrek o dualnosti (KID). Če je $P$ optimalen problem, potem
je tudi $P'$ optimalen, njuni optimalni vrednosti pa sta enaki. Ekvivalentno:
\[
\exists x^{*}\geq0\forall x\geq0:Ax\leq b\Rightarrow c^{T}x\leq c^{T}x'\quad\Longrightarrow\quad\exists y^{*}\geq0\forall y\geq0:A^{T}y\geq c\Rightarrow b^{T}y\geq b^{T}y^{*}\quad\wedge\quad c^{T}x^{*}=b^{T}y^{*}
\]
\end{thm*}
\begin{proof}
Po predpostavki je $P$ optimalen. $P$ gotovo lahko pretvorimo v
standardno obliko in ga rešimo z dvofazno simpleksno metodo. Tole
bo malenkost dokaz z mahanjem rok, ker bomo kar predpostavili, kako
izgleda zadnji slovar problema in njegovega duala. Dokaz s primerom
pač. Oglejmo si torej primer --- zadnji slovar okrajšanega primera
kmetije (rešeno zgoraj, rešitev je $x_{1}^{*}=0$, $x_{2}^{*}=40$,
$x_{3}^{*}=0$, $x_{4}^{*}=10$, $x_{5}^{*}=90$, $x_{6}=0$):
\[
x_{2}=40-\frac{2}{3}x_{1}-\frac{4}{5}x_{3}-\frac{1}{15}x_{6}
\]
\[
x_{4}=10-\frac{1}{3}x_{1}-\frac{1}{5}x_{3}+\frac{1}{15}x_{6}
\]
\[
x_{5}=90-\frac{1}{3}x_{1}-\frac{9}{5}x_{3}+\frac{4}{15}x_{6}
\]
\[
z=200-\frac{1}{3}x_{1}-0x_{2}-0x_{3}-0x_{4}-0x_{5}-\frac{1}{3}x_{6}
\]
In zadnji slovar duala okrajšanega primera kmetije (rešeno zgoraj,
rešitev je $y_{1}^{*}=0$, $y_{2}^{*}=0$, $y_{3}^{*}=\frac{1}{3}$,
$y_{4}^{*}=\frac{1}{3}$, $y_{5}^{*}=0$, $y_{6}^{*}=0$):
\[
y_{3}=\frac{1}{3}-\frac{1}{15}y_{1}-\frac{4}{15}y_{2}+\frac{1}{15}y_{5}
\]
\[
y_{4}=\frac{1}{3}+\frac{1}{3}y_{2}+\frac{2}{3}y_{5}
\]
\[
y_{6}=\frac{1}{5}y_{1}+\frac{9}{5}y_{2}+\frac{4}{5}y_{5}
\]
\[
z=-200-10y_{1}-90y_{2}-0y_{3}-0y_{4}-40y_{5}-0y_{6}
\]
Tu nastopi ,,dokaz s primerom``. Videti je, da so koeficienti dopolnilnih
spremenljivk v zadnjem slovarju ($z=\cdots-0x_{4}-0x_{5}-\frac{1}{3}x_{6}$)
ravno negacija optimalne rešitve dualnega problema ($y_{1}^{*}=0$,
$y_{2}^{*}=0$, $y_{3}^{*}=\frac{1}{3}$). In seveda, ker je dual
duala primal, so koeficienti dopolnilnih spremenljivk v zadnjem slovarju
duala ($z=\cdots-0y_{4}-40y_{5}-0y_{6}$) ravno negacija optimalne
rešitve prvotnega problema ($x_{1}^{*}=0$, $x_{2}^{*}=40$, $x_{3}^{*}=0$).
Temu pač verjamemo.

Označimo s $c_{j}^{*}$ koeficient pri $x_{j}$ v kriterijski funkciji
zadnjega slovarja. V našem primeru je $\left(c_{j}^{*}\right)^{T}=\left[\frac{1}{3},0,0,0,0,\frac{1}{3}\right]$.
Optimalno vrednost $P$ označimo z $v^{*}=\sum_{j=1}^{n}c_{j}x_{j}^{*}$.
Potemtakem se simpleksna metoda za $P$ konča z zadnjim slovarjem
z
\[
z=v^{*}+\sum_{j=1}^{n+m}c_{j}^{*}x_{j},
\]
kjer velja $c_{j}^{*}\leq0$ in $c_{j}^{*}=0\Leftrightarrow x_{j}$
je bazna spremenljivka. Sedaj za $P'$ uganimo optimalno vrednost:
$y_{i}^{*}\coloneqq-c_{n+i}^{*}$ (torej v našem primeru $y_{i}^{*}=\left[0,0,\frac{1}{3}\right]$).
Sedaj pa dokažimo, da je $y^{*}$ dopustna rešitev dualnega problema
in da velja $v^{*}=\sum_{i=1}^{m}b_{i}y_{i}^{*}$ (da je optimalna
vrednost duala enaka optimalni vrednosti primala). Očitno so to nenegativna
števila, ni pa očitno, da je dopustna, kar se tiče neenačb. Računajmo:
\[
z=v^{*}+\sum_{j=1}^{n+m}c_{j}^{*}x_{j}=v^{*}+\sum_{j=1}^{n}c_{j}^{*}x_{j}+\sum_{i=1}^{m}\left(\overset{=-y_{i}^{*}}{c_{i+n}^{*}}\right)\cdot\left(\overset{\text{dopolnilna: }=b_{i}-\sum_{j=1}^{n}a_{ij}x_{j}}{x_{i+n}}\right)=v^{*}+\sum_{j=1}^{n}c_{j}^{*}x_{j}+\sum_{i=1}^{m}\left(-y_{i}^{*}\right)\left(b_{i}-\sum_{j=1}^{n}a_{ij}x_{j}\right)=
\]
\[
=v^{*}+\sum_{j=1}^{n}c_{j}^{*}x_{j}-\sum_{i=1}^{m}b_{i}y_{i}^{*}+\sum_{i=1}^{m}y_{i}^{*}\sum_{j=1}^{n}a_{ij}x_{j}=v^{*}+\sum_{j=1}^{n}c_{j}^{*}x_{j}-\sum_{i=1}^{m}b_{i}y_{i}^{*}+\sum_{j=1}^{n}x_{j}\sum_{i=1}^{m}y_{i}^{*}a_{ij}=
\]
\[
=v^{*}-\sum_{i=1}^{m}b_{i}y_{i}^{*}+\sum_{j=1}^{n}\left(c_{j}^{*}x_{j}+x_{j}\sum_{i=1}^{m}y_{i}^{*}a_{ij}\right)=\left(v^{*}-\sum_{i=1}^{m}b_{i}y_{i}^{*}\right)+\sum_{j=1}^{n}x_{j}\left(c_{j}^{*}+\sum_{i=1}^{m}y_{i}^{*}a_{ij}\right)=
\]
... toda $z$ lahko zapišemo tudi drugače. $z$ je kriterijska funkcija
in zato po definiciji problema enaka ...
\[
=\sum_{i=1}^{n}c_{j}x_{j}.
\]
Linearno funkcijo smo zapisali na dva načina, ki morata biti enaka.
Podrobneje si oglejmo dobljeno enačbo.
\[
\left(v^{*}-\sum_{i=1}^{m}b_{i}y_{i}^{*}\right)+\sum_{j=1}^{n}x_{j}\left(c_{j}^{*}+\sum_{i=1}^{m}y_{i}^{*}a_{ij}\right)=\sum_{i=1}^{n}c_{j}x_{j}
\]
Na levi strani je prosti koeficient (številka brez spremenljivke)
$v^{*}-\sum_{i=1}^{m}b_{i}y_{i}^{*}$, na desni pa imajo vsi členi
vsote spremenljivko, torej je prosti koeficient tam enak 0. Iz tega
sledi, da je optimalna vrednost duala res enaka optimalni vrednosti
primala:
\[
v^{*}-\sum_{i=1}^{m}b_{i}y_{i}^{*}=0\sim v^{*}=\sum_{i=1}^{m}b_{i}y_{i}^{*}
\]
in da so koeficienti pri istoležnih spremenljivkah enaki, torej
\[
\forall j\in\left\{ 1..n\right\} :c_{j}=c_{j}^{*}+\sum_{i=1}^{m}y_{i}^{*}a_{ij}\sim\sum_{i=1}^{m}y_{i}a_{ij}=c_{j}-c_{j}^{*}
\]
... in ker velja $c_{j}^{*}\leq0$, velja
\[
\sum_{i=1}^{m}y_{i}a_{ij}=c_{j}-c_{j}^{*}\geq c_{j}\Longrightarrow\sum_{i=1}^{m}y_{i}a_{ij}\geq c_{j},
\]
kar pa so ravno neenakosti duala, torej je $y^{*}$ res dopustna rešitev
za $P'$! Tu upoštevamo ŠID oziroma njegovo prvo posledico; ker $b^{T}y=v^{*}=c^{T}x$
in $A^{T}y\geq c$, je $b^{T}y$ optimalna vrednost duala.
\end{proof}
Katere možnosti so mogoče za $P$ in $P'$:

\begin{table}[H]
\begin{tabular}{|c|c|c|c|}
\hline 
$P/P'$ & nedopusten & neomejen & optimalen\tabularnewline
\hline 
\hline 
nedopusten & da & da. če je $P'$ neomejen, je $P$ nedopusten & ne, KID\tabularnewline
\hline 
neomejen & da. če je $P$ neomejen, je $P'$ nedopusten & ne, ŠID & ne, KID\tabularnewline
\hline 
optimalen & ne, KID & ne, KID & da\tabularnewline
\hline 
\end{tabular}\caption{Možnosti za $P$ in $P'$. Kaj je mogoče?}
\end{table}

\begin{example*}
Primer za dokaz, da se lahko zgodi, da sta $P$ in $P'$ oba nedopustna:
Naj bo $P$:
\[
\begin{array}{cccc}
\max & 2x_{1} & -x_{2}\\
\text{p. p.} & -x_{1} & +x_{2} & \leq-2\\
 & x_{1} & -x_{2} & \leq1\\
 & x_{1}, & x_{2} & \geq0
\end{array}
\]
Ta je nedopusten, ker $x_{1}-x_{2}\leq1$, torej $-1\leq-x_{1}+x_{2}$,
skupaj s prvo enačbo torej $-1\leq-x_{1}+x_{2}\leq-2$ oziroma $-1\leq-2$,
kar se ne more zgoditi. In njegov dual; $P'$:
\[
\begin{array}{cccc}
\min & -2y_{1} & +x_{2}\\
\text{p. p.} & -y_{1} & +y_{2} & \geq2\\
 & y_{1} & -y_{2} & \geq1\\
 & y_{1}, & y_{2} & \geq0
\end{array}
\]
Ta je tudi nedopusten, ker $y_{1}-y_{2}\geq1$ oziroma $-1\geq-y_{1}+y_{2}$,
skupaj s prvo enačbo torej $-1\geq-y_{1}+y_{2}\geq2$ oziroma $-1\geq2$,
kar se ne more zgoditi. Oba sta nedopustna.
\end{example*}
\begin{cor*}
Za $P$ in $P'$ velja natanko ena od možnosti: bodisi sta oba optimalna
bodisi sta oba nedopustna bodisi je en neomejen in drugi nedopusten.
\end{cor*}
\begin{thm*}
Izrek o dualnem dopolnjevanju (DD) (angl. complementary slackness).
Naj bo $x$ dopustna rešitev za $P$ in $y$ dopustna rešitev za $P'$.
Potemtakem sta $x$ in $y$ optimalni rešitvi $\Longleftrightarrow$
\[
\left(\forall j\in\left\{ 1..n\right\} :\left(x_{j}=0\vee\sum_{i=1}^{m}a_{ij}y_{i}=c_{j}\right)\right)\wedge\left(\forall i\in\left\{ 1..m\right\} :\left(y_{i}=0\vee\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}\right)\right)
\]
ZDB (zapišimo disjunkcije drugače: $A\vee B\sim\overline{A}\Rightarrow B\sim\overline{B}\Rightarrow A$):
$x$ in $y$ sta optimalni rešitvi (upoštevamo, da če $x_{j}$ ni
nič, bo pozitiven --- negativen ne sme biti --- in da če če $\sum_{i=1}^{n}a_{ij}x_{j}$
ni $b$, bo manjši od $b$ --- ker imamo problem v standardni obliki
in mora $x$ biti dopusten) $\Longleftrightarrow$
\[
\left(\forall j\in\left\{ 1..n\right\} :\left(x_{j}>0\Rightarrow\sum_{i=1}^{m}a_{ij}y_{i}=c_{j}\right)\right)\wedge\left(\forall i\in\left\{ 1..m\right\} :\left(\sum_{j=1}^{n}a_{ij}x_{j}<b_{i}\Rightarrow y_{i}=0\right)\right)
\]
ZDB če je v optimalni rešitvi primala spremenljivka pozitivna, pri
dualni neenakosti dobimo enačaj (no slackness) IN če je leva stran
strogo manjša od desne, je pripadajoča dualna spremenljivka v optimalni
rešitvi duala enaka nič.
\end{thm*}
\begin{proof}
Po predpostavki velja, da je $x$ dopustna za $P$, se pravi I. $x_{j}\geq0$
in II. $\sum_{j=1}^{n}a_{ij}x_{j}\leq b_{i}$, in da je $y$ dopustna
za $P'$, se pravi III. $y_{i}\geq0$ in IV. $\sum_{i=1}^{m}a_{ij}y_{i}\geq c_{j}$.
\[
L=\sum_{j=1}^{n}c_{j}x_{j}\overset{\text{I. in IV.}}{\leq}\sum_{j=1}^{n}\left(\sum_{i=1}^{m}a_{ij}y_{i}\right)x_{j}=\sum_{i=1}^{m}\left(\sum_{j=1}^{n}a_{ij}x_{j}\right)y_{i}\overset{\text{III. in II.}}{\leq}\sum_{i=1}^{m}b_{i}y_{i}=D
\]
Trdimo, da sta $x$ in $y$ optimalna $\Leftrightarrow L=D$. Dokazujemo
ekvivalenco: $\left(\Leftarrow\right):$ Posledica 1 ŠID-a. $\left(\Rightarrow\right):$
KID. Nadaljujmo trditev:
\[
x=x^{*}\wedge y=y^{*}\Leftrightarrow L=D\Leftrightarrow\text{ oba \ensuremath{\leq} sta \ensuremath{=}}\Leftrightarrow\sum_{j=1}^{n}c_{j}x_{j}=\sum_{j=1}^{n}\left(\sum_{i=1}^{m}a_{ij}y_{i}\right)x_{j}\wedge\sum_{i=1}^{m}\left(\sum_{j=1}^{n}a_{ij}x_{j}\right)y_{i}=\sum_{i=1}^{m}b_{i}y_{i}\Leftrightarrow
\]
\[
\Leftrightarrow\left(\forall j\in\left\{ 1..n\right\} :\left(c_{j}-\sum_{i=1}^{m}a_{ij}y_{i}\right)x_{j}=0\right)\wedge\left(\forall i\in\left\{ 1..m\right\} :\left(\sum_{j=1}^{n}a_{ij}x_{j}-b_{i}\right)y_{i}=0\right)\Leftrightarrow
\]
\[
\Leftrightarrow\left(\forall j\in\left\{ 1..n\right\} :x_{j}=0\vee\sum_{i=1}^{m}a_{ij}y_{i}=c_{j}\right)\wedge\left(\forall i\in\left\{ 1..m\right\} :y_{i}=0\vee\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}\right).
\]
\end{proof}
%
\begin{example*}
Dokaži, da je $\left(0,20,25\right)$ optimalna rešitev okrajšanega
problema kmetije.
\begin{enumerate}
\item \label{enu:Prvi-korak.-Preverimo}Prvi korak. Preverimo dopustnost:
\begin{enumerate}
\item $0,20,25\geq0$ velja
\item $0+20+25\leq50$ velja celo $<$
\item $3\cdot0+4\cdot20+5\cdot25\leq250$ velja celo $<$
\item $10\cdot0+15\cdot20+12\cdot25\leq600$ velja celo $=$
\end{enumerate}
\item \label{enu:Drugi-korak.-Vsak}Drugi korak. Vsak pozitiven $x_{j}$
nam da enakost za dualne spremenljivke po DD:
\begin{enumerate}
\item $y_{1}^{*}+4y_{2}^{*}+15y_{3}^{*}=5$
\item $y_{1}^{*}+5y_{2}^{*}+12y_{3}^{*}=4$
\end{enumerate}
\item \label{enu:Tretji-korak.-Vsaka}Tretji korak. Vsaka neenakost iz koraka
\ref{enu:Prvi-korak.-Preverimo}, izpolnjena z $<$, nam da eno ničelno
dualno spremenljivko po DD:
\begin{enumerate}
\item $y_{1}^{*}=0$
\item $y_{2}^{*}=0$
\end{enumerate}
\item Rešimo dobljen sistem linearnih enačb iz \ref{enu:Drugi-korak.-Vsak}.
in \ref{enu:Tretji-korak.-Vsaka}. koraka in preverimo dopustnost
rešitve. Dobimo $y_{3}^{*}=\frac{5}{15}=\frac{1}{3}$ in $y_{3}^{*}=\frac{4}{12}=\frac{1}{3}$,
torej dobimo rešitev $\left(y^{*}\right)^{T}=\left[0,0,\frac{1}{3}\right]$.
Ali je dopustna, preverimo iz preostale neenakosti v dualu: $\cancel{0\cdot y_{1}^{*}}\cancel{+3\cdot y_{2}^{*}}+10\cdot y_{3}\geq3\Rightarrow10\cdot\frac{1}{3}\geq3$
velja.
\end{enumerate}
\end{example*}
%
\begin{example*}
Z DD si ne moremo vedno preprosto pomagati pri dokazovanju optimalnosti.
Primer: Dokaži, da je $\left(0,0,50\right)$ optimalna rešitev za
okrajšan primer kmetije.
\begin{enumerate}
\item Prvi korak.
\begin{enumerate}
\item $0+0+50\leq50$ velja celo $=$
\item $3\cdot0+4\cdot0+5\cdot50\leq250$ velja celo $=$
\item $10\cdot0+15\cdot0+12\cdot50\leq600$ velja celo $=$
\end{enumerate}
\item Drugi korak.
\begin{enumerate}
\item $y_{1}^{*}+5y_{2}^{*}+12y_{3}^{*}=4$
\end{enumerate}
\item Tretji korak. Ni neenakosti izpolnjenih z $<$, ne dobimo ničelnih
zagotovil za optimalno vrednost duala.
\item Imamo sistem enačb z eno enačbo in tremi neznankami in dobimo več
rešitev. Najti je treba tisto pravo dopustno, ki je hkrati optimalna.
To ni več tako preprosto kot reševanje sistema enačb )-:
\end{enumerate}
\end{example*}
%
\begin{note*}
Povzetek:
\begin{itemize}
\item ŠID: $x$ dop. za $P$ in $y$ dop. za $P'\Longrightarrow c^{T}x\leq b^{T}y$
\item KID: $x^{*}$ opt. za $P\Longrightarrow\exists y^{*}$ opt. za $P$
in $c^{T}x^{*}=b^{T}y^{*}$
\item DD: $x$ dop. za $P$ in $y$ dop. za $P'\Longrightarrow x,y$ opt
\[
\Leftrightarrow\left(\forall i\in\left\{ 1..m\right\} :y_{i}=0\vee\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}\right)\wedge\left(\forall j\in\left\{ 1..n\right\} :x_{j}=0\vee\sum_{i=1}^{m}a_{ij}y_{i}=c_{j}\right)
\]
\end{itemize}
\end{note*}

\subsection{Ekonomski pomen dualnih spremenljivk}

Oglejmo si eno izmed optimalnih rešitev za problem kmetije: $x_{1}^{*}=0$,
$x_{2}^{*}=20$, $x_{3}^{*}=25$, $z^{*}=200$. Neenačbe so izpolnjene
takole:
\[
0+20+25<50
\]
\[
3\cdot0+4\cdot20+5\cdot25<250
\]
\[
10\cdot0+15\cdot20+12\cdot25=600
\]
Oglejmo si vpliv majhnih sprememb $b$ na $z^{*}$:
\begin{itemize}
\item Če se $b_{1}=50$ spremeni v 51, je $z^{*}$ še vedno 200 (že tako
smo pod to omejitvijo).
\item Če se $b_{2}=250$ spremeni v 251, je $z^{*}$ še vedno 200 (že tako
smo pod to omejitvijo).
\item Če se $b_{3}=600$ spremeni v 601, se $z^{*}$ poveča na $200+\frac{1}{3}$
(se izkaže po izdelavi simpleksne metode znova z novo omejitvijo).
\end{itemize}
Pozornost preusmerimo za trenutek na optimalno rešitev dualnega problema:
$y_{1}^{*}=0$, $y_{2}^{*}=0$, $y_{3}^{*}=\frac{1}{3}$.
\begin{thm*}
Naj ima $P$ neizrojeno optimalno bazno rešitev (vse bazne spremenljivke
so različne od 0) ZDB v zadnjem slovarju so vsi prosti konstantni
koeficienti $>0$. Potem 
\[
\exists\varepsilon>0\ni:\triangle z^{*}=\sum_{i=1}^{m}y_{i}^{*}\triangle b_{i},
\]
če je $\left|\triangle b_{i}\right|\leq\varepsilon$, kjer je $\left(y_{1}^{*},\dots,y_{m}^{*}\right)$
optimalna rešitev za $P'$.
\end{thm*}
\begin{proof}
Ne bomo dokazali.
\end{proof}
\begin{cor*}
$y_{i}^{*}$ nam daje ,,tržno`` vrednost dobrine $i$. Ali se kmetiji
splača vzeti kredit? Da, če je strošek kredita za $1$ evro manjši
kot $\frac{1}{3}$ evra. Ali se kmetiji splača kupiti več zemlje?
Ne.
\end{cor*}

\subsection{Dual splošnega LP}
\begin{thm*}
Naj bo $P$ oblike $\max\sum_{k=1}^{n}c_{j}x_{j}$ p. p.
\begin{itemize}
\item $\sum_{j=1}^{n}a_{ij}x_{j}\leq b_{i}$ za $i\in\left\{ 1..m'\right\} $
\item $\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}$ za $i\in\left\{ m'+1..m\right\} $
\item $x_{j}\geq0$ za $j\in\left\{ 1..n'\right\} $
\end{itemize}
Dual programa $P$ je $P'$: $\min\sum_{i=1}^{m}b_{i}y_{i}$ p. p.
\begin{itemize}
\item $\sum_{i=1}^{m}a_{ij}y_{i}\geq c_{j}$ za $j\in\left\{ 1..n'\right\} $
\item $\sum_{i}^{m}a_{ij}y_{i}=c_{j}$ za $j\in\left\{ n'+1..n\right\} $
\item $y_{i}\geq0$ za $i\in\left\{ 1..m'\right\} $
\end{itemize}
\end{thm*}
\begin{rem*}
Spomnimo: za LPVSO velja, da nenegativna spremenljivka v $P$ predstavlja
neenakost v $P'$, neenakost v $P$ pa predstavlja nenegativna spremenljivka
v $P'$.
\end{rem*}
\begin{question*}
Kaj velja za splošni LP?
\end{question*}
\begin{itemize}
\item Nenegativna spremenljivka $P$ ustreza neenakosti $P'$
\item Neenakost $P$ ustreza nenegativni spremenljivki $P'$
\item Poljubna spremenljivka $x_{j}\lesseqqgtr0$ ustreeza enakosti $P'$
\item enakost $P$ ustreza poljubni spremenljivki $P'$
\end{itemize}
\begin{proof}
Pretvorimo v std. obliko:

\[
\max\sum_{j=1}^{n'}c_{j}x_{j}+\sum_{j=n'+1}^{n}c_{j}\left(x_{j}'-x_{j}''\right)
\]
pri pogojih
\[
\forall i\in\left\{ 1..m\right\} :\sum_{j=1}^{n'}a_{ij}x_{j}+\sum_{j=n'+1}^{n}a_{ij}\left(x_{j}'-x_{j}''\right)\leq b_{i}
\]
\[
\forall i\in\left\{ m'+1..m\right\} :-\sum_{j=1}^{n'}a_{ij}x_{j}+\sum_{j=n'+1}^{n}a_{ij}\left(x_{j}'-x_{j}''\right)\leq-b_{i}
\]
\[
\forall j\in\left\{ 1..n'\right\} :x_{j}\geq0
\]
\[
\forall j\in\left\{ n'+1,n\right\} :n_{j}',n_{j}''\geq0
\]
In izračunamo njegov dual: NE RAZUMEM!
\end{proof}
%

\section{Matrične igre}

Matrična igra je igra za dva igralca. Vsak igralec ima končno možnosti.
Prvi igralec ima $n$ izbir, drugi igralec ima $m$ izbir. Če $1.$
igralec izbere $i-$to, $2.$ pa $j-$to možnost, drugi igralec prvemu
plača $a_{ij}\in\mathbb{R}$. Plačilna matrika matrične igre je torej
oblike $A=\left[a_{ij}\right]\in\mathbb{R}^{n\times m}$.
\begin{example*}
Škarje kamen papir ima plačilno matriko (stolpci so po vrsti ŠKP,
vrstice so po vrsti ŠKP)
\[
A=\left[\begin{array}{ccc}
0 & -1 & 1\\
1 & 0 & -1\\
-1 & 1 & 0
\end{array}\right].
\]
\end{example*}
%
\begin{example*}
Blotto. Pollkovnik Blotto in major Clark se borita za dve strateški
točki. Blotto ima 4 bataljone, Clark 3. Vsak od njiju se odloči, kako
bataljone razporediti med dve strateški točki. Blotto ima pet strategij,
Clark pa štiri ($3+0,$$2+1$, ...).

Zmaga tisti, ki ima več bataljonov na posamezni strateški točki. Na
vsaki točki poraženec plača $k+1$, kjer je $k$ število njegovih
bataljonov. Plačilna matrika se torej glasi
\[
A=\begin{array}{ccccc}
 & 3+0 & 2+1 & 1+2 & 0+3\\
4+0 & 4 & 2 & 1 & 0\\
3+1 & 1 & 3 & 0 & -1\\
2+2 & -2 & 2 & 2 & -2\\
1+3 & -1 & 0 & 3 & 1\\
0+4 & 0 & 1 & 2 & 4
\end{array}
\]
\end{example*}
Igralci igrajo po principu najmanjšega tveganja. Igralec izbere potezo,
ki ima najboljšo vrednost najslabšega rezultata.
\begin{itemize}
\item $M_{1}=\max_{i}\min_{j}a_{ij}$ --- vrednosti v plačilni matriki
predstavljajo, koliko dobi prvi igralec. Zanj je torej slabo dobiti
malo, zato za vsako vrstico izračuna najslabši (najmanjši) stolpec
(stolpec predstavlja izbiro soigralca) in nato izbere tisto možnost,
kjer je najslabši izkupiček najboljši (dobi največ --- zato $\max$).
\item $M_{2}=\min_{j}\max_{i}a_{ij}$ --- Za drugega igralca so velike
številke v matriki slabe; pomenijo, koliko plača prvemu, zato za vsak
stolpec (tokrat stolpci predstavljajo njegove izbire) izračuna najslabšo
(največjo) vrstico (vrstice pa predstavljajo izbire prvega igralca)
in nato v njem izbere tisto možnost, kjer je najslabši izkupiček najboljši
(tam, kjer plača najmanj --- zato $\min$).
\end{itemize}
\begin{example*}
$M_{1}$ je pri Blottu dosežen v $a_{22}$, $M_{2}$ pa v $a_{14}$.
\end{example*}
\begin{claim*}
$M_{1}\leq M_{2}$ za matrično igro.
\end{claim*}
\begin{proof}
$M_{1}$ je dosežen v $\left(i_{1},j_{1}\right)$, $M_{2}$ pa v $\left(i_{2},j_{2}\right)$.
Velja, da je $M_{1}\leq a_{i_{1}}a_{j_{2}}$ --- v vrstici $i_{1}$
je najslabša možnost za prvega igralca stolpec $j_{1}$, $j_{2}$
bo kvečjemu toliko slab (in slabe vrednosti so za prvega igralca male
številke). Poleg tega velja $a_{i_{1}}a_{j_{2}}\leq M_{2}$ --- v
stolpcu $j_{2}$ je najslabša možnost za drugega igralca vrstica $i_{2}$,
$i_{1}$ bo kvečjemu tako slab (in slabe vrednosti so za drugega igralca
velike številke).
\end{proof}
\begin{defn*}
$\left(i_{0},j_{0}\right)$ je sedlo matrike $A$, če je $a_{i_{0}j_{0}}$
najmanjši v svoji vrstici in največji v svojem stolpcu.
\end{defn*}
\begin{example*}
Blotto nima sedla. Primer matrike s kar dvema sedloma ($a_{22}$ in
$a_{24}$):
\[
A=\left[\begin{array}{cccc}
1 & -1 & 1 & 0\\
3 & 0 & 1 & -2\\
2 & 1 & 2 & 1\\
-1 & 0 & 1 & 1
\end{array}\right].
\]
\end{example*}
\begin{claim*}
Matrika $A$ ima sedlo $\Leftrightarrow M_{1}=M_{2}$.
\end{claim*}
\begin{proof}
Dokazujemo ekvivalenco.
\begin{elabeling}{00.00.0000}
\item [{$\left(\Rightarrow\right)$}] Naj bo $\left(i_{0},j_{0}\right)$
sedlo. Tedaj velja $M_{1}\overset{\text{I.}}{\geq}\min_{j}a_{i_{0}j}=a_{i_{0}j_{0}}=\max_{i}a_{ij_{0}}\overset{\text{II.}}{\geq}M_{2}$
in zato skupaj $M_{1}\geq M_{2}$. Od prej vemo $M_{1}\leq M_{2}$,
zato $M_{1}=M_{2}$.

Razlaga I.: $M_{1}$ je definiran kot $\max_{i}\min_{j}a_{ij}$. S
tem ko smo fiksirali vrstico, smo lahko izpustili kakšne vrstice z
večjimi minimalnimi vrednostmi.

Razlaga II.: $M_{2}$ je definiran kot $\min_{j}\max_{i}a_{ij}$.
S tem ko smo fiksirali stolpec, smo lahko izpustili kakšne stolpce
z manjšimi maksimalnimi vrednostmi.
\item [{$\left(\Leftarrow\right)$}] Naj bo $M_{1}$ dosežen v $\left(i_{1},j_{1}\right)$
in $M_{2}$ dosežen v $\left(i_{2},j_{2}\right)$ ter velja $M_{1}=M_{2}$.
Trdimo, da je $\left(i_{1},j_{2}\right)$ sedlo. Velja 
\[
M_{1}=a_{i_{1}j_{1}}\leq a_{i_{1}j_{2}}\leq a_{i_{2}j_{2}}=M_{2}=M_{1}
\]
Torej $a_{i_{1}j_{2}}$ je najmanjši v svoji vrstici, ker je enak
$M_{1}$ in največji v svojem stolcpu, ker je enak $M_{2}$. Enak
je $M_{1}$ in $M_{2}$ zato, ker smo ga zgoraj ujeli v tale sendvič
neenakosti.
\end{elabeling}
\end{proof}
Če je $\left(i_{0},j_{0}\right)$ sedlo, je $i_{0}$ optimalna strategija
za prvega igralca in $j_{0}$ optimalna strategija za drugega igralca.
Torej nas bodo v nadaljevanju zanimale mešane strategije. Mešana strategija
je seznam verjetnosti --- kolikšna je verjetnost, da bo igralec izbral
$i-$to strategijo. Torej takole:
\begin{itemize}
\item Prvi igralec izbere $\left(x_{1},\dots,x_{n}\right)\in\mathbb{R}^{n}$,
$x_{i}\geq0$, $x_{1}+\cdots+x_{n}=1$, kjer $x_{i}$ pomeni verjetnost,
da prvi igralec izbere strategijo $i$.
\item Drugi igralec izbere $\left(y_{1},\dots,x_{m}\right)\in\mathbb{R}^{m}$,
$y_{i}\geq0$, $y_{1}+\cdots+y_{m}=1$, kjer $y_{i}$ pomeni verjetnost,
da drugi igralec izbere strategijo $j$.
\end{itemize}
\begin{defn*}
$\left(0,\cdots,0,1,0,\cdots,0\right)$ je čista strategija.
\end{defn*}
Če ima plačilna matrika sedlo, izbereta oba igralca čisto strategijo.
\begin{defn*}
Matematično upanje (povprečje) (angl. expected value / EV) izračunamo
kot produkt obeh verjetnosti, zmnožen z vrednostjo plačilne matrike:
\[
\sum_{i=1}^{n}\sum_{j=1}^{m}x_{i}y_{j}\cdot a_{ij}=\sum_{i=1}^{n}x_{i}\left(\sum_{j=1}^{m}a_{ij}y_{j}\right)=\sum_{i=1}^{n}x_{i}\left(A^{T}y\right)_{i}=x^{T}Ay
\]
\end{defn*}
\begin{itemize}
\item Prvi ob neznanju igranja drugega igralca torej izbere: $\max_{x}\min_{y}x^{T}Ay$
\item Drugi pa $\min_{y}\max_{x}x^{T}Ay$
\end{itemize}
%
Zvezna funkcija na kompaktu (zaprta in omejena množica) doseže $\max$
in $\min$, zato zgornji vrednosti obstajata.
\begin{claim*}
$\max_{x}\min_{y}x^{T}Ay\leq\min_{y}\max_{x}x^{T}Ay$
\end{claim*}
\begin{proof}
Naj bo $\max_{x}\min_{y}x^{T}Ay$ dosežen v $\left(x',y'\right)$
in $\min_{y}\max_{x}x^{T}Ay$ v $\left(x'',y''\right)$. Tedaj velja
\[
\left(x^{'}\right)^{T}Ay'\leq\left(x^{'}\right)^{T}Ay^{''}\leq\left(x''\right)^{T}Ay''
\]
\end{proof}
\begin{claim*}
Naj bo $x\in\mathbb{R}^{n}$ fiksen. Tedaj je $\min_{y}x^{T}Ay=\min_{j\in\left\{ 1..m\right\} }\sum_{i=1}^{n}a_{ij}x_{i}$.
\end{claim*}
\begin{proof}
Z $\left(e_{j}\right)_{j\in\left\{ 1..m\right\} }$ označimo standardne
bazne vektorje v $\mathbb{R}^{m}$.
\[
\min_{y\in\mathbb{R}^{m}}x^{T}Ay\leq\min_{y\in\left(e_{j}\right)_{j\in\left\{ 1..m\right\} }}x^{T}Ay=\min_{j\in\left\{ 1..m\right\} }\sum_{i=1}^{n}a_{ij}x_{i}
\]

S tem smo dokazali očitno smer, $\min_{y}x^{T}Ay\leq\min_{j\in\left\{ 1..m\right\} }\sum_{i=1}^{n}a_{ij}x_{i}$.
Sedaj dokažimo še $\geq$.

Naj bo $s\coloneqq\min_{j\in\left\{ 1..m\right\} }\sum_{i=1}^{n}a_{ij}x_{i}=\min_{y\in\left(e_{j}\right)_{j\in\left\{ 1..m\right\} }}x^{T}Ae_{j}$.
\[
x^{T}Ay=\sum_{i=1}^{n}\sum_{j=1}^{m}a_{ij}x_{i}y_{j}=\sum_{j=1}^{m}\left(\overset{\geq s}{\sum_{i=1}^{n}a_{ij}x_{i}}\right)\overset{\geq0}{y}_{j}\geq\sum_{j=1}^{m}sy_{j}\overset{\text{I.}}{=}s
\]
Razlaga I.: Za vektor $y$ velja, da ima same nenegativne komponente,
ki se seštejejo v $1$ (slednji del je predvsem pomemben), torej velja
$\sum_{j=1}^{m}y_{j}\check{c}=\check{c}$. $s$ je samo številka/skalar
(EV).

Torej smo dobili še $\min x^{T}Ay\geq s$ in zato skupaj z $\min_{y}x^{T}Ay\leq s$
dobimo $\min_{y}x^{T}Ay=s$. S tem smo izvedeli, da se lahko drugi
igralec ob znani strategiji prvega igralca ustrezno brani s čisto
strategijo.
\end{proof}
%

\paragraph*{Iskanje optimalne strategije prvega igralca}

Pred nami je sledeč optimizacijski problem: $\max\min_{j\in\left\{ 1..m\right\} }\sum_{i=1}^{n}a_{ij}x_{i}$
p. p. $x_{1}+\cdots+x_{n}=1$, $\forall i\in\left\{ 1..n\right\} :x_{i}\geq0$.
To ni linearen program, ker kriterijska funkcija ni linearna (vsebuje
$\min$). Trik: $\max\min\left\{ a,b\right\} $ pretvorimo v $\max s\ni:s\leq a\wedge s\leq b$
. Problem pretvorimo takole:
\[
\max s
\]
pri pogojih
\[
\forall j\in\left\{ 1..m\right\} :s\leq\sum_{i=1}^{n}a_{ij}x_{i}
\]
\[
x_{1}+\cdots+x_{n}=1
\]
\[
\forall i\in\left\{ 1..n\right\} :x_{i}\geq0
\]
To pa sedaj je linearen program, ki ga lahko rešimo z doslej znanimi
metodami.

\paragraph*{Iskanje optimalne strategije drugega igralca}

Pred nami je sledeč optimizacijski problem: $\min\max_{i\in\left\{ 1..n\right\} }\sum_{j=1}^{m}a_{ij}y_{y}$
p. p. $y_{1}+\cdots+y_{n}=1$, $\forall j\in\left\{ 1..m\right\} :y_{i}\geq0$.
To ni linearen program, ker kriterijska funkcija ni linearna (vsebuje
$\max$). Trik: $\min\max\left\{ a,b\right\} $ pretvorimo v $\min t\ni:t\geq a\wedge t\geq b$.
Problem pretvorimo takole:
\[
\min s
\]
pri pogojih
\[
\forall i\in\left\{ 1..n\right\} :s\geq\sum_{j=1}^{m}a_{ij}y_{j}
\]
\[
y_{1}+\cdots+y_{n}=1
\]
\[
\forall j\in\left\{ 1..m\right\} :y_{i}\geq0
\]
Ta dva linearna programa (za prvega in drugega igralca) sta si dualna.
Nista v standardni obliki, temveč sta splošna (glej dual splošnega
problema). Oba problema sta dopustna, nenazadnje za oba vedno obstaja
dopustna rešitev oblike $x=\left(1,0,\cdots,0\right),s=\min_{j\in\left\{ 1..m\right\} }a_{1j}$.
Torej po ŠID obstaja optimalna rešitev za oba problema.
\begin{thm*}
Izrek o minimaxu. Za poljubno matriko $A$ velja, da je $\max_{x}\min_{y}x^{T}Ay=\min_{y}\max_{x}x^{T}Ay$.
Tej skupni optimalni vrednosti pravimo ,,strateško sedlo`` oziroma
vrednost igre.
\end{thm*}
\begin{proof}
Sledi iz zgornjih linearnih programov, na katerih uporabimo KID.
\end{proof}
\begin{defn*}
Igra je poštena, če ima vrednost 0. Igra je simetrična, če $A^{T}=A$.
\end{defn*}
\begin{claim*}
Vsaka simetrična igra je poštena.
\end{claim*}
\begin{proof}
\[
v=\max_{x}\min_{y}x^{T}Ay=\max_{x}\min_{y}x^{T}\left(-A\right)^{T}y=-\min_{x}\max_{y}x^{T}A^{T}y=-\min_{x}\max_{y}\left(Ax\right)^{T}y=-\min_{x}\max_{y}y^{T}\left(Ax\right)=
\]
preimenujemo spremenljivke $x\to y$ in $y\to x$:
\[
=-\min_{y}\max_{x}x^{T}Ay=-v
\]
Ker $v=-v\Longrightarrow v=0$.
\end{proof}
Kako poiščemo optimalno strategijo? Z dvofazno simpleksno metodo.
\begin{example*}
Kako preverimo, da je $\left(\frac{1}{3},\frac{1}{3},\frac{1}{3}\right)=x^{*}=y^{*}$
optimalna strategija za ŠKP?
\begin{itemize}
\item Dopustnost: Obe rešitvi sta dopustni.
\item Enaki vrednosti kriterijskih funkcij (vrednost igre): $0=\min_{j}\sum_{i=1}^{n}a_{ij}x_{i}=\max_{i}\sum_{j=1}^{m}a_{ij}y_{j}=0$.
\end{itemize}
Kako preverimo, da sta $x^{*}=\left(\frac{4}{9},0,\frac{1}{9},0,\frac{4}{9}\right)$
in $y^{*}=\left(\frac{7}{90},\frac{32}{90},\frac{48}{90},\frac{3}{90}\right)$
optimalni strategiji za Blotto?
\begin{itemize}
\item Dopustnost: Obe rešitvi sta dopustni.
\item Enaki vrednosti kriterijskih funkcij (vrednost igre):
\begin{itemize}
\item $\min_{j}\sum_{i=1}^{n}a_{ij}x_{i}\approx1,\overline{5}$
\item $\max_{i}\sum_{j=1}^{m}a_{ij}y_{j}\approx1,\overline{5}$
\end{itemize}
\end{itemize}
\end{example*}
%
\begin{example*}
Igra Morra. Z levico pokažemo en ali dva prsta, z desnico napovemo,
koliko prstov bo pokazal drugi igralec s svojo levico. Če uganemo,
dobimo toliko enot, kolikor sta oba igralca pokazala s svojima levicama.

\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|c|}
\hline 
 & 1,1 & 1,2 & 2,1 & 2,2\tabularnewline
\hline 
1,1 & 0 & 2 & -3 & 0\tabularnewline
\hline 
1,2 & -2 & 0 & 0 & 3\tabularnewline
\hline 
2,1 & 3 & 0 & 0 & -4\tabularnewline
\hline 
2,2 & 0 & -3 & 4 & 0\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Plačilna matrika za Morro}
\end{table}
Vse optimalne strategije so $\left(0,t,1-t,0\right)$ za $t\in\left[\frac{4}{7},\frac{3}{5}\right]$.
Ena ustrezna je torej recimo $x^{*}=y^{*}=\left(0,\frac{3}{5},\frac{2}{5},0\right)$.
Izračunajmo vrednost igre. $\min\max_{j}\sum_{i=1}^{4}a_{ij}x_{i}=\min\left\{ 0,0,0,\frac{9}{5}-\frac{8}{5}\right\} =0=\max\min_{i}\sum_{j=1}^{4}a_{ij}y_{j}=\max\left\{ 0,0,0,-\frac{1}{5}\right\} $.
Igra je poštena.
\end{example*}
%
\begin{defn*}
Naj bo $x,x^{*}\in\mathbb{R}^{n}$. Rečemo, da $x$ dominira $x'$,
če je po komponentah $x\geq x'$.
\end{defn*}
Če v $A$ $i-$ta vrstica dominira $j-$to, lahko $j-$to vrstico
izbrišemo. Če $i-$ti stolpec dominira $j-$tega, lahko izbrišemo
$i-$tega.
\begin{example*}
Primer:
\[
A=\left[\begin{array}{cccc}
\cancel{2} & 3 & -6 & -3\\
\cancel{6} & -2 & 4 & 5\\
\cancel{7} & -3 & 3 & 2
\end{array}\right]\to\left[\begin{array}{ccc}
3 & -6 & -3\\
-2 & 4 & 5\\
\cancel{-3} & \cancel{3} & \cancel{2}
\end{array}\right]\to\left[\begin{array}{ccc}
3 & -6 & \cancel{-3}\\
-2 & 4 & \cancel{5}
\end{array}\right]\to\left[\begin{array}{cc}
3 & -6\\
-2 & 4
\end{array}\right]
\]
\end{example*}
%
\begin{example*}
Poenostavljeni poker. Imejmo dva igralca in tri karte (1, 2, 3).

Potek licitacij: Najprej oba stavita 1, nato prvi igralec stavi 0
ali 1, nato drugi igralec stavi 0 ali 1, nato lahko prvi igralec stavi
0 ali 1, če je doslej stavil (0,1). Dobitki se izplačujejo takole:
\begin{example*}
\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|c|}
\hline 
A & B & A & zmaga & dobitek\tabularnewline
\hline 
0 & 0 & / & višja karta & 1\tabularnewline
\hline 
0 & 1 & 0 & B & 1\tabularnewline
\hline 
0 & 1 & 1 & višja karta & 2\tabularnewline
\hline 
1 & 0 & / & A & 1\tabularnewline
\hline 
1 & 1 & / & višja karta & 2\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Dobitki pri poenostavljenem pokru}

\end{table}
Opcije za stavo 1. igralca:
\begin{itemize}
\item A1: stavi 0, če $B$ stavi 1, spet 0
\item A2: stavi 0, če $B$ stavi 1, $A$ spet stavi 1
\item A3: stavi 1
\end{itemize}
Stava za drugega igralca:
\begin{itemize}
\item B1: stavi vedno 0
\item B2: stavi enako kot A
\item B3: stavi nasprotno kot A
\item B4: stavi vedno 1
\end{itemize}
Strategija prvega igralca je trojica $\left(A_{i},A_{j},A_{k}\right)$
(če ima karto 1, 2 ali 3). Na voljo je torej 27 strategij. Strategija
drugega igralca je trojica $\left(B_{i},B_{j},B_{k}\right)$ (če ima
karto 1, 2 ali 3). Na voljo je torej 64 strategij.

Primer A: $\left(3,1,2\right)$, B $\left(1,2,4\right)$: Matematično
upanje: $\frac{1}{6}\left(-2-2+1-1+1+1\right)=\frac{-2}{6}=\frac{-1}{3}$.
S takimi strategijami služi drugi igralec.
\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|}
\hline 
A & B & licitacije & dobitek\tabularnewline
\hline 
1 & 2 & 1 1 & -2\tabularnewline
\hline 
1 & 3 & 1 1 & -2\tabularnewline
\hline 
2 & 1 & 0 0 & 1\tabularnewline
\hline 
2 & 3 & 0 1 0 & -1\tabularnewline
\hline 
3 & 1 & 0 0 & 1\tabularnewline
\hline 
3 & 2 & 0 0 & 1\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Preizkus izbranih strategij}
\end{table}

Optimizacija zaenkrat ogromne plačilne matrike z dominiranjem:

Prvi igralec:
\begin{itemize}
\item Če ima karto 1: $A1$ dominira $A2$.
\item Če ima karto 2: $A3$ dominira $A1$.
\item Če ima karto 3: $A2$ dominira $A3$: Če ima 2. igralec 1, se igra
po A2 izvede ,,0 0 +1 ali 0 0 1 +2``, po A3 pa ,,1 0 +1``. Če
ima 2. igralec 3, se igra po A2 izvede ,,0 1 1 -2``, po A3 pa ,,1
1 -2``.
\end{itemize}
Ostane nam še 8 strategij za $A$ in s tem 8 vrstic v plačilni matriki.

Drugi igralec:
\begin{itemize}
\item Če ima karto 1: $B2$ in $B4$ nista smiselni.
\item Če ima karto 3: Izberemo vedno $B4$.
\item Če ima karto 2: $B1$ dominira $B3$ in $B2$ dominira $B4$. Dokaz:
\begin{itemize}
\item Če ima 1. igralec 1:
\begin{itemize}
\item $B1$ ,,0 0 -1`` ali ,,1 0 +1`` dominira $B3$ ,,0 1 -1`` ali
,,1 0 +1``
\item $B2$ ,,0 0 -1`` ali ,,1 1 -2`` dominira $B4$ ,,0 1 -1`` ali
,,1 1 -2``
\end{itemize}
\item Če ima 1. igralec 3:
\begin{itemize}
\item $B1$ ,,0 0 +1`` ali ,,1 0 +1`` dominira $B3$ ,,0 1 1 +2``
ali ,,1 0 +1``
\item $B2$ ,,0 0 +1`` ali ,,1 1 +2`` dominira $B4$ ,,0 1 1 +2``
ali ,,1 1 +2``
\end{itemize}
\end{itemize}
\end{itemize}
Ostanejo le še 4 strategije za $B$ in skupaj samo še 8x4 plačilna
tabela:

\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|c|c|}
\hline 
A\textbackslash B & 114 & 124 & 314 & 324\tabularnewline
\hline 
\hline 
112 & 0 & 0 & $-\frac{1}{6}$ & $-\frac{1}{6}$\tabularnewline
\hline 
113 & 0 & $\frac{1}{6}$ & $-\frac{1}{3}$ & $-\frac{1}{6}$\tabularnewline
\hline 
122 & $-\frac{1}{6}$ & $-\frac{1}{6}$ & $\frac{1}{6}$ & $\frac{1}{6}$\tabularnewline
\hline 
123 & $-\frac{1}{6}$ & 0 & 0 & $\frac{1}{6}$\tabularnewline
\hline 
312 & $\frac{1}{6}$ & $-\frac{1}{3}$ & 0 & $-\frac{1}{2}$\tabularnewline
\hline 
313 & $\frac{1}{6}$ & $-\frac{1}{6}$ & $-\frac{1}{6}$ & $-\frac{1}{2}$\tabularnewline
\hline 
322 & 0 & $-\frac{1}{2}$ & $\frac{1}{3}$ & $-\frac{1}{6}$\tabularnewline
\hline 
323 & 0 & $-\frac{1}{3}$ & $\frac{1}{6}$ & $-\frac{1}{6}$\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Okrajšana plačilna tabela za poenostavljeni poker}

\end{table}
Če bi se lotili iskati optimalno strategijo, bi prišli do petparametrične
rešitve. Ena ustrezna rešitev je takale: $x_{112}^{*}=\frac{2}{3}$,
$x_{122}^{*}=\frac{1}{3}$, $y_{114}^{*}=\frac{2}{3}$, $y_{324}^{*}=\frac{1}{3}$.
$v^{*}=\frac{-1}{18}$, se pravi igra ni poštena in je v prid drugemu
igralcu.
\end{example*}
\end{example*}

\section{Problem razvoza (angl. transshipment problem)}

Imamo 3 mesta. V 1. proizvajajo 7 enot mleka, v 2. in 3. pa porabljajo
3 oz. 4 enote mleka. Stroški prevoza so naslednji: $1\to2$ za 3/enoto,
$1\to3$ za 1/enoto, $2\to3$ za 6/enoto, $3\to2$ za 1/enoto. Kako
s čim manjšimi stroški zadovoljiti potrebe po mleku?

\begin{figure}[H]
\begin{centering}
\includegraphics{mleko}
\par\end{centering}
\caption{Graf omrežja}

\end{figure}
Dopustna rešitev cene 13: direktno iz mesta 1 pošljemo 3 enote v 2
in 4 enote v 3. Dopustna rešitev cene 10: 7 enot v mesto 3, 3 enote
v mesto 2.
\begin{defn*}
Naloga pri problemu razvoza je torej usmerjen utežen graf (angl. digraph)
$G=\left(V,E\right)$. Za vsako vozlišče je podan $b_{v}\in\mathbb{R}$.
Če mleko mesto porablja, $b_{v}>0$, če mleko mesto proizvaja pa $b_{v}<0$.
Smiselno je lahko $b_{v}=0$. Cene razvoza na enoto so navedene na
povezavah med mesti in sicer $c_{e}\in\mathbb{R}$ za $e\in E$ (lahko
so negativne). Veljati mora $\sum_{v\in V}b_{v}=0$. Iščemo $\left(x_{e}\right)_{e\in E}\ni:\forall e\in E:x_{e}\geq0\wedge\forall v\in V:\left(\sum_{\text{konec}\left(e\right)=v}x_{e}-\sum_{\text{začetek}\left(e\right)=v}x_{e}\right)=b_{v}$
(slednje je Kirchoffov zakon) ob minimizaciji $\sum_{e\in E}x_{e}\cdot c_{e}$.
\end{defn*}
\begin{example*}
V našem mlečnem primeru dveh mest torej
\[
\min3x_{12}+x_{13}+6x_{23}+x_{32}
\]
pri pogojih
\[
-x_{12}-x_{13}=-7
\]
\[
x_{12}+x_{32}-x_{23}=3
\]
\[
x_{13}+x_{23}-x_{32}=4
\]
\[
x_{12},x_{13},x_{23},x_{32}\geq0
\]

Oziroma $c=\left[\begin{array}{c}
3\\
1\\
6\\
1
\end{array}\right]$, $b=\left[\begin{array}{c}
-7\\
3\\
4
\end{array}\right]$, $A=\left[\begin{array}{cccc}
-1 & -1 & 0 & 0\\
1 & 0 & -1 & 1\\
0 & 1 & 1 & -1
\end{array}\right]$ in nato $\min c^{T}x$ p. p. $Ax=b\wedge x\geq0$. $A$ je incidenčna
matrika grafa. $A=\left[a_{ve}\right]_{v\in V,e\in E}$, $a_{ve}=\begin{cases}
1 & \text{konec}\left(e\right)=v\\
-1 & \text{začetek}\left(e\right)=v\\
0 & \text{sicer}
\end{cases}$, $b=\left[b_{v}\right]_{v\in V}$, $c=\left[c_{e}\right]_{e\in E}$.
\end{example*}
Problem razvoza kot LP se glasi $\min c^{T}x$ p. p. $Ax=b,x\geq0$
oziroma v splošni obliki $\max\left(-c\right)^{T}x$ p. p. $\left(-A\right)x=-b$,
$x\geq0$

Njegov dual je $\max b^{T}y$ p. p. $A^{T}y\leq c$ oziroma kot dual
splošne oblike $\min\left(-b\right)^{T}y$ p. p. $\left(-A\right)^{T}y\geq-c$.
$y=\left[y_{v}\right]_{v\in V}$.

Podrobneje si oglejmo dual: $\max\sum_{y=1}^{n=\left|V\right|}b_{i}y_{i}$
p. p. $\forall ij\in E:y_{j}-y_{i}\leq c_{ij}$ oziroma $y_{i}+c_{ij}\geq y_{j}$.

Kaj pove izrek o dualnem dopolnjevanju? Naj bosta $x,y$ dopustni
rešitvi za $P,P'$. Tedaj $x,y$ optimalni 
\[
\Leftrightarrow\left(\forall i\in\left\{ 1..m'\right\} :\overset{\text{vedno velja --- kirchoff}}{\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}}\vee y_{i}=0\right)\wedge\left(\forall j\in\left\{ 1..n'\right\} :x_{j}=0\vee\sum_{i=1}^{m}a_{ij}y_{i}=c_{j}\right)
\]
Torej, če sta $x,y$ dopustni za $PR$ in $PR'$, sta optimalni natanko
tedaj, ko $\forall ij\in E:x_{ij}=0\vee y_{i}+c_{ij}=y_{j}$.

Problem razvoza lahko rešujemo z dvofazno simpleksno metodo. Mi ga
bomo reševali s simpleksno metodo na omrežjih.
\begin{note*}
$y$ je $\overset{\text{optimalna}}{\text{dopustna}}$ rešitev duala
problema razvoza $\Leftrightarrow y+\left(\varepsilon,\dots,\varepsilon\right)$
(sama enaka števila) je $\overset{\text{optimalna}}{\text{dopustna}}$
rešitev duala problem razvoza.
\end{note*}
Kriterijska funkcija duala: $\sum_{i=1}^{n}b_{i}\left(y_{i}+\varepsilon\right)=\sum_{i=1}^{n}b_{i}y_{i}+\sum_{i=1}^{n}b_{i}\varepsilon=\sum_{i=1}^{n}b_{i}y_{i}+\varepsilon\cancelto{0}{\sum_{i=1}^{n}b_{i}}$
(po predpostavki PR)
\begin{defn*}
$x$ je drevesna dopustna rešitev (DDR) $\Leftrightarrow$ je dopustna
$\wedge\exists$ vpeto drevo $T\ni:\forall e\not\in T:x=0$.
\end{defn*}
\begin{claim*}
Če obstaja dopustna rešitev, obstaja tudi drevesna dopustna rešitev.
Predpostavimo, da je $G$ povezan, ko ignoriramo smeri povezav.
\end{claim*}
\begin{proof}
Denimo, da v $G\exists$ neusmerjen (ignoriramo smeri) cikel, na katerem
so vse vrednosti $x_{e}>0$. Izberemo si eno smer. Vse povezave v
to smer so preme, v drugo smer pa obratne. Če v eno smer ni obratne
povezave, si izberemo drugo (tam bo obratna povezava). Na premih povezavah
$x_{e}$ povečamo za $t$, na obratnih pa $x_{e}$ zmanjšamo za $t$.
Kirchoffov zakon še vedno velja (če sta obe povezavi vozlišča na ciklu
premi, če obe kažeta ven, če obe kažeta navznoter, če sta obe obratni).
Za $t$ vzamemo $\min_{\text{obratne}}x_{e}\eqqcolon t$. Tako ogranimo
nenegativnost in zagotovimo ničelni razvoz na povezavi, na kateri
je minimum dosežen. Nadaljujemo, dokler obstajo cikli. Na koncu dobimo
$x_{e}>0$ na nekem gozdu. Za $T$ vzamemo ta gozd in poljubne povezave,
da gozd povežemo (v DDR imamo seveda lahko ničelne povezave).
\end{proof}
\begin{rem*}
Kako se spremeni cena razvoza pri našem postopku? Za $0<t\cdot\left(\sum_{e\text{ prema}}c_{e}-\sum_{e\text{ obratna}}c_{e}\right)$.
Ali pade ali naraste pa je odvisno od predznaka izraza v oklepajih.
\end{rem*}

\subsection{Simpleksna metoda na omrežjih.}

Začnemo z $x$ DDR. Poiščemo ustrezne razvozne cene (dual) na DDR,
začenši z $y_{1}=0$. Preostale izračunamo z $y_{i}+c_{ij}=y_{j}$
za $ij\in T$. Ker ni ciklov, je to enolično rešljivo.

Če velja $\forall ij\in E\setminus T:y_{i}+c_{ij}\geq y_{j}$, je
$y$ dopustna za dual in s tem sta po DD $x$ in $y$ optimalni. V
nasprotnem primeru $\exists ij\in E\setminus T\ni:y_{i}+c_{ij}<y_{j}\sim c_{ij}<y_{j}-y_{i}$.
Tedaj dodamo $ij$ v $T$ in dobimo natanko en cikel, ki ga usmerimo
v smeri $ij$. Dobimo preme in obratne povezave, izberemo $t\coloneqq\min_{e\text{ obratne}}x_{e}$.
Na premih povečamo za $t$, na obratnih zmanjšamo za $t$. Gotovo
na eni od obratnih postane $0$ --- odstranimo to obratno povezavo,
na kateri je dosežen minimum, iz $T$. $ij$ se imenuje vstopna, odstranjena
pa izstopna povezava. Povezave v drevesu so tako kot bazne spremenljivke.
Če ni obratne povezave, je primer neomejen.

Kako se spremeni cena razvoza? V splošnem: $\sum_{e\text{ prema}}c_{e}-\sum_{e\text{ obratna}}c_{e}<0$.
Cena se spremeni za $\overset{\geq0}{t}\cdot\overset{<0}{\left(\sum_{e\text{ prema}}c_{e}-\sum_{e\text{ obratna}}c_{e}\right)}\leq0$.
Gotovo se zmanjša, če najdemo dve vozlišči, kjer je $y_{i}+c_{ij}<y_{j}$.
\begin{rem*}
Če velja $\forall ij\in E\setminus T:y_{i}+c_{ij}\geq y_{i}$ (I.),
potem je $\left(x_{e}\right)_{e\in E}$ optimalna. To vemo že iz DD.
Dokažimo še enkrat. Naj bo $\overline{x_{e}}$ še ena rešitev: Velja
$\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}=0$, ker $y_{i}+c_{ij}=y_{j}$
na povezavah v drevesu (drugod pa velja $x_{ij}=0$). Toda za $\overline{x_{e}}$
nimamo zagotovitve, da so povezave na $T$, zatorej je lahko $\left(\overset{\geq0\text{ po predp I.}}{y_{i}+c_{ij}-y_{j}}\right)\overset{\geq0}{\overline{x_{ij}}}\geq0$.
Iz tega sledi 
\[
\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}\leq\left(y_{i}+c_{ij}-y_{j}\right)\overline{x_{ij}}.
\]
Naredimo $\sum_{ij\in E}$ po tej neenačbi:
\[
\sum_{ij\in E}\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}\leq\sum_{ij\in E}\left(y_{i}+c_{ij}-y_{j}\right)\overline{x_{ij}}
\]
\[
\sum_{ij\in E}c_{ij}x_{ij}+\sum_{ij\in E}\left(y_{i}-y_{j}\right)x_{ij}\leq\sum_{ij\in E}c_{ij}\overline{x_{ij}}+\sum_{ij\in E}\left(y_{i}-y_{j}\right)\overline{x_{ij}}
\]

\[
\sum_{ij\in E}c_{ij}x_{ij}-\sum_{ij\in E}\left(y_{j}-y_{i}\right)x_{ij}\leq\sum_{ij\in E}c_{ij}\overline{x_{ij}}-\sum_{ij\in E}\left(y_{j}-y_{i}\right)\overline{x_{ij}}
\]
Upoštevamo $y_{j}-y_{i}=\left(A^{T}y\right)_{ij}$ (ne razumem) in
$\sum_{ij\in E}c_{ij}x_{ij}=c^{T}x$ in $\sum_{ij\in E}\left(A^{T}y\right)_{ij}x_{ij}=\left(A^{T}y\right)^{T}x$:
\[
c^{T}x-\left(A^{T}y\right)^{T}x\leq c^{T}\overline{x}-\left(A^{T}y\right)^{T}\overline{x}
\]
\[
c^{T}x-y^{T}Ax\leq c^{T}\overline{x}-y^{T}A\overline{x}
\]

Upoštevamo $Ax=b$ (Kirchoffovi zakoni)
\[
c^{T}x-y^{T}b\leq c^{T}\overline{x}-y^{T}b
\]
\[
c^{T}x\leq c^{T}\overline{x}
\]
Ker je $\overline{x}$ poljubna, je $x$ res optimalna.
\end{rem*}
%
\begin{rem*}
Naj bo $x$ DDR. 
\[
\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}=0\quad/\sum_{ij\in E}
\]
\[
c^{T}x-b^{T}y=0
\]
Torej je $c^{T}x=b^{T}y$ res za vsako DDR in pripadajoče razvozne
cene.
\end{rem*}
%
\begin{claim*}
Vpeto drevo enolično določa DDR.
\end{claim*}
\begin{proof}
Izberimo list. $x_{e}$ je na edini povezavi z lista enolično določen.
List in povezavo odstranimo, rekurzivno nadaljujemo.
\end{proof}
\begin{cor*}
Dopustnih rešitev je končno. Edini način, da se simpleksna metoda
na omrežjih ne ustavi, je ciklanje degeneriranih korakov. Tega se
(ne bomo dokazali) rešimo s Cunninghamovim pravilom:
\begin{itemize}
\item Naj bo $r$ izbrani koren.
\item Med kandidatkami za izstop izberemo tisto, ki je prva na poti od $r$
do vstopne povezave.
\end{itemize}
\end{cor*}
\begin{rem*}
Do začetne DDR pridemo preko reševanje pomožnega problema: Naj bo
$r$ poljuben koren. Za vsak $v\in V\setminus\left\{ r\right\} $:
\end{rem*}
\begin{itemize}
\item Če je $b_{v}\geq0$ (mesto porablja mleko): dodamo umetno povezavo
$rv$, če še ne obstaja, in nastavimo $x_{rv}\coloneqq b_{v}$.
\item Če je $b_{v}<0$ (mesto proizvaja mleko): dodamo umetno povezavo $vr$,
če še ne obstaja, in nastavimo $x_{vr}\coloneqq-b_{v}$.
\end{itemize}
Za vse ostale povezave nastavimo $x_{e}\coloneqq0$. Prvotne povezave
naj imajo ceno 0, umetne pa ceno 1. To je očitno DDR. Problem je tudi
omejen, saj imamo končno povezav s cenami bodisi 0 bodisi 1. Sedaj
konstruiran pomožen problem rešimo.

Če je optimalna vrednost tega problema 0, dobimo dopustno rešitev
originalnega problema, ko odstranimo umetne povezave. Če pa je optimalna
vrednost neničelna, pa dopustna rešitev prvotnega problema ne obstaja.
\begin{rem*}
Če ne moremo izbrati izstopne povezave $\Rightarrow$ vse povezave
v ciklu so preme $\Rightarrow$ lahko jim dodamo poljuben $t$ $\Rightarrow$
problem je neomejen.
\end{rem*}
\begin{thm*}
Izrek o celoštevilskih rešitvah. Naj bo $b_{v}\in\mathbb{Z}$.
\begin{enumerate}
\item Če $\exists$ dopustna rešitev, obstaja tudi celoštevilska dopustna
rešitev.
\item Če $\exists$ optimalna rešitev, obstaja tudi celoštevilska optimalna
rešitev.
\end{enumerate}
\end{thm*}
\begin{proof}
Dokazujemo dve trditvi.
\begin{enumerate}
\item Rešimo pomožni problem. Razvozi so sprva $\pm b_{v}$ ali 0 in ostanejo
celoštevilski tekom reševanja.
\item Naredimo še drugo fazo. Na vasakem koraku imamo celoštevilsko dopustno
rešitev, torej tudi na koncu, ko imamo optimalno rešitev.
\end{enumerate}
\end{proof}
\begin{defn*}
$A\in\mathbb{R}^{n\times n}$ je dvojno stohastična, če $a_{ij}\geq0$,
$\forall j\in\left\{ 1..n\right\} :\sum_{i=1}^{n}a_{ij}=1$ in $\forall i\in\left\{ 1..n\right\} :\sum_{j=1}^{n}a_{ij}=1$
ZDB vsaka vrstica se sešteje v 1 in vsak stolpec se sešteje v 1 in
matrika ima samo nenegativne vrednosti.
\end{defn*}
\begin{example*}
\[
A=\left[\begin{array}{ccc}
0 & 0,9 & 0,1\\
0,4 & 0,1 & 0,5\\
0,6 & 0 & 0,4
\end{array}\right]
\]
\end{example*}
\begin{defn*}
$P\in\mathbb{R}^{n\times n}$ je permutacijska, če je v vsakem stolpcu
in vrstici natanko ena 1, ostalo so pa ničle. Očitno je vsaka permutacijska
matrika dvojno stohastična.
\end{defn*}
\begin{rem*}
Permutacijskih matrik dimenzije $n\times n$ je $n!$.
\end{rem*}
\begin{claim*}
Naj bo $A\in\mathbb{R}^{n\times n}$ dvojno stohastična. Potem $\exists P$
permutacijska, da velja $p_{ij}>0\Rightarrow a_{ij}>0$.
\end{claim*}
\begin{proof}
Skonstruirajmo omrežje: $\left(V,E\right)$, $V=\left\{ v_{1},\dots,v_{n},s_{1},\dots,s_{n}\right\} $
(moč $2n$) $E=\left\{ v_{i}s_{j};\forall:i,j\in\left[n\right]\ni:a_{ij}>0\right\} $.
Torej natanko vse povezave iz $v$rhnjih v $s$podnja vozlišča, kjer
je pripadajoči element dvojno stohastične matrike $A$ pozitiven.
$\forall i:b_{v_{i}}\coloneqq-1$, $\forall i:b_{s_{i}}\coloneqq1$.
$\forall i,j:c_{v_{i}s_{j}}\coloneqq0$. Dopustna rešitev: $x_{v_{i}s_{j}}=a_{ij}$
(za $a_{ij}>0$) --- hkrati tudi optimalna.

Zakaj je to dopustna rešitev? Poglejmo Kirchoffove zakone --- to
velja po predpostavki, da je $A$ dvojno stohastična:
\[
\sum_{j}a_{ij}=1,\quad\sum_{i}a_{ij}=1
\]
Po izreku o celoštevilskih rešitvah obstaja celoštevilska rešitev:
$x_{v_{i}s_{j}}\in\mathbb{Z}$. Označimo $p_{ij}\coloneqq x_{v_{i}s_{j}}$
($=0$, če $v_{i}s_{j}\not\in E$).

Tedaj velja $p_{ij}\geq0$, $\sum_{j}p_{ij}$, $\sum_{i}p_{ij}=1$,
$p_{ij}\in\mathbb{N}_{0}$ in $p_{ij}>0\Rightarrow p_{ij}=1\Rightarrow x_{v_{i}s_{i}}=1\Rightarrow v_{i}s_{j}\in E\Rightarrow a_{ij}>0$.
Potemtakem je res, da je $P$ permutacijska matrika.
\end{proof}
\begin{cor*}
Köningov izrek o plesnih parih. Imejmo $r-$regularen dvodelni graf
$G=X\cup Y$. Iz tega sledi $\left|X=\left\{ x_{1},\dots,x_{n}\right\} \right|=\left|Y=\left\{ y_{1},\dots,y_{n}\right\} \right|=n$
(ker $\left|X\right|\cdot r=\left|Y\right|\cdot r$). Potem ima $G$
popolno prirejanje (natanko ena povezava iz vsakega vozlišča).
\end{cor*}
\begin{proof}
Uporabili bomo zadnjo trditev. Konstruirajmo dvojno stohastično matriko
$A=\left[a_{ij}\right]$ takole: $a_{ij}=\begin{cases}
\frac{1}{r} & ;x_{i}y_{j}\in E\\
0 & ;x_{i}y_{j}\not\in E
\end{cases}$. $A$ je dvojno stohastična --- $a_{ij}>0$, $\sum_{j}a_{ij}=r\frac{1}{r}=1=\sum_{i}a_{ij}$.
Obstaja permutacijska matrika $P\in\mathbb{R}^{n\times n}\ni:p_{ij}>0\Rightarrow p_{ij}=1\Rightarrow a_{ij}>0\Rightarrow a_{ij}=\frac{1}{r}\Rightarrow x_{i}y_{j}\in E$.
To nam daje popolno prirejanje --- $M=\left\{ x_{i}y_{j};p_{ij}=1\right\} \subseteq E$
($p_{ij}=1\Rightarrow x_{i}y_{i}\in E$) Res je prirejanje, pri fiksnem
$i$ je $\sum_{j}p_{ij}=1$ (analogno za $j$) $\Rightarrow$ natanko
ena povezava gre iz vsakega vozlišča.
\end{proof}

\subsection{Problem razvoza z omejitvami (PRO)}
\begin{defn*}
Naj bo $G$ usmerjen utežen graf, $\forall v\in V:b_{v}\in\mathbb{R}$,
$\forall e\in E:c_{e}\in\mathbb{R}$, $\forall e\in E:u_{e}\in\left[0,\infty\right]$.
Iščemo $\min c^{T}x$, da veljajo Kirchoffovi zakoni ($Ax=b$) in
$\forall e\in E:0\leq x_{e}\leq u_{e}$ (sedaj imamo še zgornje omejitve
prevoza na povezavah).
\end{defn*}
%
\begin{defn*}
Če je $x$ dopustna rešitev, pravimo
\begin{itemize}
\item $x_{e}=0\Leftrightarrow$ ,,povezava je PRAZNA``,
\item $x_{e}=u_{e}\Leftrightarrow$ ,,povezava je NASIČENA``.
\end{itemize}
\end{defn*}
%
\begin{defn*}
$x$ je drevesna dopustna rešitev (DDR) $\Leftrightarrow$ je dopustna
$\wedge\exists$ v $G$ vpeto drevo $T\ni:\forall e\in E:e\not\in T\Rightarrow e$
prazna $\vee e$ nasičena.
\end{defn*}

\subsubsection{Reševanje PRO s simpleksno metodo}

Naj bo $x$ DDR. Izračunamo $y$ razvozne cene. Zahtevi, da vstopno
povezavo $ij\not\in T$ dodamo v drevo:
\begin{itemize}
\item če je $ij$ prazna: $y_{i}+c_{ij}<y_{j}$
\item če je $ij$ nasičena: $y_{i}+c_{ij}>y_{j}$
\end{itemize}
Izbiranje izstopne povezave:
\begin{itemize}
\item če je $ij$ prazna: $t\coloneqq\min\left(\left\{ u_{e}-x_{e};e\text{ prema}\right\} \cup\left\{ x_{e};e\text{ obratna}\right\} \right)$.
Na premih povečamo za $t$, na obratnih zmanjšamo za $t$. Kjer je
minimum dosežen, povezava izstopa.
\item če je $ij$ nasičena: $t\coloneqq\min\left(\left\{ x_{e};e\text{ prema}\right\} \cup\left\{ u_{e}-x_{e};e\text{ obratna}\right\} \right)$.
Na premih zmanjšamo za $t$, na obratnih povečamo za $t$. Kjer je
$\min$ dosežen, povezava izstopa.
\end{itemize}
\begin{claim*}
Če ne moremo izbrati vstopne povezave, je dana DDR optimalna.
\end{claim*}
\begin{proof}
Naj bo $x$ DDR, v kateri ni moč najti vstopne povezave. Po tej predpostavki
velja $\forall ij\not\in T:x_{ij}=0\wedge y_{i}+c_{ij}\geq y_{j}\vee x_{ij}=u_{ij}\wedge y_{i}+c_{ij}\leq y_{j}$.
Naj bo sedaj $\overline{x}$ poljubna dopustna rešitev.

Oglejmo si relacijo med naslednjima dvema izrazoma:
\[
\left(y_{i}+c_{ij}-y_{j}\right)\overline{x_{ij}}\quad\underline{?}\quad\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}
\]
\begin{itemize}
\item če je $x_{ij}\in T$, potem $0=0$
\item če je $x_{ij}\not\in T$ in $x_{ij}=0$, potem $\left(\geq0\right)\left(\geq0\right)\geq0$
\item če je $x_{ij}\in T$ in $x_{ij}=u_{ij}$, potem $\left(y_{i}-c_{ij}-y_{j}\right)\leq0$
in $\overline{x_{ij}}\leq x_{ij}$. Ko $/\cdot\left(y_{i}-c_{ij}-y_{j}\right)$,
kar je $\leq0$, dobimo $\left(y_{i}-c_{ij}-y_{j}\right)$$\overline{x_{ij}}\geq\left(y_{i}-c_{ij}-y_{j}\right)x_{ij}$.
\end{itemize}
$\underline{?}$ je potemtakem $\geq$. Nadaljujmo; na obeh straneh
neenačbe napravimo $\sum_{ij\in E}$:
\[
\sum_{ij\in E}\left(y_{i}+c_{ij}-y_{j}\right)\overline{x_{ij}}\quad\geq\quad\sum_{ij\in E}\left(y_{i}+c_{ij}-y_{j}\right)x_{ij}
\]
\[
\sum_{ij\in E}c_{ij}\overline{x_{ij}}-\overline{x}^{T}\left(A^{T}y\right)\geq\sum_{ij\in E}c_{ij}x_{ij}-x^{T}\left(A^{T}y\right)
\]
... uporabimo $\left(A\overline{x}\right)^{T}y=b^{T}y$ in $\left(Ax\right)^{T}y=b^{T}y$
($x$ je dopustna rešitev --- Kirchoffovi zakoni) ...
\[
\sum_{ij\in E}c_{ij}\overline{x_{ij}}\cancel{-b^{T}y}\geq\sum_{ij\in E}c_{ij}x_{ij}\cancel{-b^{T}y}
\]
\[
c^{T}\overline{x}\geq c^{T}x,
\]
torej je $x$ res optimalna.
\end{proof}
\begin{rem*}
Če so vse povezave preme in kapacitete $\infty$, ne moremo izbrati
izstopne povezave. Takrat je problem neomejen. To se lahko zgodi le,
če je vstopna povezava prazna. Če je nasičena, bo izstopna vedno obstajala,
nenazadnje vsaj tista, ki je bila vstopna.
\end{rem*}
\begin{question*}
A se postopek vedno zaključi? Ne, lahko pride do ciklanja, ki se mu
lahko izognemo tako, da (Cunninghanovo pravilo --- ne bomo dokazali):
\begin{itemize}
\item če je vstopna prazna, izmed kandidatk za izstop vedno izberemo prvo
\item če je vstopna nasičena, izmed kandidatk za izstop vedno izberemo zadnjo.
\end{itemize}
\end{question*}
\begin{rem*}
Lahko se zgodi, da je vstopna povezava ista kot izstopna. Recimo če
se pretvori iz prazne v nasičeno ali obratno.
\end{rem*}
\begin{question*}
Kako do začetne DDR?

Naj bo $r$ koren. Za vsako vozlišče $v\in V\setminus\left\{ r\right\} $:
\begin{itemize}
\item če je $b_{v}<0$: dodamo umetno povezavo $vr$ s kapaciteto $-b_{v}$,
razen če je $vr\in E$ in $u_{vr}\geq-b_{v}$.
\item če je $b_{v}\geq0$: dodamo $rv$ s kapaciteto $b_{v}$, razen če
je $rv\in E$ z $u_{rv}\geq b_{v}$.
\end{itemize}
V tem pomožnem primeru je vedno trivialno najti DDR: $x_{vr}=-b_{v}$,
$x_{rv}=b_{v}$. Umetne povezave imajo ceno 1, prvotne pa ceno 0.
Naredimo simpleksno metodo na omrežjih. Če dobimo optimalno vrednost
0, je problem dopusten, sicer ni.
\end{question*}

\section{Pretoki in prerezi}
\begin{example*}
Imamo šest mest. V $A$ je izvir vode, v $F$ pa poraba. Dane povezave
med njimi so cevi s kapacitetami. Cilj je iz $A$ v $F$ prepeljati
čim več vode, upoštevaje kapacitete.
\end{example*}
\begin{defn*}
Problem maksimalnega pretoka --- max flow. Naj bo $G$ usmerjen graf
ter $s$ in $t$ izbrani vozlišči --- začetno in končno. $\forall e\in E:\text{konec}\left(e\right)\not=s\wedge\text{začetek}\left(e\right)\not=t$.
Imamo kapacitete: $\forall e\in E:u_{e}\in\left[0..\infty\right]$.
Za dopusten pretok $x$ velja $\forall e\in E:0\leq x_{e}\leq u_{e}$.
Veljati morajo Kirchoffovi zakoni: $\forall v\in V\setminus\left\{ s,t\right\} :\sum_{\text{začetek}\left(e\right)=v}x_{e}=\sum_{\text{konec}\left(e\right)=v}x_{e}$
(ničelni pretok je dopusten). Iščemo $\max\sum_{\text{začetek}\left(e\right)=s}x_{e}$
--- vrednost pretoka.
\end{defn*}
\begin{rem*}
Seštejmo Kirchoffov zakon po vseh $v\in V\setminus\left\{ s,t\right\} $:
\[
\sum_{\text{začetek\ensuremath{\left(e\right)}}\not=s}x_{e}=\sum_{\text{konec}\left(e\right)\not=t}x_{e}
\]
odštejmo na obeh straneh povezave, ki se ne začno v $s$ in ne končajo
v $t$:
\[
\sum_{\text{začetek\ensuremath{\left(e\right)}}\not=s\wedge\text{konec}\left(e\right)=t}x_{e}=\sum_{\text{konec}\left(e\right)\not=t\wedge\text{začetek}\left(e\right)=s}x_{e}
\]
prištejmo $x_{st}$ (če obstaja, sicer je 0):
\[
\sum_{\text{konec}\left(e\right)=t}x_{e}=\sum_{\text{začetek}\left(e\right)=s}x_{e}
\]
\end{rem*}
\begin{defn*}
Graf kot v maksimalnem pretoku. Prerez (cut) je množica vozlišč $C\subseteq V$,
če $s\in C$ in $t\not\in C$. Kapaciteta prereza je $\sum_{i\in C,j\not\in C}u_{ij}\in\left[0,\infty\right]$.
Iščemo minimalni prerez, t. j. prerez z najmanjšo kapaciteto. Gotovo
$\exists$, ker je prerezov končno.
\end{defn*}
\begin{claim*}
Naj bo $x$ poljuben pretok in $C$ poljuben prerez. Velja vrednost
pretoka $x\leq$ kapaciteta $C$.
\end{claim*}
\begin{proof}
Dokaz trditve. Začnimo s Kirchoffovim zakonom:
\[
\forall v\in V\setminus\left\{ s,t\right\} :\sum_{\text{začetek}\left(e\right)=v}x_{e}=\sum_{\text{konec}\left(e\right)=v}x_{e}\qquad/\sum_{v\in C\setminus\left\{ s\right\} }
\]
\[
\sum_{\text{začetek}\left(e\right)\in C\setminus\left\{ s\right\} }x_{e}=\sum_{\text{konec}\left(e\right)\in C\setminus\left\{ s\right\} }x_{e}
\]
(sicer itak ni povezave, ki bi imela $s$ za konec, zato bi lahko
tudi pisali kar $\text{konec}\left(e\right)\in C$). Sedaj odštejemo
skupne povezave, se pravi tiste, ki se začno in končajo v vozliščih,
ki sta obe v $C$:
\[
\sum_{\text{začetek}\left(e\right)\in C\setminus\left\{ s\right\} \wedge\text{konec}\left(e\right)\not\in C\setminus\left\{ s\right\} }x_{e}=\sum_{\text{konec}\left(e\right)\in C\setminus\left\{ s\right\} \wedge\text{začetek}\left(e\right)\not\in C\setminus\left\{ s\right\} }x_{e}
\]
\[
\sum_{i\in C,j\not\in C}x_{ij}-\sum_{j\not\in C}x_{sj}=\sum_{i\not\in C,j\in C}x_{ij}+\sum_{j\in C}x_{sj}
\]

\[
\sum_{i\in C,j\not\in C}x_{ij}-\sum_{i\not\in C,j\in C}x_{ij}=\sum_{j\in C}x_{sj}+\sum_{j\not\in C}x_{sj}=\sum_{j\in V}x_{s_{j}}=\text{prostornina pretoka}
\]
\[
\sum_{j\in V}x_{s_{j}}=\sum_{i\in C,j\not\in C}x_{ij}-\sum_{i\not\in C,j\in C}x_{ij}
\]
Sedaj uporabimo $\sum_{i\not\in C,j\in C}x_{ij}\geq0$ in $\forall i\in C,j\not\in C:x_{ij}\leq u_{ij}$

\[
\sum_{j\in V}x_{s_{j}}=\sum_{i\in C,j\not\in C}x_{ij}-\overset{\geq0}{\sum_{i\not\in C,j\in C}x_{ij}}\leq\sum_{i\in C,j\not\in C}x_{ij}\leq\sum_{i\in C,j\not\in C}u_{ij}
\]
Desna stran je natanko kapaciteta prereza. Torej je vrednost poljubnega
pretoka manjša ali enaka kapaciteti poljubnega prereza
\[
\sum_{j\in V}x_{s_{j}}\leq\sum_{i\in C,j\not\in C}u_{ij}.
\]
\end{proof}
\begin{cor*}
Če potemtakem najdemo prerez in pretok iste vrednosti, sta oba optimalna.
ZDB Če je vrednost pretoka $x=$ kapaciteta prereza $C$, sta oba
optimalna.
\end{cor*}
\begin{thm*}
Velja natanko ena od možnosti:
\begin{itemize}
\item Obstajajo pretoki s poljubno velikimi vrednostmi $\Rightarrow$ v
takem primeru imajo vsi prerezi kapaciteto $\infty$. Očitno po prejšnji
trditvi.
\item Obstaja največji pretok $\Rightarrow\exists$ prerez, katerega kapaciteta
je enaka volumnu največjega pretoka. (tole pa ni več očitno)
\end{itemize}
\end{thm*}
\begin{proof}
Prevedemo na problem razvoza z omejitvami. Dodamo povezavo $ts$.
Na prvotne povezave damo ceno $c_{e}\coloneqq0$, na $ts$ pa ceno
$c_{ts}\coloneqq-1$ in kapaciteto $u_{ts}\coloneqq\infty$. Na vseh
vozliščih nastavimo proizvodnjo na $b_{v}=0$.

Dobljeni problem je očitno dopusten, nenazadnje je dopustna rešitev
$\forall e\in E:x_{e}=0$. Potemtakem
\begin{itemize}
\item je lahko bodisi neomejen: tedaj so vsi pretoki neomejeni in vse kapacitete
prerezov $\infty$.
\item bodisi ima optimalno rešitev: tedaj ima optimalno drevesno rešitev
$x$. Osredotočimo se na to vejo.

Naj bodo $y_{v}$ razvozne cene. Oglejmo si $ts$. Ta zagotovo ni
nasičena, saj ima neskončno kapaciteto. Velja $y_{t}+c_{ts}\geq y_{s}$
(ker $c_{ts}=-1$), torej $y_{t}\geq y_{s}+1$.

Sedaj definiramo $C\coloneqq\left\{ v\in V;y_{v}\leq y_{s}\right\} $.

Trdimo, da je $C$ prerez: $s\in C$, ker $y_{s}\leq y_{s}$, $t\not\in C$,
ker $y_{t}\not\leq y_{s}$ (kajti $y_{t}\geq y_{s}+1$).

Trdimo, da ima $C$ enako kapaciteto kot prostornina pretoka.

Vzemimo $i\in C,j\not\in C$, torej $y_{i}\leq y_{s}$ in $y_{j}>y_{s}$.
Primerjajmo sedaj $y_{i}+\overset{=0\text{ (prvotna)}}{c_{ij}}\quad\underline{?}\quad y_{j}$.
Vemo $y_{i}+0=y_{i}\leq y_{s}<y_{j}$, torej $\underline{?}$ je $<$.
Kaj lahko sklepamo o $ij$ glede na to, da je rešitev optimalna in
da velja $y_{i}+c_{ij}<y_{j}$? Če bi bila povezava neprazna in nenasičena,
bi morala biti v drevesu, torej $y_{i}+c_{ij}=y_{j}$. Če bi bila
povezava prazna, bi lahko naredili en korak simpleksne metode na omrežjih,
torej $x$ ne bi bila optimalna rešitev. Se pravi je $ij$ nasičena.

Vzemimo $i\not\in C,j\in C$, torej $y_{i}>y_{s}$ in $y_{j}\leq y_{s}$.
Primerjajmo sedaj $y_{i}+\overset{=0\text{ (prvotna)}}{c_{ij}}\quad\underline{?}\quad y_{j}$.
Vemo $y_{i}+0>y_{s}\geq y_{j}$, torej $\underline{?}$ je $>$. Kaj
lahko sklepamo o $ij$ glede na to, da je rešitev optimalna in da
velja $y_{i}+c_{ij}>y_{j}$? Če bi bila povezava neprazna in nenasičena,
bi morala biti v drevesu, torej $y_{i}+c_{ij}=y_{j}$. Če bi bila
povezava nasičena, bi lahko naredili en korak simpleksne metode na
omrežjih, torej $x$ ne bi bila optimalna rešitev. Se pravi je $ij$
prazna.

Oglejmo si sedaj prostornino našega pretoka:
\[
\sum_{v\in V}x_{sv}=\sum_{i\in C,j\not\in C}\overset{\text{nasičene}}{x_{ij}}-\sum_{i\not\in C,j\in C}x_{ij}=\sum_{i\in C,j\not\in C}u_{ij}-\sum_{i\not\in C,j\in C}\overset{\text{prazne}}{0}
\]
Torej je prostornina pretoka enaka kapaciteti prereza. Iz tega sledi,
da je pretok maksimalen in prerez minimalen in da imata enako vrednost.
\end{itemize}
\end{proof}

\subsection{Algoritem za hitro reševanje naloge največjega prereza: Ford-Fulkerson
(FF)}

Naj bo $x$ pretok. Rečemo, da je $v_{0}v_{1}\cdots v_{k}$ povečujoča
pot, če velja $v_{0}=s$, $v_{k}=t$ in $\forall i\in\left\{ 1..\left(k-1\right)\right\} :\overset{\text{prema}}{v_{i}v_{i+1}\in E}\wedge\overset{\text{nenasičena}}{x_{v_{i}v_{i+1}}<u_{v_{i}v_{i+1}}}\vee\overset{\text{obratna}}{v_{i+1}v_{i}\in E}\wedge\overset{\text{neprazna}}{x_{v_{i+1}v_{i}}>0}$.
Označimo $t\coloneqq\min\left(\left\{ u_{v_{i}v_{i+1}}-x_{v_{i}v_{i+1}};\overset{\text{prema}}{v_{i}v_{i+1}\in E}\right\} \cup\left\{ x_{v_{i+1}v_{i}};\overset{\text{obratna}}{v_{i+1}v_{i}\in E}\right\} \right)$.
Velja $t>0$ --- degeneriranih korakov nimamo. Na premih pretok povečamo
za $t$, na obratnih ga zmanjšamo za $t$. V vseh situacijah se Kirchoffov
zakon ohranja.

Kako pa najdemo povečujočo pot? $C\coloneqq\left\{ s\right\} $ dopolnjujemo
s sosedi, ki so ustrezni kandidati za povečujočo pot. Povezave do
teh sosedov so nenasičene za preme in neprazne za obratne. Nadaljujemo
z dopolnjevanjem, dokler $t\in C$. Tedaj smo našli povečujočo pot
in povečamo pretok in ponovimo postopek (ZDB povečujočo pot lahko
recimo iščemo z BFS). Lahko pa se zgodi, da $t\not\in C$ in ne moremo
več ustvariti novih ustreznih vozlišč. Tedaj je $C$ prerez. Za $ij\in E:i\in C,j\not\in C$
je $ij$ nasičena, sicer bi $j$ lahko dodali v $C$. Za $ij\in E:i\not\in C,j\in C$
je $ij$ prazna, sicer bi $i$ lahko dodali v $C$. V tem primeru
je vrednost pretoka $\sum_{i\in C,j\not\in C}\cancelto{u_{ij}}{x_{ij}}-\sum_{i\not\in C,j\in C}\cancelto{0}{x_{ij}}=\sum_{i\in C,j\not\in C}u_{ij}$.

Ali se FF vedno konča? Če imamo iracionalne kapacitete, se ne konča
nujno.

Znano implementacijo FF sta naredila Edmunds in Karp, tam sta vedno
izbrala najkrajšo povečujočo pot (BFS). Izkaže se, da taka implementacija
vedno preneha z izvajanjem.

V enem koraku lahko pregledno operiramo tudi na več povečujočih poteh
hkrati, če so le-te disjunktne po povezavah.

Ali bi FF deloval, če bi uporabili le povečujoče poti s premimi povezavami?
Ne. Primer:

\begin{figure}[H]
\begin{centering}
\includegraphics{pot}
\par\end{centering}
\caption{Edina preostala povečujoča pot je označena z rumeno. Nima le premih
povezav.}

\end{figure}


\section{Prirejanja in pokritja}
\begin{defn*}
Naj bo $G=\left(V,E\right)$ graf. $M\subseteq E$ je prirejanje $\Leftrightarrow\forall e,f\in M:e\not=f\Rightarrow e\cap f=\emptyset$
ZDB nobeno vozlišče iz $V$ ni krajišče več povezav iz $M$.

Prirejanje je popolno, če je prirejanje in $\forall v\in V\exists e\in M:v\in e$
ZDB vsako vozlišče iz $V$ je krajišče natanko ene povezave iz $M$.

Pokritje je $P\subseteq V$, če $\forall e\in E:e\cap P\not=\emptyset$
ZDB vsaka povezava ima vsaj eno krajišče v $P$.
\end{defn*}
Ustrezno prirejanje je $M=\emptyset$. Ustrezno pokritje je $P=V$.
\begin{rem*}
Popolno prirejanje ne obstaja vedno. Recimo graf z liho vozlišči nima
popolnega prirejanja. Recimo tricikel ima $\mu\left(G\right)=1$,
torej eno izmed treh vozlišč ne bo krajišče nobene povezave, ne glede
na izbiro prirejanja $M$.
\end{rem*}
\begin{defn*}
$\mu\left(G\right)$ je velikost največjega prirejanja. $\tau\left(G\right)$
je velikost najmanjšega pokritja.
\end{defn*}
\begin{claim*}
Več trditev:
\begin{enumerate}
\item Naj bo $M$ prirejanje in $P$ pokritje. Tedaj velja $\left|M\right|\leq\left|P\right|$.
\item $\mu\left(G\right)\leq\tau\left(G\right)$ (neposredno sledi)
\item $M$ prirejanje, $P$ pokritje, $\left|M\right|=\left|P\right|\Rightarrow M$
je največje prirejanje in $P$ najmanjše pokritje in velja $\mu\left(G\right)=\tau\left(G\right)=\left|M\right|=\left|P\right|$.
(neposredno sledi)
\end{enumerate}
\end{claim*}
\begin{rem*}
V splošnem ne velja $\mu\left(G\right)=\tau\left(G\right)$: Primer
je graf dveh tri-ciklov, in ene povezave med njima: $\mu\left(G\right)=3$
toda $\tau\left(G\right)=4$. Velja pa $\mu\left(G\right)=\tau\left(G\right)$
za dvodelne grafe. Dokaz kasneje.
\end{rem*}
\begin{proof}
Dokaz trditve. Na vsaki povezavi iz $M$ mora biti vsaj eno vozlišče
iz $P$. $\forall e\in M\exists v\in P:v\in e$ in za različne $e$
dobimo različne $v$, ker je $M$ prirejanje. Dobimo injektivno (ker
je $M$ pokritje) preslikavo $M\to P$.
\end{proof}
\begin{defn*}
Naj bo $M$ prirejanje v $G=\left(V,E\right)$. $e\in E$ je vezana,
če $e\in M$. $e\in E$ je prosta, če $e\not\in M$. $v\in V$ je
vezano vozlišče, če $\exists\left(\overset{\text{sledi iz }M\text{\text{ pokritje}}}{!}\right)e\in M\ni:v\in e$.
$v\in V$ je prosto vozlišče, če $\nexists e\in M\ni:v\in e$.
\end{defn*}
%
\begin{defn*}
Pot je izmenična/alternirajoča, če se na njej izmenjujejo proste in
vezane povezave.
\end{defn*}
%
\begin{defn*}
Alternirajoča pot je povečujoča, če se začne in konča s prostim \textbf{vozliščem}.
Ni dovolj, da se začne in konča s prosto povezavo, da bo povečujoča,
je pa to potreben pogoj.
\end{defn*}
%
\begin{defn*}
Naj bosta $A,B$ množici. $A\oplus B\coloneqq\left(A\cup B\right)\setminus\left(A\cap B\right)=\left(A\setminus B\right)\cup\left(B\setminus A\right)$
je simetrična razlika množic.
\end{defn*}
\begin{claim*}
Če je $M$ prirejanje in $P$ povečujoča pot, je $M\oplus P$ tudi
prirejanje in $\left|M\oplus P\right|=\left|M\right|+1$ ZDB če v
grafu s prirejanjem $M$ in povečujočo potjo $P$ obrnemo lastnost
prosta/vezana povezav v $P$ (torej za $e\in P$: $e\in M\to e\not\in M$
in obratno $e\not\in M\to e\in M$), bomo zmanjšali število povezav
v $M$ za $1$ in $M$ bo ostal prirejanje.
\end{claim*}
\begin{proof}
Očitno.
\end{proof}
\begin{thm*}
Berge. $M$ je največje prirejanje $\Leftrightarrow\nexists$ povečujoča
pot.
\end{thm*}
\begin{proof}
Dokazujemo ekvivalenco.
\begin{elabeling}{00.00.0000}
\item [{$\left(\Rightarrow\right)$}] Sledi iz zgornje trditve.
\item [{$\left(\Leftarrow\right)$}] Naj $M$ ni največje prirejanje. Tedaj
$\exists$ drugo prirejanje $M'$, ki je večje. Naj bo $H$ podgraf
$G$ z $E\left(G\right)=M\oplus M'$, $V\left(H\right)=V$. Velja
$\deg_{H}\left(v\right)\leq2$ za vsako vozlišče, ker sta $M$ in
$M'$ prirejanji. Vsako vozlišče je lahko vsebovano v 0 povezavah,
v eni ali v dveh, nikakor pa ne v večih.

Kaj to pomeni za komponente tega grafa, ki ima samo vozlišča stopnje
kvečjemu 2? To pomeni, da so komponente tega grafa poti (kjer se izvor
povezav izmenjuje --- ..., iz $M$, iz $M'$, iz $M$, iz $M'$,
...) in sodi cikli (z isto lastnostjo).

Lihi cikli ne morejo biti, saj se morajo povezave v ciklu izmenjevati,
torej ena iz $M$, druga iz $M'$, tretja spet iz $M$ in nikakor
se ne more zgoditi, da bi dve povezavi iz $M$ ali dve povezavi iz
$M'$ imeli skupno vozlišče (ker sta $M$ in $M'$ prirejanji).

Ker je $\left|M'\right|>\left|M\right|$, je v $H$ ena komponenta,
ki je pot, ki se začne in konča s povezavo iz $M'$, na kateri se
izmenjujejo povezave po izvoru ($M'$, $M$, $M'$, $M$, $M'$, ...).
Taka pot je glede na $M$ alternirajoča. Povezave iz $M'$ namreč
niso iz $M$, sicer bi zaradi konstrukcije $H$ ($M\oplus M'$) ne
bile povezave v $H$. Preverimo še, da sta začetno in končno vozlišče
prosti, da bo pot povečujoča glede na $M$.

Če začetno vozlišče ne bi bilo prosto (če bi bilo vezano), bi obstajala
neka povezava s krajiščem v tem vozlišču, ki je iz $M$. Toda $e\not\in H$,
ker potem to vozlišče ne bi bilo začetno --- vzeli smo celo komponento
v grafu $H$. Ker $e\not\in H\wedge e\in M$, sklepamo, da $e\in M'$,
kar se pa tudi ne more zgoditi, ker vozlišče že ima povezavo iz $M'$
(prva povezava na najdeni poti).

Isto sklepanje, da je končno vozlišče prosto. Našli smo povečujočo
pot.
\end{elabeling}
\end{proof}
Iskanje največjega prirejanja smo prevedli na iskanje povečujočih
poti. Torej: začnemo s praznim prirejanjem in iščemo povečujoče poti.
Ko naenkrat ta ne obstaja več, smo našli največje prirejanje.

Za splošne grafe obstaja Edmundsov algoritem/Blossom za iskanje največjega
prirejanja, ki je učinkovit (težavnostni razred P).

Za dvodelne grafe madžarska metoda pokaže $\mu\left(G\right)=\tau\left(G\right)$.

\subsection{Madžarska metoda (MM)}

Madžarska metoda je metoda za iskanje povečujočih poti v dvodelnih
grafih.

Vhodni podatki za metodo: $G=\left(V=X\cup Y,E\right)$ dvodelni graf,
$M$ prirejanje (lahko začnemo s praznim). Iščemo povečujoče poti.
Definiramo dve množici, $S=\left\{ \text{prosta vozlišča v }X\right\} $,
$T=\emptyset$. $T$ bo podmnožica $Y$. Na vsakem koraku:
\[
S\coloneqq S\cup\left\{ \text{vsa vozlišča v }X,\text{ do katerih lahko pridemo po vezanih povezavah iz }T\right\} 
\]
\[
T\coloneqq T\cup\left\{ \text{vsa vozlišča }Y,\text{ do katerih lahko pridemo po prostih povezavah iz }S\right\} 
\]
Zapisujemo si, po kateri povezavi smo prišli do vozlišča v $V$, ko
ga dodamo.

Če v nekem trenutku $T$ vsebuje kakšno prosto vozlišče, smo našli
povečujočo pot. Sicer je v nekem trenutku novi $S$ isti kot stari
$S$ in novi $T$ isti kot stari $T$. Tedaj je $M$ največje prirejanje
in našli bomo pokritje, da bo $\left|P\right|=\left|M\right|$.
\begin{claim*}
Naj se MM ustavi in vrne $S'=S$ in $T'=T$ in $M$. Potem je $P\coloneqq\left(X\setminus S\right)\cup T$
pokritje in $\left|P\right|=\left|M\right|$. Torej je $M$ največje
prirejanje, $P$ najmanjše pokritje in $\mu\left(G\right)=\tau\left(G\right)$.
\end{claim*}
\begin{proof}
Na koncu imamo $S$ in $X\setminus S$ ter $T$ in $Y\setminus T$.
Zaradi dvodelnosti grafa so povezave lahko le med $S$ in $T$, med
$S$ in $Y\setminus T$, med $X\setminus S$ in $T$ ter med $X\setminus S$
in $Y\setminus T$.

Trdimo, da med $S$ in $Y\setminus T$ ni vezanih povezav. Po konstrukciji
$S$ so edina vezana vozlišča iz $S$ tista, ki so vezana z vozlišči
iz $T$.

Trdimo, da med $S$ in $Y\setminus T$ ni prostih povezav. Če bi kakšna
bila, ne bi bili na koncu MM, saj bi lahko vozlišča, ki imajo proste
povezave (vsa taka so v $S$), dodali v $T$.

Trdimo, da med $X\setminus S$ in $T$ ni vezanih povezav. Če bi kakšna
bila, ne bi bili na koncu MM, saj bi lahko vozlišča $X$, ki imajo
vezane povezave do $T$, dodali v $S$.

Torej imamo zares lahko samo med $S$ in $T$ ter $X\setminus S$
in $X\setminus T$ vezane ali proste povezave in med $X\setminus S$
in $T$ samo proste povezave, med $S$ in $Y\setminus T$ pa nimamo
povezav.

Iz tega takoj sledi, da je $P=\left(X\setminus S\right)\cup T$ pokritje
--- torej da za vsako povezavo v grafu velja, da vsebuje vsaj eno
vozlišče. Vse povezave imajo vsaj eno krajišče iz $X\setminus S$
ali iz $T$.

Dokažimo še, da je $\left|M\right|=\left|P\right|$.
\[
M_{1}\coloneqq\left\{ \text{vezane povezave med }S\text{ in }T\right\} 
\]
\[
M_{2}\coloneqq\left\{ \text{vezane povezave med }X\setminus S\text{ in }X\setminus T\right\} 
\]
Očitno je $\left|M\right|=\left|M_{1}\right|+\left|M_{2}\right|$
(to so vse vezane).

Trdimo, da je $\left|M_{1}\right|=\left|T\right|$ ZDB da ima vsako
vozlišče iz $T$ natanko eno povezavo iz $M_{1}$. Če je v $T$ vozlišče,
ki ni krajišče kake povezave iz $M_{1}$, je to vozlišče prosto. Če
bi bilo to res, ne bi bili na koncu MM, saj bi našli povečujočo pot.

Trdimo, da je $\left|M_{2}\right|=\left|X\setminus S\right|$ ZDB
da ima vsako vozlišče iz $X\setminus S$ natanko eno povezavo iz $M_{2}$.
Če je v $X\setminus S$ vozlišče, ki ni krajišče kake povezave iz
$M_{2}$, je to vozlišče prosto. To se ne more zgoditi, ker smo po
definiciji vsa prosta vozlišča dali v $S$.

Torej $\left|M\right|=\left|M_{1}\right|+\left|M_{2}\right|=\left|T\right|+\left|X\setminus S\right|=\left|P\right|$
in zato je $\left|M\right|$ maksimalno pokritje.
\end{proof}
%
\begin{rem*}
Imamo sledeče probleme:

\begin{table}[H]
\begin{centering}
\begin{tabular}{|c|c|c|}
\hline 
 & dvodelni grafi & splošni grafi\tabularnewline
\hline 
\hline 
največje prirejanje & lahek --- MM & lahek --- Edmunds\tabularnewline
\hline 
najmanjše pokritje & lahek --- MM & težek --- NP-poln\tabularnewline
\hline 
\end{tabular}
\par\end{centering}
\caption{Kako težki so problemi}
\end{table}
Težavnost MM: $M$ lahko povečamo največ $n-$krat ($n=VG$), $S$
in $T$ pa za eno povečavo $M-$ja zopet največ $n-$krat: $O\left(n^{2}\right)$.
\end{rem*}
\begin{thm*}
Hall. $G$ dvodelni graf, $V=X\cup Y$. Obstaja popolno prirejanje
iz $X$ v $Y\Leftrightarrow\forall A\subseteq X:\left|A\right|\leq\left|N\left(A\right)\right|$.
\end{thm*}
\begin{proof}
Dokazujemo ekvivalenco:
\begin{elabeling}{00.00.0000}
\item [{$\left(\Rightarrow\right)$}] Očitno. Elementi vsake podmnožice
$X$ so povezani z vsaj toliko elementi iz množice $Y$, ker obstaja
popolno prirejanje iz $X$ v $Y$, zato $\left|A\right|\leq\left|N\left(A\right)\right|$.
\item [{$\left(\Leftarrow\right)$}] Po predpostavki velja $\forall A\subseteq X:\left|A\right|\leq\left|N\left(A\right)\right|$.
Naj bo $M$ največje prirejanje $G$. Dobimo $S,T$ iz MM, Ker $S\subseteq X$,
po predpostavki velja $\left|S\right|\leq\left|N\left(S\right)\right|$.
Poleg tega, ker so edine povezave iz $S$ v $T$, je $N\left(S\right)\subseteq T$.
Torej $\left|S\right|\leq\left|N\left(S\right)\right|\leq\left|T\right|$,
zategadelj $\left|S\right|\leq\left|T\right|$.
\[
\left|M\right|\overset{\text{MM}}{=}\left|P\right|\overset{\text{MM}}{=}\left|X\setminus S\right|+\left|T\right|\geq\left|X\setminus S\right|+\left|S\right|=\left|X\right|
\]
Dokazali smo $\left|M\right|\geq\left|X\right|$. No, ker gre za prirejanje
v dvodelnem grafu, $\left|M\right|\leq\left|X\right|$, se pravi $\left|M\right|=\left|X\right|$
in spet zaradi dvodelnosti velja, da obstaja popolno prirejanje iz
$\left|X\right|$ v $\left|Y\right|$.
\end{elabeling}
\end{proof}

\subsection{Madžarska metoda z utežmi (MMU)}

Imejmo polni dvodelni graf $K_{n,n}$ (ima $n!$ popolnih prirejanj)
z utežmi na povezavah $c_{ij}\in\mathbb{R}\cup\left\{ \infty\right\} $.
Torej dobimo matriko $C=\left[c_{ij}\right]\in\left(\mathbb{R}\cup\left\{ \infty\right\} \right)^{n\times n}$.
Vsako popolno prirejanje je podano s permutacijo $\pi\in S_{n}$:
$x_{i}\sim y_{\pi_{i}}$. Mi iščemo najcenejše popolno prirejanje,
torej $\min_{\pi\in S_{n}}\sum_{i=1}^{n}c_{i\pi_{i}}$. Čeprav je
popolnih prirejanj $n!$, obstaja učinkovit algoritem za iskanje najcenejšega
popolnega prirejanja.

Tipični primer: Ljudje in naloge; vsakemu človeku želimo prirediti
eno nalogo --- assignment problem.

Opazimo razliko med tem problemom in problemom potujočega trgovca
(TSP), kjer $\Omega$ omejimo samo na permutacije z natanko enim ciklom
in naloga postane NP-težka: $\min_{\pi\in S_{n},\pi\text{ ciklična}}\sum_{i=1}^{n}c_{i\pi_{i}}$.

\paragraph*{Postopek MMU}

Naj bo $C\coloneqq\left[c_{ij}\right]_{ij\in\left\{ 1..n\right\} }\in\left(\mathbb{R}\cup\left\{ \infty\right\} \right)^{n\times n}$.
\begin{enumerate}
\item \label{enu:Od-vsakega-stolpca}Od vsakega stolpca odštejemo najmanjši
element tega stolpca. Torej bo gotovo vsaj ena 0 v stolpcu in vsi
elementi stolpca bodo nenegativni. To je analogno manjšanju vseh uteži
iz enega vozlišča za neko vrednost in to očitno spremeni cene vseh
možnih popolnih prirejanj za to številko, namreč vsako vsebuje povezavo
iz vozlišča, ki ga predstavlja ta stolpec in to natanko enkrat. Potemtakem
to ohranja najcenejše popolno prirejanje oziroma celo vrstni red možnih
popolnih prirejanj, urejenih po ceni --- vsakemu se cena zmanjša
za konstanto.
\item \label{enu:Od-vsake-vrstice}Od vsake vrstice odštejemo najmanjšo
vrednost. Torej bo gotovo vsaj ena 0 v stolpcu in vsi elementi vrstice
bodo nenegativni. Podoben razmislek kot zgoraj pripelje do zaključka,
da tudi te operacije ohranjajo najcenejše popolno prirejanje.
\item Nova matrika vsebuje elemente iz $\left[0,\infty\right]$, v vsakem
stolpcu in v vsaki vrstici pa je vsaj ena ničla. Očitno se maksimalno
prirejanje ni spremenilo.
\item \label{enu:=00010Ce-lahko-najdemo}Če lahko najdemo $n$ ničel v tej
matriki, da je v vsakem stolpcu in v vsaki vrstici natanko ena izmed
teh izbranih, smo našli najcenejše popolno prirejanje s ceno 0. To
so povezave na mestih teh ničel.
\item Izkaže se, da se v nasprotnem primeru da vse ničle pokriti z $<n$
vrsticami in stolpci. Tedaj vzamemo $\varepsilon\coloneqq$ najmanjša
nepokrita vrednost. Velja $\varepsilon>0$. Od vseh nepokritih elementov
odštejemo $\varepsilon$, vsem dvakrat pokritim elementom prištejemo
$\varepsilon$. Enkrat pokrite elemente pustimo. Nadaljujemo s korakom
\ref{enu:=00010Ce-lahko-najdemo}.
\end{enumerate}
\begin{example*}
Oglejmo si primer štafete z začetka te skripte. Rešili ga bomo z MMU.
Ker potrebujemo kvadratno matriko oziroma poln dvodelni graf, kjer
je $\left|X\right|=\left|Y\right|$, bomo dodali dva stolpca tabeli
(dve fiktivni disciplini). Lahko si predstavljamo, da bo tekmovalec,
ki dobi tako fiktivno disciplino, ,,sedel na klopi`` --- zato v
teh dveh stolpcih cene nastavimo na 0.
\begin{table}[H]
\begin{centering}
\[
\begin{array}{ccccccc}
\text{tekmovalec}\backslash\text{disciplina} & \text{prsno} & \text{hrbtno} & \text{delfin} & \text{prosto} & \text{klop1} & \text{klop2}\\
1 & 65 & 73 & 63 & 57 & 0 & 0\\
2 & 67 & 70 & 65 & 58 & 0 & 0\\
3 & 68 & 72 & 69 & 55 & 0 & 0\\
4 & 67 & 75 & 70 & 59 & 0 & 0\\
5 & 71 & 69 & 75 & 57 & 0 & 0\\
6 & 69 & 71 & 66 & 59 & 0 & 0
\end{array}
\]
\caption{Podatki o tekmovalcih --- matrika $C$}
\par\end{centering}
\end{table}
Izvedemo koraka \ref{enu:Od-vsakega-stolpca} in \ref{enu:Od-vsake-vrstice}
in dobimo novo matriko:
\begin{table}[H]
\centering{}
\[
\begin{array}{ccccccc}
\text{tekmovalec}\backslash\text{disciplina} & \text{prsno} & \text{hrbtno} & \text{delfin} & \text{prosto} & \text{klop1} & \text{klop2}\\
1 & \cancel{0} & \cancel{4} & \cancel{0} & \cancel{2} & \xcancel{0} & \xcancel{0}\\
2 & 2 & 7 & 2 & 3 & \bcancel{0} & \bcancel{0}\\
3 & \cancel{3} & \cancel{3} & \cancel{6} & \cancel{0} & \xcancel{0} & \xcancel{0}\\
4 & 2 & 6 & 7 & 4 & \bcancel{0} & \bcancel{0}\\
5 & \cancel{6} & \cancel{0} & \cancel{12} & \cancel{2} & \xcancel{0} & \xcancel{0}\\
6 & 4 & 2 & 3 & 4 & \bcancel{0} & \bcancel{0}
\end{array}
\]
\caption{Matrika $C$ po izvajanju korakov \ref{enu:Od-vsakega-stolpca} in
\ref{enu:Od-vsake-vrstice}.}
\end{table}
V njej najdemo $5<6$ vrstic/stolpcev, ki jih prečrtamo, da prečrtamo
vse ničle. $\varepsilon=2$ odštejemo neprečrtanim in prištejemo dvakrat
prečrtanim. Doimo novo matriko:
\begin{table}[H]
\centering{}
\[
\begin{array}{ccccccc}
\text{tekmovalec}\backslash\text{disciplina} & \text{prsno} & \text{hrbtno} & \text{delfin} & \text{prosto} & \text{klop1} & \text{klop2}\\
1 & \underline{0} & 4 & 0 & 2 & 2 & 2\\
2 & 0 & 5 & \underline{0} & 1 & 0 & 0\\
3 & 3 & 3 & 6 & \underline{0} & 2 & 2\\
4 & 0 & 4 & 5 & 2 & \underline{0} & 0\\
5 & 6 & \underline{0} & 12 & 2 & 2 & 2\\
6 & 2 & 0 & 1 & 2 & 0 & \underline{0}
\end{array}
\]
\caption{Matrika $C$ po izvajanju korakov \ref{enu:Od-vsakega-stolpca} in
\ref{enu:Od-vsake-vrstice}.}
\end{table}
Sedaj pa lahko najdemo $n$ ničel, ki pokrijejo celo matriko in s
tem optimalno štafeto.
\end{example*}

\paragraph*{Iskanje ničel za črtanje vrstic}

Kako vemo, ali obstaja $n$ ničel, da z njimi pokrijemo celo matriko?
Kako vemo, da ne, ko ne, in kako potem najdemo $<n$ ničel, ki pokrijejo
vse ničle?

Konstruiramo pomožen ,,ničelni graf``. To je dvodelni graf $V=\left\{ v_{1},\dots,v_{n},s_{1},\dots,s_{n}\right\} $,
vozlišča ene particije predstavljajo vrstice, vozlišča druge pa stolpce.
$v_{i}v_{j}\in E\Leftrightarrow c_{ij}=0$ ZDB povežemo vrstico s
stolpcem, če je njun presek ničla.

Na tem pomožnem ničelnem grafu poženemo MM in dobimo največje prirejanje
in najmanjše pokritje. Vemo, da sta v dvodelnem grafu enaka. Lahko
se zgodi dvoje:
\begin{itemize}
\item bodisi je $M$ popolno prirejanje ($\left|M\right|=n$) --- potemtakem
smo našli $n$ ničel (povezave v $M$, ki povezujejo particijo vrstic
in particijo stolpcev) tako, da pokrijemo z njimi celo matriko,
\item bodisi $m$ ni popolno prirejanje ($\left|M\right|<n$). Madžarska
metoda nam v tem primeru vrne še najmanjše popolno pokritje, da $\left|P\right|=\left|M\right|<n$.
Se pravi lahko izberemo $<n$ vozlišč ($P$) --- bodisi vrstic bodisi
stolpcev, ki pokrijejo vse ničle.
\begin{itemize}
\item Vrsticam v $P$ (torej vozlišča iz $X\setminus S$) prištejemo $\varepsilon$,
stolpcem izven $P$ (torej v $Y\setminus T$) odštejemo $\varepsilon$.
To ne spremeni najcenejšega popolnega pokritja. Očitno, razlaga je
malce višje.
\item Res torej velja, da nepokritim elementom odštejemo $\varepsilon$
, dvakrat pokritim pa prištejemo $\varepsilon$.
\item Zakaj se algoritem ustavi? Povezavam med $S$ in $T$ ne prištevamo/odštevamo
--- enkrat pokriti stolpci. Posledično ostanejo iste. Prav tako povezave
med $X\setminus S$ in $Y\setminus T$ --- enkrat pokrite vrstice.
Tudi te ostanejo iste. Povezave med $X\setminus S$ in $T$ izginejo
do naslednje iteracije MM. To so namreč povezave z ničelno utežjo
in prišteli smo jim $\varepsilon$. Povezave med $S$ in $Y\setminus T$
pa so vse neničelne in ena ima utež $\varepsilon$ (najmanjša utež).
Njim odštejemo $\varepsilon$, torej do naslednje iteracije MM bo
vsaj ena postala prosta povezava v ničelnem grafu. Imenujmo $y$ konec
te povezave, ki je v $Y\setminus T$. Ločimo dva primera:
\begin{itemize}
\item Če je $y$ prosto vozlišče: Ker do $y$ pridemo po prosti povezavi
iz $S$, ga damo v $T$. Sedaj je v $T$ prosto vozlišče, torej smo
našli novo povečujočo pot in s tem povečamo $\left|M\right|$.
\item Če je $y$ vezano vozlišče: Ker do $y$ pridemo po prosti povezavi
iz $S$, ga damo v $T$. Sedaj je v $T$ vezano vozlišče, vezano je
pa z enim elementom iz $X\setminus S$ (ker ni vezanih povezav med
$Y\setminus T$ in $S$ (glej MM)), recimo mu $x$. Torej lahko iz
vozlišča v $T$ pridemo preko vezane povezave do nekega vozlišča v
$X$ ($x$) in zato $x$ damo v $S$.
\end{itemize}
\item Torej se na vsakem koraku MMU poveča $\left|M\right|$ ali $\left|S\right|$.
$S$ se lahko poveča največ $n-$krat. Potem se mora povečati $\left|M\right|$.
Slednji se lahko poveča največ $n-$krat. Torej MMU se gotovo zaključi
po $n^{2}$ korakih MM, vsak korak MM pa potrebuje okoli $n^{2}$
operacij, torej je zahtevnost MMU $O\left(n^{4}\right)$.
\end{itemize}
\end{itemize}
\begin{rem*}
MMU se da implementirati bolje --- v $O\left(n^{3}\right)$.
\end{rem*}
%
\begin{rem*}
Maksimalno popolno prirejanje rešimo tako, da rešimo minimalno popolno
prirejanje za $-C$.
\end{rem*}

\section{Najkrajše poti}

V tem poglavju si bomo ogledali nekaj algoritmov za iskanje najkrajših
poti v grafu.

\subsection{BFS}

Dan je neutežen graf $G=\left(V,E\right)$, $\left|V\right|=n$. Najti
želimo najkrajšo pot od $r\in V$ do vsakega vozlišča. Imamo dve tabeli:
tabelo razdalj $d$ in tabelo predhodnikov na najkrajši poti $\pi$
--- obe dolžine $n$. Inicializiramo $\forall i\in\left[n\right]\setminus\left\{ r\right\} :d_{i}\coloneqq\infty$,
$d_{r}=0$. Imamo tudi množico vozlišč $A\subseteq\left[n\right]$,
ki jih je treba pregledati v naslednjem koraku. Inicializiramo $A=\left\{ r\right\} $.
\begin{itemize}
\item dokler $A\not=\emptyset$:
\begin{itemize}
\item za vsak element $a\in A$:
\begin{itemize}
\item $A\coloneqq A\setminus\left\{ a\right\} $
\item za vsakega $a-$jevega soseda $s$:
\begin{itemize}
\item če je $d_{a}+1\leq d_{s}$, potem $d_{s}\coloneqq d_{a}+1$ in $\pi_{s}=a$
in $A\coloneqq A\cup\left\{ s\right\} $
\end{itemize}
\end{itemize}
\end{itemize}
\item sedaj nam $d_{i}$ ponazarja razdaljo najkrajše možne poti od $r$
do $i$, s pomočjo $\pi$ pa lahko to pot tudi očitno rekonstruiramo.
\end{itemize}

\subsection{Dijkstra}

Dan je nenegativno utežen graf $G=\left(V,E\right)$, $\left|V\right|=n$.
Uteži so $\left(w_{ij}\right)_{i\in\left[n\right],j\in\left[n\right]}$.
Najti želimo najkrajšo pot od $r\in V$ do vsakega vozlišča. Imamo
dve tabeli: tabelo razdalj $d$ in tabelo predhodnikov na najkrajši
poti $\pi$ --- obe dolžine $n$. Inicializiramo $\forall i\in\left[n\right]\setminus\left\{ r\right\} :d_{i}\coloneqq\infty$,
$d_{r}=0$. Hranimo tudi tabelo obdelanih vozlišč $A\subseteq\left[n\right]$.
Inicializiramo $A=\emptyset$.
\begin{itemize}
\item Ponavljamo dokler $A\not=V$:
\begin{itemize}
\item Izberemo vozlišče $i\in\left[n\right]\ni:i\not\in A\wedge\forall j\in\left[n\right]:d_{i}\leq d_{j}$
ZDB neobdelano z najmanjšo razdaljo do $r$.
\item $A\coloneqq A\cup\left\{ i\right\} $
\item Za vsak $i-$jev sosed $s$:
\begin{itemize}
\item če je $d_{i}+w_{is}<d_{s}$:
\begin{itemize}
\item $d_{s}\coloneqq w_{i}+w_{is}$
\item $\pi_{s}=i$
\end{itemize}
\end{itemize}
\end{itemize}
\item Cene za vsako vozlišče $v$ je cena $r,v-$poti v $d_{v}$. Najcenejšo
pot lahko rekonstruiramo s tabelo $\pi$.
\end{itemize}
Korakov je največ toliko, kolikor je vozlišč. Na vsakem koraku pregledamo
vse sosede --- $O\left(\left|V\right|^{2}\right)$. Da se implementirati
hitreje: $O\left(\left|E\right|\cdot\log\left|V\right|\right)$ ali
$O\left(\left|E\right|+\left|V\right|\log\left|V\right|\right)$.

Dijkstra lahko da napačne odgovore na grafu z negativnimi utežmi.
To je zato, ker se zanaša na trikotniško neenakost, torej $d_{ab}+d_{bc}\geq d_{ac}$,
kar pa ni nujno res za grafe, ki dopuščajo negativne uteži.

\subsection{Najkrajše poti v acikličnih grafih (DAG) --- topološka ureditev}

Naj bo $G$ utežen usmerjen graf brez usmerjenega cikla. Uteži so
lahko tudi negativne.
\begin{defn*}
Topološka ureditev je bijekcija $\varphi:V\left(G\right)\to\left[n\right]\ni:\forall ij\in E\left(G\right):\varphi\left(i\right)<\varphi\left(j\right)$.
\end{defn*}
Da najdemo topološko ureditev, vzamemo vozlišče z vhodno stopnjo 0
kot prvo vozlišče. Odstranimo njegove povezave in nadaljujemo na preostanku
grafa (torej spet najdemo vozlišče z vhodno stopnjo 0 in ga vzamemo
kot drugo vozlišče, ...).

To ponavljamo, dokler nam v grafu ostanejo vozlišča, ki jim še ni
bil dodeljen vrstni red.

Natanko tedaj ko graf ni acikličen, v nekem koraku ne bo več vozlišča
z vhodno stopnjo 0, a bodo ostala neoštevilčena vozlišča.

Za topološko urejanje potrebujemo $O\left(\left|E\right|+\left|V\right|\right)$
operacij.

Sedaj iščemo najkrajše poti na topološko urejenem grafu takole:
\begin{itemize}
\item za vsak $i\in\left[n\right]$ po vrsti od najmanjšega do največjega:
\begin{itemize}
\item za vsak $\varphi\left(i\right)-$jev sosed $s$:
\begin{itemize}
\item če je $d_{\varphi\left(i\right)}+w_{\varphi\left(i\right)s}<d_{s}$:
\begin{itemize}
\item $d_{s}\coloneqq d_{\varphi\left(i\right)}+w_{\varphi\left(i\right)s}$
\item $\pi_{s}\coloneqq\varphi\left(i\right)$
\end{itemize}
\end{itemize}
\end{itemize}
\item Sedaj nam $d_{i}$ predstavlja ceno najcenejše poti od $\varphi\left(1\right)$
do $i$, za rekonstrukcijo te poti pa lahko uporabimo $\pi$.
\end{itemize}
Kompleksnost: $O\left(\left|V\right|+\left|E\right|\right)$

\subsection{Bellman-Fordov algoritem}

Naj bo $G$ poljuben poljubno utežen (uteži so lahko tudi negativne)
graf. Iščemo najkrajše poti od korena do vsakega vozlišča. Algoritem
vrne napako, če je v grafu kak negativen cikel, do katerega lahko
pridemo iz korena, sicer pa je največja možna dolžina najkrajše poti
$\left|V\right|-1$.

Začnemo z $d$ in $\pi$ kot prej. Postopek:
\begin{itemize}
\item $\left|V\right|-1-$krat ponovimo:
\begin{itemize}
\item Za vsako povezavo $ij$:
\begin{itemize}
\item Če je $d_{i}+w_{ij}<d_{j}$:
\begin{itemize}
\item $d_{j}=d_{i}+w_{ij}$
\item $\pi_{j}=i$
\end{itemize}
\end{itemize}
\end{itemize}
\item Še enkrat preverimo vse povezave. Če se po $\left|V\right|$ korakih
kak $d_{i}$ spet zmanjša, vrnemo napako --- v grafu je očitno negativen
cikel.
\end{itemize}
Kompleksnost: $O\left(\left|V\right|\cdot\left|E\right|\right)$.

\subsection{Floyd-Warshall}

Naj bo $G$ utežen DAG, uteži so lahko tudi negativne. Najde razdalje
med vsemi pari točk oz. vrne napako, če obstaja kak negativen cikel.
Naj bo $W=\left[w_{ij}\right]_{i,j\in\left[n\right]}$ cene so, kjer
ni povezave, $\infty$. Na ničtem koraku: $d_{ij}^{\left(0\right)}\coloneqq w_{ij}$.
\begin{itemize}
\item za vsak $k\in\left[n\right]$ (korak):
\begin{itemize}
\item za vsak $i\in\left[n\right]$:
\begin{itemize}
\item za vsak $j\in\left[n\right]$:
\begin{itemize}
\item $d_{ij}^{\left(k\right)}\coloneqq\min\left\{ d_{ij}^{\left(k-1\right)}\text{ (\ensuremath{k} ni vmesno vozlišče)},d_{ik}^{\left(k-1\right)}+d_{kj}^{\left(k-1\right)}\text{ (\ensuremath{k} je vmesno vozlišče)}\right\} $
--- torej ob vsakem koraku za vsak par vozlišč preverimo, če je morebiti
ceneje priti namesto obstoječe poti rajši še preko $k$.
\item komentar: $d_{ij}^{\left(k\right)}$ je najcenejša razdalja med $i$
in $j$, če so vmesna vozlišča $\leq k$.
\item če $d_{ij}^{\left(k-1\right)}>d_{ik}^{\left(k-1\right)}+d_{kj}^{\left(k-1\right)}$
(če smo popravili pot): $\pi_{ij}^{\left(k\right)}\coloneqq\pi_{kj}^{k-1}$
sicer $\pi_{ij}^{\left(k\right)}\coloneqq\pi_{ij}^{\left(k-1\right)}$.
\end{itemize}
\end{itemize}
\end{itemize}
\end{itemize}
Kompleksnost: $O\left(n^{3}\right)$. $\pi_{ij}^{\left(k\right)}$
pomeni $k-$ti predhodnik na najkrajši poti od $i$ do $j$.

\section{Konveksna optimizacija}

Gre za minimizacijo (opt je vedno $\min$) konveksne funkcije na konveksni
množici.
\begin{defn*}
Množica $A$ je konveksna, če je za poljubna $x,y\in A$ cela daljica
$xy$ tudi v $A$.

Uradneje: Množica $A$ je konveksna $\Leftrightarrow\forall x,y\in A\forall\lambda\in\left[0,1\right]:\left(1-\lambda\right)x+\lambda y\in A$
\end{defn*}
\begin{quotation}
V konveksnih množicah se ni smiselno igrati skrivalnic. -- Konvalinka,
2025.
\end{quotation}
\begin{rem*}
Vse točke na premici skozi $x$ in $y$ so $x+\lambda\left(y-x\right)=\left(1-\lambda\right)x+\lambda y$
(tole je afina kombinacija --- linearna kombinacija, kjer se skalarji
seštejejo v $1$) za $\lambda\in\mathbb{R}$.

Vse točke na daljici $xy$ so $\left(1-\lambda\right)x+\lambda y$
(tole je konveksna kombinacija --- linearna kombinacija, kjer so
skalarji nenegativni in se seštejejo v 1) za $\lambda\in\left[0,1\right]$.
\end{rem*}
\begin{claim*}
Presek (tudi neskončen) konveksnih množic je konveksen.
\end{claim*}
\begin{proof}
Naj bodo $A_{i}$, $i\in I$ konveksne. Dokažimo, da je $A=\bigcap_{i\in I}A_{i}$
konveksna. Naj bodo $x,y\in A$, $\lambda\in\left[0,1\right]$, $i\in I$
poljubni. Tedaj $\left(1-\lambda\right)x+\lambda y\in A_{i}$, ker
$x\in A_{i}$ (ker $x\in A$ in $A$ je presek vseh). Ker je torej
$\left(1-\lambda\right)x+\lambda y$ v poljubnem $A_{i}$, je v vsakem,
zategadelj je tudi v preseku vseh --- $\left(1-\lambda\right)x+\lambda y\in A$.
\end{proof}
\begin{defn*}
Konveksna ogrinjača.
\[
C\left(A\right)\coloneqq\bigcap_{K\subseteq\mathbb{R}^{n},K\text{ konv.},A\subseteq K}K
\]
Ta presek je gotovo neprazen, ker je vsaj $\mathbb{R}^{n}$ konveksna.
Očitno je $C\left(A\right)$ konveksna, ker je presek konveksnih.
\end{defn*}
%
\begin{defn*}
$\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}$ je konveksna kombinacija
vektorjev $x_{1},\dots,x_{k}\Leftrightarrow\sum_{i\in\left[k\right]}\lambda_{i}=1\wedge\forall i\in\left[k\right]:\lambda_{i}\geq0$.
\end{defn*}
%
\begin{claim*}
$A$ konveksna $\Leftrightarrow$ konveksna kombinacija poljubnih
vektorjev iz $A$ je v $A$.
\end{claim*}
\begin{proof}
Dokazujemo ekvivalenco.
\begin{elabeling}{00.00.0000}
\item [{$\left(\Leftarrow\right)$}] Očitno. Po definiciji konveksnosti
je konveksna kombinacija poljubnih dveh vektorjev spet v $A$, kar
seveda sledi iz tega, da je konveksna kombinacija poljubnih (in s
tem poljubno mnogo, lahko tudi dveh) vektorjev iz $A$ v $A$.
\item [{$\left(\Rightarrow\right)$}] Z indukcijo na $k$ (število vektorjev
v konveksni kombinaciji poljubno vektorjev):
\begin{itemize}
\item Baza: $k=1$ (konveksna kombinacija enega vektorja iz $A$ je spet
isti vektor in zato spet v $A$ ($x\cdot1=x$)), $k=2$ (konveksna
kombinacija dveh vektorjev iz $A$ je po definiciji konveksnosti spet
v $A$).
\item $k\geq3$: $\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}$. Ker se morajo
sešteti v $1$, gotovo niso vsi koeficienti $\lambda_{i}=1$. BSŠ
$\lambda_{k}<1$. Množimo in delimo z neničelnim $1-\lambda_{k}$
\[
\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}=\left(1-\lambda_{k}\right)\left(\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k-1}}{1-\lambda_{k}}x_{k-1}\right)+\lambda_{k}x_{k}
\]
Sedaj smo dobili konveksno kombinacijo dveh vektorjev, $\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k-1}}{1-\lambda_{k}}x_{k-1}$
in $x_{k}$. Po predpostavki velja, da je ta konveksna kombinacija
dveh vektorjev v $A$, če je res, da je $\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k-1}}{1-\lambda_{k}}x_{k-1}$
v $A$. To pa je v $A$ po indukcijski predpostavki. Imamo $k-1$
vektorjev in imamo njihovo konveksno kombinacijo. Gotovo velja $\frac{\lambda_{i}\geq0}{\left(1-\lambda_{k}\right)\geq0}\geq0$
za vsak $i$. Poleg tega $\sum_{i=1}^{k-1}\frac{\lambda_{i}}{\left(1-\lambda_{k}\right)}=\frac{\lambda_{1}+\cdots+\lambda_{k-1}}{1-\lambda_{k}}=1$,
ker $\lambda_{1}+\cdots+\lambda_{k-1}+\lambda_{k}=1\Longrightarrow\lambda_{1}+\cdots+\lambda_{k-1}=1-\lambda_{k}$.
\end{itemize}
\end{elabeling}
\end{proof}
%
\begin{lem*}
Če velja $A\subseteq B$ in $B$ konveksna, potem $C\left(A\right)\subseteq B$.
Ker se $B$ pojavi v $\bigcap_{K\subseteq\mathbb{R}^{n},K\text{ konv},A\subseteq K}K$
(ustreza kriterijem za $K$), je $C\left(A\right)\subseteq B$.
\end{lem*}
\begin{claim*}
$C\left(A\right)=\left\{ \lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k};\lambda_{1},\dots,\lambda_{k}\geq0\wedge\lambda_{1}+\cdots+\lambda_{k}=1\wedge x_{1},\dots,x_{k}\in A\right\} $
na realnih vektorskih prostorih.
\end{claim*}
\begin{proof}
Dokazujemo enakost množic:
\begin{description}
\item [{$\left(\supseteq\right)$}] $x_{1},\dots,x_{k}\in A$. Ker je $C\left(A\right)$
presek samih množic, ki vsebujejo $A$, je $A\subseteq C\left(A\right)^{\text{konv.}}$.
In po prejšnji trditvi je vsaka konveksna kombinacija vektorjev iz
konveksne množice spet v tej konveksni množici.
\item [{$\left(\subseteq\right)$}] Hočemo dokazati, da je konveksna ogrinjača
vsebovana v tej množici. Pišimo $KK\coloneqq\left\{ \lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k};\lambda_{1},\dots,\lambda_{k}\geq0\wedge\lambda_{1}+\cdots+\lambda_{k}=1\wedge x_{1},\dots,x_{k}\in A\right\} $.
Po lemi je dovolj dokazati, da je $A\subseteq KK$ (ja, vsak vektor
iz $A$ je konveksna kombinacija enega vektorja iz $A$) in da je
$KK$ konveksna. Tedaj po lemi velja, da je $C\left(A\right)\subseteq KK$.

Dokažimo sedaj, da je konveksna kombinacija dveh vektorjev iz $KK$
spet v $KK$. Vzemimo dva poljubna vektorja iz $KK$. Sta oblike $\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}$
in $\mu_{1}y_{1}+\cdots+\mu_{l}y_{l}$ za $\lambda_{1},\dots,\lambda_{k},\mu_{1},\dots,\mu_{l}\geq0$
in $\sum_{i=1}^{k}\lambda_{i}=1$ in $\sum_{i=1}^{l}\mu_{i}=1$. Dokažimo,
da je njuna konveksna kombinacija v $KK$. Naj bo $\lambda\in\left[0,1\right]$
poljuben:
\[
\left(1-\lambda\right)\left(\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}\right)+\lambda\left(\mu_{1}y_{1}+\cdots+\mu_{l}y_{l}\right)=\left(1-\lambda\right)\lambda_{1}x_{1}+\cdots+\left(1-\lambda\right)\lambda_{k}x_{k}+\lambda\mu_{1}y_{1}+\cdots+\lambda\mu_{l}y_{l}
\]
Velja $\left(1-\lambda\right)\lambda_{1},\dots,\left(1-\lambda\right)\lambda_{k},\lambda\mu_{1},\dots,\lambda\mu_{l}\geq0$.
Velja tudi, da se koeficienti seštejejo v 1:
\[
\left(1-\lambda\right)\lambda_{1}+\cdots+\left(1-\lambda\right)\lambda_{k}+\lambda\mu_{1}+\cdots\lambda\mu_{l}=\left(1-\lambda\right)\cancelto{1}{\left(\lambda_{1}+\cdots+\lambda_{k}\right)}+\lambda\cancelto{1}{\left(\mu_{1}+\cdots+\mu_{l}\right)}=\left(1-\lambda\right)+\lambda=1
\]

\end{description}
\end{proof}
\begin{defn*}
Naj bo $A\subseteq\mathbb{R}^{n}$ konveksna. $a\in A$ je ekstremna
točka, če ni konveksna kombinacija dveh točk $x,y\in A$, $x,y\not=A$
ZDB $\nexists\lambda\in\left(0,1\right),x,y\in A,x,y\not=a:a=\left(1-\lambda\right)x+\lambda y$.
ZDB $a\in A$ ni ekstremna točka, če jo je moč izraziti s konveksno
kombinacijo kakšnih drugih točk iz $A$.
\end{defn*}
\begin{example*}
Primer so oglišča trikotnika, torej množice $C\left(\left\{ \left(0,0\right),\left(0,1\right),\left(1,0\right)\right\} \right)$.
Tu so ekstremne točke $\left\{ \left(0,0\right),\left(0,1\right),\left(1,0\right)\right\} $.
Recimo točka $\left(0,\frac{1}{2}\right)$ ni ekstremna.
\end{example*}
\begin{rem*}
Ekstremne točke so vedno robne. Niso pa vse robne točke ekstremne.
\end{rem*}
\begin{defn*}
$A\subseteq\mathbb{R}^{n}$, $A\not=\emptyset$ (prazna množica po
dogovoru ni afina). $A$ je afina, če $\forall x,y\in A,\lambda\in\mathbb{R}:\left(1-\lambda\right)x+\lambda y\in A$.
Torej $x,y\in A\Rightarrow$ premica med $x$ in $y$ je v $A$.
\end{defn*}
\begin{claim*}
Imejmo $A\subseteq\mathbb{R}^{n}$, $A\not=\emptyset$. NTSE:
\begin{enumerate}
\item $A$ je afina
\item vsaka afina kombinacija poljubnih vektorjev iz $A$ je v $A$
\item $A=V+a=\left\{ v+a;v\in V\right\} $ za linearen podprostor $V\subseteq\mathbb{R}^{n}$
in $a\in\mathbb{R}^{n}$.
\end{enumerate}
\end{claim*}
\begin{rem*}
Kaj so afine množice v $\mathbb{R}^{3}$? Premice, ravnine, singletoni,
$\left\{ \mathbb{R}^{3}\right\} $. Afinim množicam rečemo tudi afini
podprostori.
\end{rem*}
\begin{proof}
Dokazujemo ekvivalenco.
\begin{description}
\item [{$\left(1\right)\Rightarrow\left(2\right)$}] Indukcija na $k$.
\begin{itemize}
\item Baza. $k=1$ afina kombinacija enega vektorja je vektor sam, afina
kombinacija dveh vektorjev je afina po predpostavki.
\item $k\geq3$. Imamo $\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}$. Ne morejo
biti vsi $\lambda_{i}=1$. BSŠ $\lambda_{k}\not=1$.
\[
\lambda_{1}x_{1}+\cdots+\lambda_{k}x_{k}=\left(1-\lambda_{k}\right)\left(\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k-1}}{1-\lambda_{k-1}}x_{k-1}\right)+\lambda_{k}x_{k}
\]
je očitno enako. Množili in delili smo z neničelnim elementom. Po
I. P. je $\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k}}{1-\lambda_{k}}x_{k}\in A$,
ker je afina kombinacija $k-1$ elementov iz $A$, ker $\frac{\lambda_{1}}{1-\lambda_{k}}+\cdots+\frac{\lambda_{k}}{1-\lambda_{k}}=\frac{\lambda_{1}+\cdots+\lambda_{k-1}}{1-\lambda_{k}}$.
Torej je $\left(1-\lambda_{k}\right)\left(\frac{\lambda_{1}}{1-\lambda_{k}}x_{1}+\cdots+\frac{\lambda_{k}}{1-\lambda_{k}}x_{k}\right)+\lambda_{k}x_{k}$
afina kombinacija dveh vektorjev iz $A$ in zato po definiciji element
$A$.
\end{itemize}
\item [{$\left(2\right)\Rightarrow\left(3\right)$}] Po predpostavki je
vsaka afina kombinacija vektorjev iz $A$ v $A$. Želimo dokazati,
da $A=V+a=\left\{ v+a;v\in V\right\} $ za linearen podprostor $V\subseteq\mathbb{R}^{n}$
in $a\in\mathbb{R}^{n}$.

Opazimo, da če imamo $V$ linearen podprostor in $V+a$ premaknjen
linearen podprostor, bomo $V+a$ dobili, ne glede na to kateri element
vzamemo za $a$, dokler ga vzamemo iz $V+a$. Torej lahko vzamemo
recimo $a$ ali pa $a+a$ ali pa $a+a+a$ ali pa $a+v$ za katerikoli
element $v$ iz $V$. Le izhodišče s tem prištevanjem slikamo v različne
elemente glede na to, kaj vzamemo za prištevanje $V-$ju. Ampak tu
nam je vseeno, kam se slika izhodišče, zanima nas le cel prostor kot
množica.

Torej vzemimo $a\in A$ poljuben. Po zgornjem razmisleku je vseeno,
kateri element iz $A$ vzamemo, v vsakem primeru dobimo za $a$ premaknjen
vektorski prostor. Sedaj moramo pokazati, da je $A$ res oblike $V+a$
za nek $V$ linearen podprostor. Najprej moramo najti $V$. Vzemimo
$V\coloneqq A-a$.

Seveda če vzamemo poljuben afin podprostor in odštejemo poljuben element
od njega, dobimo linearen podprostor. Recimo za primer lahko vzamemo
ravnino v $\mathbb{R}^{3}$ in od vseh elementov odštejemo en element
iz te ravnine. Dobimo ravnino, ki vsebuje izhodišče.

Treba je pokazati še, da je $V$ linearen podprostor in da je $V+a=A$
(slednje je očitno po definiciji $V$).

$V$ je linearen podprostor, če $\forall u,v\in V,\lambda,\mu\in\mathbb{R}:\lambda u+\mu v\in V$.
Elementi $V$ so oblike $x-a$, kjer je $x$ element iz $A$. ZDB
$X=\left\{ x-a;x\in A\right\} $ ($a$ smo fiksirali zgoraj). Vzemimo
torej poljubna $x-a$ in $y-a$. Dokažimo, da je $\forall\lambda,\mu\in\mathbb{R}:\lambda\left(x-a\right)+\mu\left(x-y\right)\in V$
(,,$\in V$`` pomeni, da je oblike $\check{z}-a$ za nek $\check{z}$).
Naj bosta $\lambda,\mu\in\mathbb{R}$ poljubna.
\[
\lambda\left(x-a\right)+\mu\left(x-y\right)=\lambda x-\lambda a+\mu x-\mu y=\lambda x+\mu y+\left(1-\lambda-\mu\right)a-a
\]
$\lambda x+\mu y+\left(1-\lambda-\mu\right)a\in A$, ker je afina
kombinacija vektorjev $x$, $y$ in $a$. Koeficienti se seštejejo
v 1: $\lambda+\mu+\left(1-\lambda-\mu\right)=1$. Torej je, ko odštejemo
$a$, to element $V$ (ker $V=A-a$).

Torej je $V$ linearen podprostor
\item [{$\left(3\right)\Rightarrow\left(1\right)$}] Po predpostavki je
$A=V+a$ za $a\in\mathbb{R}^{n}$ in $V$ linearen podprostor v $\mathbb{R}^{n}$.
Hočemo dokazati, da je $A$ afina --- da je $\forall x,y\in A,\lambda\in\mathbb{R}:\left(1-\lambda\right)x+\lambda y\in A$.
Elementi $A$ so oblike $x+a$ za $x$ iz $V$ ($a$ smo fiksirali)
ZDB $A=\left\{ x+a;x\in V\right\} $. Torej za $\forall x,y\in A,\lambda\in\mathbb{R}:$
\[
\left(1-\lambda\right)\left(x+a\right)+\lambda\left(y+a\right)=\left(1-\lambda\right)x+\lambda y+\left(1-\lambda\right)a+\lambda a=\left(1-\lambda\right)x+\lambda y+a
\]
Želimo, da je $\left(1-\lambda\right)x+\lambda y+a\in A$, torej želimo,
da je $\left(1-\lambda\right)x+\lambda y\in V$, kar pa je res, ker
je $V$ linearen podprostor in zato vsebuje vse linearne kombinacije
svojih elementov.
\end{description}
\end{proof}

\subsection{Konveksni stožci in Farkaseva {[}farkaševa{]} lema.}
\begin{defn*}
$A\subseteq\mathbb{R}^{n}$ je konveksni stožec, če $\forall x,y\in A,\lambda,\mu\geq0:\lambda x+\mu y\in A$.
\end{defn*}
\begin{rem*}
Imejmo $x,y\in A$.
\begin{itemize}
\item $\forall\lambda,\mu\in\mathbb{R}:\lambda x+\mu y\in A\Leftrightarrow A$
je (linearen) podprostor
\item $\forall\lambda\in\mathbb{R}:\left(1-\lambda\right)x+\lambda y\in A\Leftrightarrow A$
je afin podprostor
\item $\forall\lambda\in\mathbb{R},\lambda\geq0:\left(1-\lambda\right)x+\lambda y\in A\Leftrightarrow A$
je konveksna množica
\item $\forall\lambda,\mu\in\mathbb{R},\lambda,\mu\geq0:\lambda x+\mu y\in A\Leftrightarrow A$
je konveksni stožec
\end{itemize}
\end{rem*}
\begin{example*}
Primer konveksnega stožca v $\mathbb{R}^{2}$ je vse, kar je med dvema
poltrakoma z izhodiščem v $0$. Vse nenegativne linearne kombinacije
dveh točk tega območja so v tej množici.
\end{example*}
%
\begin{example*}
Neskončen stožec v $\mathbb{R}^{3}$. Končen kornet v $\mathbb{R}^{3}$
pa ni konveksni stožec (pa čeprav je konveksna množica).
\end{example*}
\begin{rem*}
Velja, da je konveksni stožec nujno konveksna množica. Razvidno iz
definicij pojmov zgoraj.

Vsak linearen podprostor je afin in konveksen stožec in konveksna
množica. 

Vsak afin prostor je konveksna množica.
\end{rem*}
\begin{defn*}
Naj bo $a_{1},\dots,a_{k}\in\mathbb{R}^{n}$. $s\left(a_{1},\dots,a_{k}\right)\coloneqq\left\{ \lambda_{1}a_{1}+\cdots+\lambda_{k}a_{k};\lambda_{1},\dots,\lambda_{k}\geq0\right\} $
ZDB množica vseh nenegativnih linearnih kombinacij danih vektorjev.
Temu pravimo konveksni stožec, \textbf{napet na vektorje }$a_{1},\dots,a_{k}$.
\end{defn*}
\begin{example*}
Imejmo dva vektorja, $a_{1}$ in $a_{2}$ v $\mathbb{R}^{2}$. Konveksni
stožec, napet med $a_{1}$ in $a_{2}$, je vse, kar je med vektorjema
$a_{1}$ in $a_{2}$, če ju poljubno skaliramo --- $s\left(a_{1},a_{2}\right)$.

Konveksni stožec, napet med $a_{1}$, $a_{2}$ in $a_{3}$ v $\mathbb{R}^{3}$,
je vse, kar je med temi tremi vektorji, če jih lahko poljubno skaliramo
--- $s\left(a_{1},a_{2},a_{3}\right)$. Taka neskončno velika tristrana
piramida z vrhom v $\left(0,0,0\right)$. Tak neskončen trikoten kornet.
\end{example*}
\begin{claim*}
$s\left(a_{1},\dots,a_{k}\right)$ je konveksni stožec.
\end{claim*}
\begin{proof}
Vzemimo dva elementa iz konveksnega stožca, razpetega med $a_{1},\dots,a_{k}$
in ju skalirajmo s poljubnima nenegativnima realnima številoma. Dokazati
želimo, da je rezultat te operacije vsebovan v $s\left(a_{1},\dots,a_{k}\right)$.
Naj bosta $\lambda,\mu\in\mathbb{R}^{n},\lambda,\mu\geq0$ poljubna:
\[
\lambda\left(\lambda_{1}a_{1}+\cdots+\lambda_{k}a_{k}\right)+\mu\left(\mu_{1}a_{1}+\cdots+\mu_{k}a_{k}\right)=\cdots
\]
... velja, da so $\lambda_{1},\dots,\lambda_{k},\mu_{1},\dots,\mu_{k}$
po definiciji konveksnega stožca, napetega na vektorje, nenegativni
in realni ...

\[
\cdots=\left(\lambda\lambda_{1}+\mu\mu_{1}\right)a_{1}+\cdots+\left(\lambda\lambda_{k}+\mu\mu_{k}\right)a_{k}
\]
In $\forall i\in\left[k\right]$ velja $\lambda\lambda_{1}+\mu\mu_{1}\geq0$,
saj je vsota dveh produktov nenegativnih števil.
\end{proof}
\begin{defn*}
$A\subseteq\mathbb{R}^{n}$ je poljubna podmnožica v $\mathbb{R}^{n}$.
Dualni stožec množice $A$ je $A^{*}\coloneqq\left\{ x\in\mathbb{R}^{n};\forall a\in A:x^{T}a\geq0\right\} $
ZDB to so vsi vektorji, katerih skalarni produkt z vsemi elementi
$A$ je nenegativen $\sim$ to so vsi vektorji, ki z vsemi vektorji
iz $A$ tvorijo netopi kot (ostri ali pravi).
\end{defn*}
\begin{example*}
Denimo, da je $A=\left\{ a_{1},a_{2}\right\} $ v $\mathbb{R}^{2}$:

\begin{figure}[H]
\begin{centering}
\includegraphics{dualni_stožec}
\par\end{centering}
\caption{Primer dualnega stožca.}

\end{figure}
\end{example*}
\begin{claim*}
$A^{*}$ je konveksni stožec.
\end{claim*}
\begin{proof}
Naj bodo $x,y\in A^{*},\lambda,\mu\geq0,a\in A$ poljubni.
\[
\left(\lambda x+\mu y\right)^{T}a\overset{\text{linearnost}}{=}\overset{\geq0}{\lambda}\overset{\geq0}{x^{T}a}+\overset{\geq0}{\mu}\overset{\geq0}{y^{T}a}\geq0\Rightarrow\lambda x+\mu y\in A^{*}
\]
 
\end{proof}
\begin{claim*}
$A\subseteq\left(A^{*}\right)^{*}$.
\end{claim*}
\begin{proof}
Naj bo $a\in A$ poljuben. $a\in\left(A^{*}\right)^{*}\Leftrightarrow\forall b\in A^{*}:a^{T}b\geq0$.
A je res, da če vzamemo vektor iz $a$ in vektor iz $A^{*}$, je med
njima ostri kot? Da, po definiciji $A^{*}$.
\end{proof}
\begin{rem*}
V splošnem $A\not=\left(A^{*}\right)^{*}$. Recimo če $A$ ni konveksni
stožec gotovo ne more biti $\left(A^{*}\right)^{*}$, ki je konveksni
stožec.
\end{rem*}
\begin{thm*}
Farkaševa lema, geometrijska oblika: $\left(s\left(a_{1},\dots,a_{k}\right)\right)^{\ast\ast}=s\left(a_{1},\dots,a_{k}\right)$.
\end{thm*}
\begin{example*}
Za dva vektorja je očitno:

\begin{figure}[H]
\begin{centering}
\includegraphics{farkaš}
\par\end{centering}
\caption{Primer farkaševe leme za $A=\left\{ a_{1},a_{2}\right\} $ v $\mathbb{R}^{2}$.}

\end{figure}
\end{example*}
\begin{proof}
Dokazujemo enakost množic.
\begin{elabeling}{00.00.0000}
\item [{$\left(\supseteq\right)$}] Že vemo. $\forall A:A\subseteq A^{**}$
smo že dokazali.
\item [{$\left(\subseteq\right)$}] Vzemimo poljuben element $b\in s\left(a_{1},\dots,a_{k}\right)^{**}$.
$s\left(a_{1},\dots,a_{k}\right)$ je množica vseh nenegativnih linearnih
kombinacij teh vektorjev. Radi bi dokazali $b\in s\left(a_{1},\dots,a_{k}\right)\Leftrightarrow\exists\lambda_{1},\dots,\lambda_{k}\geq0\ni:\lambda_{1}a_{1}+\cdots+\lambda_{k}a_{k}=b$.
Definirajmo matriko $A\coloneqq\left[\begin{array}{ccc}
a_{1} & \cdots & a_{k}\end{array}\right]\in\mathbb{R}^{n\times k}$. Linearna kombinacija stolpcev matrike je $A\lambda$. Torej $\exists\lambda_{1},\dots,\lambda_{k}\geq0\ni:\lambda_{1}a_{1}+\cdots+\lambda_{k}a_{k}=b\Leftrightarrow\exists x\geq0\ni:Ax=b$.

Kaj pa pomeni predpostavka? Da je skalarni produkt $\forall y\in s^{*}\left(a_{1},\dots,a_{k}\right):b^{T}y\geq0$.
Trdimo, da je $y\in s^{*}\left(a_{1},\dots,a_{k}\right)\Leftrightarrow A^{T}y\geq0$.
\begin{proof}
Dokazujemo ekvivalenco:
\begin{elabeling}{00.00.0000}
\item [{$\left(\Rightarrow\right)$}] Po predpostavki $y$ tvori ostri
kot z vsakim iz $s\left(a_{1},\dots,a_{k}\right)$. Dokažimo, da to
vodi v $A^{T}y\geq0$: 
\[
A^{T}y=\left[\begin{array}{c}
a_{1}^{T}\\
\vdots\\
a_{k}^{T}
\end{array}\right]y\geq0\Leftrightarrow\forall i\in\left[k\right]:a_{i}^{T}y\geq0
\]
To je res --- $y$ tvori ostri kot z vsakim elementom, ki je linearna
kombinacija $\left\{ a_{1},\dots,a_{k}\right\} $ z nenegativnimi
koeficienti, $a_{i}$ pa seveda je element te množice; kot linearno
kombinacijo z nenegativnimi koeficienti ga lahko zapišemo takole:
$0\cdot a_{1}+\cdots+0\cdot a_{i-1}+1\cdot a_{i}+0\cdot a_{i+1}+\cdots+0\cdot a_{k}$.
\item [{$\left(\Leftarrow\right)$}] Po predpostavki $A^{T}y\geq0\Leftrightarrow\forall i\in\left[k\right]:a_{i}^{T}y\geq0$.
Želimo dokazati, da $y$ tvori ostri kot z vsakim elementom, ki je
linearna kombinacija $\left\{ a_{1},\dots,a_{k}\right\} $ z nenegativnimi
koeficienti --- z vsakim vektorjem iz $s\left(a_{1},\dots,a_{k}\right)$.
To so vektorji $\left(\lambda_{1}a_{1}+\cdots+\lambda_{k}a_{k}\right)^{T}y=\overset{\geq0}{\lambda_{1}}\overset{\geq0}{a_{1}^{T}y}+\cdots+\overset{\geq0}{\lambda_{k}}\overset{\geq0}{a_{k}^{T}y}\geq0$.
Ekvivalenca torej drži.
\end{elabeling}
Torej: Če je $A^{T}y\geq0$, je $b^{T}y\geq0$ (predpostavka). Radi
bi videli, da $\exists x\geq0\ni:Ax=b$. To so linearni pogoji. Ali
obstaja dopusten $x$ za te pogoje? Prevedemo na linearni program
--- tem pogojem dodamo eno brezvezno kriterijsko funkcijo: $\max0^{T}x$
p. p. $Ax=b,x\geq0$. Radi bi dokazali, da je ta linearni program
dopusten $\Leftrightarrow$ LP je optimalen (ker je kriterijska funkcija
konstantna 0) $\overset{\text{KID}}{\Leftrightarrow}$ dual je optimalen.

Dual tega problema pa je $\min b^{T}y$ p. p. $A^{T}y\geq0$, $y\lesseqqgtr0$.
Dokazati je treba, da je ta dual optimalen. Dopusten je, ker $y=0$.
Dopustni se delijo na neomejene in optimalne. Dokažimo, da dual ni
neomejen in je s tem dopusten. Ni neomejen, ker je po predpostavki
$b^{T}y\geq0$ za vsak $y$, kjer $A^{T}y\geq0$.

Torej je dual optimalen in po KID je optimalen tudi prvoten problem,
torej je dopusten.
\end{proof}
\end{elabeling}
\end{proof}
\begin{rem*}
Izkaže se, da se iz Farkaseve leme da dokazati KID. Torej KID ni potreben
za Farkasevo lemo. Torej sta nekako KID in Farkaseva lema podobna/ekvivalentna.
\end{rem*}
\begin{thm*}
Farkaseva lema (algebraična oblika): $\exists x\geq0\ni:Ax=b\Leftrightarrow\forall y:\left(A^{T}y\geq0\Rightarrow b^{T}y=0\right)$.

Opazimo, da je to isto kot $b\in s\left(a_{1},\dots,a_{k}\right)\Leftrightarrow b\in s^{*\ast}\left(a_{1},\dots,a_{k}\right)$.
\end{thm*}
%
\begin{thm*}
Farkaseva lema (algebraična oblika, druga varianta): $\exists x\geq0:Ax\leq b\Leftrightarrow\forall y\geq0:\left(A^{T}y\geq0\Rightarrow b^{T}y\geq0\right)$.
\end{thm*}
\begin{proof}
Skica dokaza: Kdaj obstaja tak $x$? Takrat, ko je dopusten naslednji
linearni program: $\max0^{T}x$ p. p. $Ax\leq b,x\geq0$. Dopusten
je natanko tedaj, ko je optimalen, optimalen je natanko tedaj, ko
je optimalen dual (KID): $\min b^{T}y$ p. p. $A^{T}y\geq0,y\geq0$.
Slednje je dopusten problem ($y=0$), torej je bodisi optimalen bodisi
neomejen. Neomejen ni, ker je po predpostavki za vsak dopusten $y$
($A^{T}y\geq0$) kriterijska funkcija omejena navzdol ($b^{T}y\geq0$).
\end{proof}
\begin{example*}
Ali obstajata $x_{1},x_{2}$, da velja
\[
x_{1}-x_{2}\leq-1\qquad/\cdot1
\]
\[
-x_{1}-x_{2}\leq-3\qquad/\cdot3
\]
\[
2x_{1}+x_{2}\leq2\qquad/\cdot4
\]
\[
x_{1},x_{2}\geq0
\]

Zmnožimo neenačbe s temi nenegativnimi koeficienti in dobimo certifikat
nedopustnosti: $6x_{1}\leq-2$, kar je v protislovju z $x_{1}\geq0$.
\end{example*}
\begin{rem*}
Še ena interpretacija Farkaseve leme: $b\not\in s\left(a_{1},\dots,a_{k}\right)\Rightarrow b\not\in s^{**}\left(a_{1},\dots,a_{k}\right)$
ZDB če $b$ ni v konveksnem stožcu, napetem na $a_{1},\dots,a_{k}$,
potem $b$ od $a_{1},\dots,a_{k}$ loči neka hiperravnina.
\end{rem*}

\section{Konveksne funkcije}
\begin{defn*}
Naj bo $K$ konveksna na $\mathbb{R}^{n}$. $f:K\to\mathbb{R}$ je
konveksna, če $\forall x,y\in K,\lambda\in\left[0,1\right]:f\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$.
\end{defn*}
\begin{example*}
$f\left(x\right)=x^{2}$, $f:\mathbb{R}\to\mathbb{R}$.
\[
\left(\left(1-\lambda\right)x+\lambda y\right)^{2}\overset{?}{\leq}\left(1-\lambda\right)x^{2}+\lambda y^{2}
\]
\[
0\overset{?}{\leq}\left(1-\lambda\right)x^{2}+\lambda y^{2}-\left(\left(1-\lambda\right)x+\lambda y\right)^{2}
\]
\[
0\overset{?}{\leq}\left(1-\lambda\right)x^{2}+\lambda y^{2}-\left(1-\lambda\right)^{2}x^{2}-2\left(1-\lambda\right)x\lambda y-\lambda^{2}y^{2}
\]
\[
0\overset{?}{\leq}\left(1-\lambda-\left(1-2\lambda+\lambda^{2}\right)\right)x^{2}+\left(1-\lambda\right)\lambda y^{2}-2\lambda\left(1-\lambda\right)xy
\]
\[
0\overset{?}{\leq}\left(1-\lambda\right)\lambda x^{2}+\left(1-\lambda\right)\lambda y^{2}-2\lambda\left(1-\lambda\right)xy
\]
če je $\lambda=0$, je $0\leq0$, če je $1-\lambda=0$, je $0\leq0$.
Če je $\lambda\in\left(0,1\right)$, delimo z $\lambda\left(1-\lambda\right)$
\[
0\overset{?}{\leq}x^{2}+y^{2}-xy
\]
\[
0\leq\left(x-\frac{1}{2}y\right)^{2}+\frac{3}{4}y^{2}
\]
Torej je $x^{2}$ res konveksna. To isto lastnost tudi vidimo iz grafa
funkcije; graf je vedno pod zveznico med dvema točkama na grafu.
\end{example*}
\begin{defn*}
Naj bo $K$ konveksna $\subseteq\mathbb{R}^{n}$. $f:K\to\mathbb{R}$
je konkavna, če $\forall x,y\in K,\lambda\in\left[0,1\right]:f\left(\left(1-\lambda\right)x+\lambda y\right)\geq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$.
\end{defn*}
%
\begin{defn*}
Naj bo $K$ konveksna $\subseteq\mathbb{R}^{n}$. $f:K\to\mathbb{R}$
je strogo konveksna, če $\forall x,y\in K,\lambda\in\left(0,1\right):f\left(\left(1-\lambda\right)x+\lambda y\right)<\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$.
\end{defn*}
%
\begin{defn*}
Naj bo $K$ konveksna $\subseteq\mathbb{R}^{n}$. $f:K\to\mathbb{R}$
je strogo konkavna, če $\forall x,y\in K,\lambda\in\left(0,1\right):f\left(\left(1-\lambda\right)x+\lambda y\right)>\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$.
\end{defn*}
\begin{example*}
Naj bo $f\left(x\right)=a^{T}x+b=a_{1}x_{1}+\cdots+a_{n}x_{n}+b$
(afina funkcija) (linearna+konstanta). Je konveksna in konkavna hkrati
(velja enakost):
\[
f\left(\left(1-\lambda\right)x+\lambda y\right)=a^{T}\left(\left(1-\lambda\right)x+\lambda y\right)+b=\left(1-\lambda\right)a^{T}x+\lambda a^{T}y+b=\left(1-\lambda\right)a^{T}x+\lambda a^{T}y+\left(1-\lambda\right)b+\lambda b=
\]
\[
=\left(1-\lambda\right)\left(a^{T}x+b\right)+\lambda\left(a^{T}y+b\right)=\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right).
\]
\end{example*}
\begin{claim*}
Naj bo $f:K^{\text{konkveksna}}\to\mathbb{R}$ konveksna funkcija.
Naj bo $b\in\mathbb{R}$ poljuben. Naj bo $A=\left\{ x\in K:f\left(x\right)\leq b\right\} $.
Tedaj je $A$ konveksna.
\end{claim*}
\begin{proof}
Vzemimo poljubna $x,y\in A,\lambda\in\left[0,1\right]$. Dokazati
želimo $\left(1-\lambda\right)x+\lambda y\in A\Leftrightarrow f\left(\left(1-\lambda\right)x+\lambda y\right)\leq b$
(zaradi konveksnosti $K$ je $f$ na tem izrazu definirana).
\[
f\left(\left(1-\lambda\right)x+\lambda y\right)\overset{f\text{ konv}}{\leq}\overset{\geq0}{\left(1-\lambda\right)}\overset{\leq b}{f\left(x\right)}+\overset{\geq0}{\lambda}\overset{\leq b}{f\left(y\right)}\leq\left(1-\lambda\right)b+\lambda b=b
\]
\end{proof}
\begin{claim*}
Trdimo naslednje:
\begin{enumerate}
\item $f,g:K^{\text{konv.}}\to\mathbb{R}$ konveksna funkcija
\begin{enumerate}
\item $\Longrightarrow f+g$ konveksna funkcija
\item $\forall c\geq0:c\cdot f$ konveksna funkcija.
\end{enumerate}
\item $g:K^{\text{konv.}}\to\mathbb{R}$ afina
\begin{enumerate}
\item $\Longrightarrow g_{*}\left(K\right)$ konveksna in
\item $f:g_{*}\left(K\right)\to\mathbb{R}$ konveksna funkcija $\Longrightarrow f\circ g$
konveksna.
\end{enumerate}
\item Naj bosta $g:K\to\mathbb{R}$ in $f:C\left(g_{*}\left(K\right)\right)\to\mathbb{R}$
konveksni in naj bo $f$ naraščajoča. $\Longrightarrow f\circ g$
konveksna.
\end{enumerate}
\end{claim*}
\begin{proof}
Dokazujemo več trditev.
\begin{enumerate}
\item Dokazujemo dve trditvi:
\begin{enumerate}
\item $f\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$
in $g\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)g\left(x\right)+\lambda g\left(y\right)$
velja po predpostavki. Seštejemo ti dve neenačbi:
\[
\left(f+g\right)\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)\left(f+g\right)\left(x\right)+\lambda\left(f+g\right)\left(y\right)
\]
\item $f\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$
velja po predpostavki. Pomnožimo neenakost z nenegativnim $c$:
\[
cf\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)cf\left(x\right)+\lambda cf\left(y\right)
\]
Torej je tudi $cf$ konveksna.
\end{enumerate}
\item Dokazujemo dve trditvi:
\begin{enumerate}
\item Slika afine funkcije je konveksna množica. Naj bosta $x,y\in g_{*}\left(K\right)$.
Torej $x=g\left(x'\right)=a^{T}x'+b$ in $y=g\left(y'\right)=a^{T}y'+b$.
\[
\left(1-\lambda\right)x+\lambda y=\left(1-\lambda\right)\left(a^{T}x'+b\right)+\lambda\left(a^{T}y'+b\right)=\left(1-\lambda\right)a^{T}x'+\left(1-\lambda\right)b+\lambda a^{T}y'+\lambda b=
\]
\[
=a^{T}\left(\left(1-\lambda\right)x'+\lambda y'\right)+\left(1-\lambda\right)b+\lambda b=a^{T}\left(\left(1-\lambda\right)x'+\lambda y'\right)+b=g\left(\left(1-\lambda\right)x'+\lambda y'\right)\in g_{*}\left(K\right)
\]
\item 
\[
\left(f\circ g\right)\left(\left(1-\lambda\right)x+\lambda y\right)\overset{g\text{ afina}}{=}f\left(\left(1-\lambda\right)g\left(x\right)+\lambda g\left(y\right)\right)\overset{f\text{ konv.}}{\leq}\left(1-\lambda\right)f\left(g\left(x\right)\right)+\lambda f\left(g\left(y\right)\right)=
\]
\[
=\left(1-\lambda\right)\left(f\circ g\right)\left(x\right)+\lambda\left(f\circ g\right)\left(y\right)
\]
\end{enumerate}
\item Po predpostavki velja $g:K\to\mathbb{R}$, $f:C\left(g_{*}\left(K\right)\right)\to\mathbb{R}$
konveksni in $f$ naraščajoča. Dokazati želimo, da je $f\circ g$
konveksna. Vemo, da je $g$ konveksna, se pravi $g\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(g\right)+\lambda g\left(y\right)$
(I.).
\[
\left(f\circ g\right)\left(\left(1-\lambda\right)x+\lambda y\right)\overset{f\text{ naraščajoča}\wedge\text{I.}}{\leq}f\left(\left(1-\lambda\right)f\left(g\right)+\lambda g\left(y\right)\right)\overset{f\text{ konveksna}}{\leq}\left(1-\lambda\right)f\left(g\left(x\right)\right)+\lambda f\left(g\left(y\right)\right)
\]
\end{enumerate}
\end{proof}
\begin{example*}
Ne-primeri:
\begin{itemize}
\item $c\cdot f$ ni nujno konveksna. Primer: $f\left(x\right)=x^{2}$ in
$c=-1$.
\item $f\cdot g$ ni nujno konveksna. Primer $f\left(x\right)=x^{2}$ in
$g\left(x\right)=-1$.
\item $f\circ g$ ni nujno konveksna. Primer: $g\left(x\right)=x^{2}$ in
$f\left(x\right)=-x$.
\item $f_{*}\left(K\right)$ ni nujno konveksna. $f:\left[0,1\right]\to\left\{ 0,1\right\} $
s predpisom $f\left(x\right)=\begin{cases}
0 & ;x<1\\
1 & ;x=1
\end{cases}$ je konveksna, a slika v $\left\{ 0,1\right\} $.
\end{itemize}
\end{example*}

\subsection{Kriterija prvega in drugega odvoda}

Za $n=1$. Prvi odvod: Funkcija je konveksna, če je graf nad tangento,
torej če je $f\left(y\right)\geq f\left(x\right)+f'\left(x\right)\left(y-x\right)$.
Oziroma povedano z drugim odvodom: $\forall x\in K:f''\left(x\right)\geq0$.
Slabost je, da potrebujemo odvedljivost.
\begin{defn*}
Gradient funkcije $f:\Omega^{\text{odp.}}\subseteq\mathbb{R}^{n}\to\mathbb{R}$
je 
\[
\nabla f=\grad f=\left[\begin{array}{c}
\frac{\partial f}{\partial x_{1}}\\
\vdots\\
\frac{\partial f}{\partial x_{n}}
\end{array}\right]
\]
\end{defn*}
\begin{thm*}
Kriterij 1. odvoda. Naj bo $f:K\to\mathbb{R}$, $K\subseteq\mathbb{R}^{n}$
odprta in konveksna in $f$ parcialno odvedljiva (t. j. $\forall i\in\left[n\right]\exists\frac{\partial f}{\partial x_{i}}:f\to\mathbb{R}$).
Tedaj je $f$ konveksna 
\[
\Leftrightarrow\forall x,y\in K:f\left(y\right)\geq f\left(x\right)+\left(\nabla f\left(x\right)\right)^{T}\left(y-x\right)
\]
\end{thm*}
\begin{proof}
Dokazujemo ekvivalenco.
\begin{description}
\item [{$\left(\Leftarrow\right):$}] $\forall x,y\in K,\lambda\in\left[0,1\right]:$
Velja $z\coloneqq\left(1-\lambda\right)x+\lambda y\in K$ in po predpostavki
velja dvoje:
\[
f\left(x\right)\geq f\left(z\right)+\nabla f\left(x\right)^{T}\left(x-z\right)
\]
\[
f\left(y\right)\geq f\left(z\right)+\nabla f\left(x\right)^{T}\left(y-z\right)
\]
Naredimo konveksno kombinacijo teh dveh neenačb --- množimo z nenegativnimi
števili, zato se ohrani smer neenačbe:
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq\left(1-\lambda\right)\left(f\left(z\right)+\nabla f\left(x\right)^{T}\left(x-z\right)\right)+\lambda\left(f\left(z\right)+\nabla f\left(x\right)^{T}\left(y-z\right)\right)
\]
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq\left(1-\lambda\right)f\left(z\right)+\left(1-\lambda\right)\nabla f\left(x\right)^{T}\left(x-z\right)+\lambda f\left(z\right)+\lambda\nabla f\left(x\right)^{T}\left(y-z\right)
\]
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq\left(1-\lambda\right)f\left(z\right)+\lambda f\left(z\right)+\left(1-\lambda\right)\nabla f\left(x\right)^{T}\left(x-z\right)+\lambda\nabla f\left(x\right)^{T}\left(y-z\right)
\]
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq f\left(z\right)+\nabla f\left(x\right)^{T}\left(\left(1-\lambda\right)\left(x-z\right)+\lambda\left(y-z\right)\right)
\]
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq f\left(z\right)+\nabla f\left(x\right)^{T}\left(\left(1-\lambda\right)x-\left(1-\lambda\right)z+\lambda y-\lambda z\right)
\]
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq f\left(z\right)+\cancel{\nabla f\left(x\right)^{T}\left(\left(1-\lambda\right)x+\lambda y-z\right)}
\]
Upoštevamo $z=\left(1-\lambda\right)x+\lambda y$
\[
\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\geq f\left(\left(1-\lambda\right)x+\lambda y\right)
\]
\item [{$\left(\Rightarrow\right):$}] Po predpostavki velja, da je $f$
konveksna. Želimo dokazati, da je $\forall x,y\in K:f\left(y\right)\geq f\left(x\right)+\left(\nabla f\left(x\right)\right)^{T}\left(y-x\right)$.
Vzemimo poljubna $x,y\in K$. Ker je $K$ konveksna, je $\forall\lambda\in\left[0,1\right]:\left(1-\lambda\right)x+\lambda y\in K$.
Nadalje trdimo še več; da $\exists\delta>0\forall\lambda\in\left(-\delta,1+\delta\right):\left(1-\lambda\right)x+\lambda y\in K$
--- to je res, ker je $K$ odprta in konveksna. Podrobnejši dokaz:

Vemo, da $\exists\varepsilon_{1}>0\ni:K_{\varepsilon_{1}}\left(x\right)\subseteq K$
(krogla z radijem $\varepsilon$ in središčem v $x$ je v $K$). Vemo
tudi, da $\exists\varepsilon_{2}>0\ni:K_{\varepsilon_{2}}\left(y\right)\subseteq y$.
To dvoje zaradi odprtosti $K$. Oglejmo si razdaljo med $\left(1-\lambda\right)x+\lambda y$
in $x$: $\left|\left|\left(1-\lambda\right)x+\lambda y-x\right|\right|=\left|\left|\lambda\left(y-x\right)\right|\right|=\left|\lambda\right|\left|\left|y-x\right|\right|<\varepsilon_{1}$
za $\left|\lambda\right|<\frac{\varepsilon_{1}}{\left|\left|y-x\right|\right|}$.
Torej če je $\left|\lambda\right|<\frac{\varepsilon_{1}}{\left|\left|y-x\right|\right|}$,
potem je $\left(1-\lambda\right)x+\lambda y$ res v $K$. Sedaj si
oglejmo še razdaljo med $\left(1-\lambda\right)x+\lambda y$ in $y$:
$\left|\left|\left(1-\lambda\right)x+\lambda y-y\right|\right|=\left|\left|\left(1-\lambda\right)x+\left(\lambda-1\right)y\right|\right|=\left|\left|\left(1-\lambda\right)\left(x-y\right)\right|\right|=\left|1-\lambda\right|\left|\left|x-y\right|\right|<\varepsilon_{2}$
za $\left|1-\lambda\right|<\frac{\varepsilon_{2}}{\left|\left|x-y\right|\right|}$.
Če torej vzamemo $\delta\coloneqq\min\left\{ \frac{\varepsilon_{1}}{\left|\left|y-x\right|\right|},\frac{\varepsilon_{2}}{\left|\left|x-y\right|\right|}\right\} $,
bo res $\forall\lambda\in\left(-\delta,1+\delta\right):\left(1-\lambda\right)x+\lambda y\in K$.

Definirajmo funkcijo $g:\left(-\delta,1+\delta\right)$ s predpisom
$g\left(\lambda\right)=\left(1-\lambda\right)x+\lambda y$. Sedaj
si oglejmo $f\circ g:\left(-\delta,1+\delta\right)\to\mathbb{R}$
in njen odvod --- pomni, da je $f$ funkcija več spremenljivk: $f\left(\left(1-\lambda\right)x+\lambda y\right)=f\left(\left(1-\lambda\right)x_{1}+\lambda y_{1},\dots,\left(1-\lambda\right)x_{n}+\lambda y_{n}\right)$
--- uporabimo verižno pravilo: 
\[
\left(f\circ g\right)'\left(\lambda\right)=\frac{\partial}{\partial\lambda}f\left(\left(1-\lambda\right)x+\lambda y\right)=\sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}}\left(\left(1-\lambda\right)x_{i}+\lambda y_{i}\right)\cdot\left(\overset{\text{odvod argumenta po }\lambda}{y_{i}.-x_{i}}\right)
\]
Kar dobimo, je skalarni produkt gradienta in razlike med vektorjema.
Obetavno. Sedaj to evaluiramo v $\lambda=0$:
\[
\left(f\circ g\right)'\left(0\right)=\sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}}\cancelto{x_{i}}{\left(\left(1-0\right)x_{i}+0y_{i}\right)}\cdot\left(\overset{\text{odvod argumenta po }\lambda}{y_{i}.-x_{i}}\right)=\left(\nabla f\left(x\right)\right)^{T}\cdot\left(y-x\right)
\]
Po definiciji odvoda pa je: (tu uporabimo dejstvo, da ker limita obstaja,
je enaka desni limiti)
\[
\left(f\circ g\right)'\left(0\right)=\lim_{\lambda\to0}\frac{\left(f\circ g\right)\left(\lambda\right)-\left(f\circ g\right)\left(0\right)}{\lambda}=\lim_{\lambda\downarrow0}\frac{\left(f\circ g\right)\left(\lambda\right)-\left(f\circ g\right)\left(0\right)}{\lambda}=
\]
Ker je $f$ konveksna:
\[
=\lim_{\lambda\downarrow0}\frac{f\left(\left(1-\lambda\right)x+\lambda y\right)-f\left(x\right)}{\lambda}\overset{f\text{ konv.}}{\leq}\lim_{\lambda\downarrow0}\frac{\left(\cancel{1}-\lambda\right)f\left(x\right)+\lambda f\left(y\right)\cancel{-f\left(x\right)}}{\lambda}=\lim_{\lambda\downarrow0}\frac{\cancel{-\lambda}f\left(x\right)+\cancel{\lambda}f\left(y\right)}{\cancelto{1}{\lambda}}=f\left(y\right)-f\left(x\right)
\]
Se pravi smo dokazali $f\left(y\right)-f\left(x\right)\geq\left(\nabla f\left(x\right)\right)^{T}\cdot\left(y-x\right)$.

\end{description}
\end{proof}
\begin{thm*}
Kriterij 2. odvoda za $n=1$. Naj bo $f:\left(a,b\right)\to\mathbb{R}$
dvakrat odvedljiva. Tedaj je $f$ konveksna $\Leftrightarrow\forall x\in\left(a,b\right):f''\left(x\right)\geq0$.
\end{thm*}
\begin{proof}
Dokazujemo ekvivalenco:
\begin{description}
\item [{$\left(\Rightarrow\right)$}] Po predpostavki je $f$ konveksna,
torej $f\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)$.
To uporabimo za $\lambda=\frac{1}{2}$, $x=x+h$, $y=x-h$. Dobimo
\[
f\left(\frac{1}{2}\left(x+h\right)+\frac{1}{2}\left(x-h\right)\right)\leq\frac{1}{2}f\left(x+h\right)+\frac{1}{2}f\left(x-h\right)
\]
\[
f\left(x\right)\leq\frac{1}{2}f\left(x+h\right)+\frac{1}{2}f\left(x-h\right)
\]
Izračunajmo spodnjo limito in dokažimo, da zares obstaja. Obe strani
gresta k 0, uporabimo L'H:
\[
\lim_{h\to0}\frac{f\left(x+h\right)+f\left(x-h\right)-2f\left(x\right)}{h^{2}}\overset{\text{L'H}}{=}\lim_{h\to0}\frac{f'\left(x+h\right)\cdot1+f'\left(x-h\right)\cdot\left(-1\right)\cancel{-2f'\left(x\right)\cdot0}}{2h}=\lim_{h\to0}\frac{f'\left(x+h\right)-f'\left(x-h\right)}{2h}\overset{\text{L'H}}{=}
\]
\[
\overset{\text{L'H}}{=}\lim_{h\to0}\frac{f''\left(x+h\right)\cdot1-f''\left(x-h\right)\cdot\left(-1\right)}{2}=\lim_{h\to0}\frac{f''\left(x+h\right)+f''\left(x-h\right)}{2}=f''\left(x\right)
\]
Prej smo pokazali $f\left(x\right)\leq\frac{1}{2}f\left(x+h\right)+\frac{1}{2}f\left(x-h\right)$
oziroma $0\leq\frac{1}{2}f\left(x+h\right)+\frac{1}{2}f\left(x-h\right)-f\left(x\right)$
oziroma $0\leq f\left(x+h\right)+f\left(x-h\right)-2f\left(x\right)$.
Sedaj to uporabimo, da povemo, da je števec v spodnjem izračunu $\geq0$
in zato cela limita $\geq0$.
\[
0\leq\lim_{h\to0}\frac{f\left(x+h\right)+f\left(x-h\right)-2f\left(x\right)\geq0}{h^{2}\geq0}=f''\left(x\right)
\]
$\left(\Leftarrow\right)$ Sedaj je predpostavka, da je $\forall x\in\left(a,b\right):f''\left(x\right)\geq0$.
Dokazati želimo, da je $f$ konveksna. Vzemimo poljubna $x,y\in\left(a,b\right)$.
BSŠ $x<y$. Naj bo $\lambda\in\left(0,1\right)$ poljuben in naj bo
$z=\left(1-\lambda\right)x+\lambda y$.

Spomnimo se Lagrangevega izreka\footnote{\href{http://splet.sijanec.eu/dir/ana1teor.pdf}{http://splet.sijanec.eu/dir/ana1teor.pdf}}:
\[
\exists\xi_{1}\in\left(x,z\right)\ni:\frac{f\left(z\right)-f\left(x\right)}{z-x}=f'\left(\xi_{1}\right)\quad\wedge\quad\exists\xi_{2}\in\left(z,y\right)\ni:\frac{f\left(y\right)-f\left(z\right)}{y-z}=f'\left(\xi_{2}\right)
\]
Po naši predpostavki je $f''\left(x\right)>0$, zato je $f'\left(x\right)$
naraščajoča, zato je $f'\left(\xi_{1}\right)\leq f'\left(\xi_{2}\right)$.
Oziroma drugače, 
\[
\exists\xi_{3}\in\left(\xi_{1},\xi_{2}\right)\ni:\frac{f'\left(\xi_{2}\right)-f'\left(\xi_{1}\right)}{\xi_{2}-\xi_{1}>0}=f''\left(\xi_{3}\right)\geq0\Longrightarrow f'\left(\xi_{2}\right)-f'\left(\xi_{1}\right)\geq0
\]

Torej smo dokazali, da je
\[
\frac{f\left(z\right)-f\left(x\right)}{z-x}\leq\frac{f\left(y\right)-f\left(z\right)}{y-z}\qquad/\cdot\left(z-x\right)\left(y-z\right)
\]
\[
\left(f\left(z\right)-f\left(x\right)\right)\left(y-z\right)\leq\left(f\left(y\right)-f\left(z\right)\right)\left(z-x\right)
\]
\[
0\leq\left(f\left(y\right)-f\left(z\right)\right)\left(z-x\right)-\left(f\left(z\right)-f\left(x\right)\right)\left(y-z\right)
\]
\[
0\leq f\left(y\right)\left(z-x\right)-f\left(z\right)\left(z-x\right)-f\left(z\right)\left(y-z\right)+f\left(x\right)\left(y-z\right)
\]
\[
0\leq f\left(y\right)\left(z-x\right)-f\left(z\right)\left[\left(z-x\right)+\left(y-z\right)\right]+f\left(x\right)\left(y-z\right)
\]
\[
0\leq f\left(y\right)\left(z-x\right)-f\left(z\right)\left(y-x\right)+f\left(x\right)\left(y-z\right)
\]
\[
f\left(z\right)\left(y-x\right)\leq f\left(y\right)\left(z-x\right)+f\left(x\right)\left(y-z\right)
\]
\[
f\left(z\right)\leq f\left(y\right)\frac{z-x}{y-x}+f\left(x\right)\frac{y-z}{y-x}
\]
Računamo: 
\[
\frac{y-z}{y-x}=\frac{y-\left(1-\lambda\right)x-\lambda y}{y-x}=\frac{\left(1-\lambda\right)y-\left(1-\lambda\right)x}{y-x}=\frac{\left(1-\lambda\right)\cancel{\left(y-x\right)}}{\cancel{y-x}}=1-\lambda
\]
\[
\frac{z-x}{y-x}=\frac{\left(1-\lambda\right)x+\lambda y-x}{y-x}=\frac{\cancel{x}-\lambda x+\lambda y\cancel{-x}}{y-x}=\frac{\lambda\cancel{\left(y-x\right)}}{\cancel{y-x}}=\lambda
\]
Ko vstavimo to nazaj v naš račun, dobimo:
\[
f\left(\left(1-\lambda\right)x+\lambda y\right)\leq\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)
\]
S čimer smo dokazali konveksnost.

\end{description}
\end{proof}
\begin{defn*}
$A\in\mathbb{C}^{n\times n}$, $Ax=\lambda x$, $x\not=0$. Tedaj
je $x$ lastni vektor in $\lambda$ lastna vrednost $A$. Lastne vrednosti
so ničle karakterističnega polinoma $p_{A}\left(\lambda\right)=\det\left(A-\lambda I\right)$.
\end{defn*}
%
\begin{defn*}
$A$ je diagonalizabilna, če $\exists n$ linearno neodvisnih lastnih
vektorjev.
\end{defn*}
\begin{example*}
$\left[\begin{array}{cc}
0 & 1\\
0 & 0
\end{array}\right]$ ni diagonalizabilna. Njen karakteristični polinom: $\left|\begin{array}{cc}
-\lambda & 1\\
0 & -\lambda
\end{array}\right|=\lambda^{2}$, $\lambda=0$ je edina njena lastna vrednost. Njeni lastni vektorji:
$\left[\begin{array}{cc}
0 & 1\\
0 & 0
\end{array}\right]\left[\begin{array}{c}
x\\
y
\end{array}\right]=\left[\begin{array}{c}
y\\
0
\end{array}\right]$. Sistem enačb $\left[\begin{array}{c}
y\\
0
\end{array}\right]=\left[\begin{array}{c}
0\\
0
\end{array}\right]$ velja natanko tedaj, ko je $y=0$. Torej lastni vektorji so $\left\{ \left[\begin{array}{c}
x\\
0
\end{array}\right];x\not=0\right\} $ --- ima samo en linearno neodvisen lastni vektor, torej ni diagonalizabilna.
\end{example*}
%
\begin{example*}
Lastne vrednosti readlne matrike so lahko kompleksne. $\left[\begin{array}{cc}
0 & 1\\
-1 & 0
\end{array}\right]$ je realna matrika s kompleksnimi lastnimi vrednostmi, zato ni diagonalizabilna.
$\left|\begin{array}{cc}
-\lambda & 1\\
-1 & -\lambda
\end{array}\right|=\lambda^{2}+1=0\Leftrightarrow\lambda=\pm i$.
\end{example*}
\begin{defn*}
$A\in\mathbb{R}^{n\times n}$ je simetrična $\Leftrightarrow A^{T}=A$.
\end{defn*}
\begin{thm*}
Za $A$ simetrično velja:
\begin{enumerate}
\item Lastne vrednosti so realne
\item Lastni vektorji, ki pripadajo različnim lastnim vrednostim, so ortogonalni
\item $A$ je diagonalizabilna celo v ortonormirani bazi
\end{enumerate}
\end{thm*}
\begin{proof}
Dokazujemo več stvari.
\begin{enumerate}
\item $Ax=\lambda x$, $\lambda\in\mathbb{C}$, $x\in\mathbb{C}^{n}$. $\overline{x}^{T}Ax=\overline{x}^{T}\left(\lambda x\right)=\lambda\overline{x}^{T}x=\lambda\left|\left|x\right|\right|^{2}$.
Ker je $A=A^{T}$, velja tudi $\overline{x}^{T}Ax=\overline{x}^{T}\overline{A}^{T}x=\overline{Ax}^{T}x=\overline{\lambda x}^{T}x=\overline{\lambda}\left|\left|x\right|\right|^{2}$.
Ker $x\not=0$, sledi $\lambda=\overline{\lambda}$ in zato $\lambda\in R$.
\item $Ax=\lambda x$, $\lambda\in R$, $x\in\mathbb{R}^{n}$, $Ay=\mu y$,
$\mu\in\mathbb{R}$, $y\in\mathbb{R}^{n}$. Po predpostavki $\mu\not=\lambda$.
Velja:
\[
y^{T}Ax=y^{T}\left(\lambda x\right)=\lambda y^{T}x
\]
\[
y^{T}Ax=y^{T}A^{T}x
\]
\[
y^{T}A^{T}x=\left(Ay\right)^{T}x=\left(\mu y\right)^{T}x=\mu y^{T}x
\]
\[
\Longrightarrow\lambda y^{T}x=\mu y^{T}x\Rightarrow\left(\overset{\not=0}{\lambda-\mu}\right)y^{T}x=0\Rightarrow y^{T}x=0
\]
\item $A$ gotovo ima lastno vrednost $\in\mathbb{R}$ in pripadajoči lastni
vektor $x$. Vzemimo vse vektorje, ki so pravokotni na $x$: 
\[
V\coloneqq\left\{ y\in\mathbb{R}^{n};x^{T}y=0\right\} 
\]
Iz tega sledi, da je $y\in V$ (torej $x^{T}y=0$) $\Rightarrow Ay\in V$
(torej $Ax^{T}y=0$). Z drugimi besedami, $V$ je invarianten za $A$.
Po predpostavki $x^{T}y=0\Rightarrow x^{T}Ay=x^{T}A^{T}y=\left(Ax\right)^{T}y=\left(\lambda x\right)^{T}y=\lambda x^{T}y0$.
Zožimo $A|V$ in ta matrika je spet simetrična in nadaljujemo. NE
RAZUMEM.
\end{enumerate}
\end{proof}
\begin{defn*}
Diagonalizabilnost $A$ ZDB pomeni, da $\exists$ obrnljiva $P$ in
diagonalna $D\in\mathbb{C}^{n\times n}\ni:A=PDP^{-1}$. Za simetrično
$A=A^{T}$ velja pa $A=QDQ^{T}$ za $Q^{T}=Q^{-1}$ (ortogonalna matrika).
\end{defn*}
%
\begin{defn*}
Kvadratna forma:
\[
x^{T}Ax=\left[\begin{array}{ccc}
x_{1} & \cdots & x_{n}\end{array}\right]\left[\begin{array}{c}
\sum_{j=1}^{n}a_{1j}x_{j}\\
\vdots\\
\sum_{j=1}^{n}a_{nj}x_{j}
\end{array}\right]=\sum_{i,j=1}^{n}a_{ij}x_{i}x_{j}
\]
\end{defn*}
%
\begin{defn*}
Simetrična $A$ je pozitivno semidefinitna (oznaka $A\geq0$), če
je $\forall x\geq0:x^{T}Ax\geq0$.

$A$ je negativno semidefinitna (oznaka $A\leq0$), če je $\forall x\geq0:x^{T}Ax\leq0$.

$A$ je pozitivno definitna (oznaka $A>0$), če je $\forall x\geq0:x^{T}Ax>0$.

$A$ je negativno definitna (oznaka $A<0$), če je $\forall x\geq0:x^{T}Ax<0$.

$A$ je nedefinitna, če $x^{T}Ax$ doseže tako pozitivne kot negativne
vrednosti.
\end{defn*}
\begin{fact*}
Velja: $x^{T}Ax=x^{T}QDQ^{T}x$, označimo $\tilde{x}\coloneqq Q^{T}x$,
torej $x^{T}QDQ^{T}x=\tilde{x}^{T}D\tilde{x}=\sum_{i=1}^{n}\lambda_{i}\tilde{x}_{i}^{2}$.
Iz tega sledi tole o poddeterminantah (brez dokaza).
\[
\forall x\geq0:x^{T}Ax\geq0\Leftrightarrow\lambda_{1},\dots,\lambda_{n}\geq0\Leftrightarrow\forall I\subseteq\left[n\right]:\det\left[A_{ij}\right]_{i,j\in I}\geq0
\]
\[
\forall x\geq0,x\not=0:x^{T}Ax>0\Leftrightarrow\lambda_{1},\dots,\lambda_{n}\geq0\Leftrightarrow\forall I\subseteq\left[n\right]:\det\left[A_{ij}\right]_{i,j\in I}>0
\]
in podobno za negativno (semi)definitnost.
\end{fact*}
\begin{example*}
\[
\left[\begin{array}{cc}
a & b\\
c & d
\end{array}\right]>0\Rightarrow\lambda_{1},\lambda_{2}>0\Leftrightarrow\lambda_{1}\lambda_{2}>0\wedge\lambda_{1}+\lambda_{2}>0\Leftrightarrow\left(\text{sled}\left(A\right)=a+c\right)>0\wedge\det A>0\Leftrightarrow a>0\wedge ac-b^{2}>0
\]
\end{example*}
\begin{defn*}
Naj bo $f:K^{\text{odp.}}\to\mathbb{R}$ dvakrat parcialno odvedljiva,
$K\subseteq\mathbb{R}^{n}$. Gradient smo že definirali. Hessejeva
matrika za $f$:
\[
H_{f}=\left[\frac{\partial^{2}f}{\partial x_{j}\partial x_{i}}\right]_{ij\in\left[n\right]}
\]
Vemo, da je za dvakrat zvezno odvedljivo funkcijo $f_{xy}=f_{yx}$,
zato je za take funkcije $H_{f}$ simetrična --- $H_{f}=H_{f}^{T}$.
\end{defn*}
\begin{thm*}
Kriterij 2. odvoda za $n\geq1$

Naj bo $f:K\to\mathbb{R}$, $K$ konveksna in odprta, $f$ dvakrat
zvezno odvedljiva ZDB $f\in C_{2}\left(K\right)$. Tedaj je $f$ konveksna
$\Leftrightarrow\forall x\in K:H_{f}\left(x\right)\geq0$.
\end{thm*}
\begin{example*}
$f\left(x,y\right)=x^{2}+y^{2}$ in $K=\mathbb{R}^{2}$. $H_{f}=\left[\begin{array}{cc}
2 & 0\\
0 & 2
\end{array}\right]\geq0\Rightarrow f$ konveksna $\Rightarrow\left\{ \left(x,y\right);x^{2}+y^{2}\leq1\right\} $
konveksna.
\end{example*}
\begin{proof}
Naj bosta $x,y\in K$ poljubna. Definirajmo $h_{x,y}\left(\lambda\right)=f\left(\left(1-\lambda\right)x+\lambda y\right)$
--- slednja je gotovo definirana na $\left[0,1\right]$. Ker je $K$
odprta, je $h_{x,y}$ definirana celo na $\left(-\delta_{x,y},1+\delta_{x,y}\right)$
za nek $\delta$ (glej dokaz za kriterij 2. odvoda za $n=1$) in slika
v $\mathbb{R}$.

Zaradi odprtosti $K$ torej vemo $\forall\lambda\in\left(-\delta_{x,y},1+\delta_{x,y}\right):\left(1-\lambda\right)x+\lambda y\in K$.

Sedaj dokažimo $f$ konveksna $\Leftrightarrow\forall x,y\in K:h_{x,y}$
konveksna:
\begin{elabeling}{00.00.0000}
\item [{$\left(\Rightarrow\right)$}] Po predpostavki velja, da je $f$
konveksna. Želimo dokazati, da je $h_{x,y}$ konveksna. Torej za poljuben
$\lambda,\mu\in\left(-\delta_{x,y},1+\delta_{x,y}\right)$:
\[
h_{x,y}\left(\left(1-\tau\right)\lambda+\tau\mu\right)=f\left(\left(1-\left(1-\tau\right)\lambda-\tau\mu\right)x+\left(\left(1-\tau\right)\lambda+\tau\mu\right)y\right)=
\]
\[
=f\left(x-\left(1-\tau\right)\lambda x-\tau\mu x+\left(1-\tau\right)\lambda y+\tau\mu y\right)=
\]
\[
=f\left(x\left[1-\left(1-\tau\right)\lambda-\tau\mu\right]+y\left[\left(1-\tau\right)\lambda+\tau\mu\right]\right)=
\]
\[
=f\left(x\left[1-\lambda+\tau\lambda-\tau\mu\right]+y\left[\lambda-\tau\lambda+\tau\mu\right]\right)=
\]
\[
=f\left(x-x\lambda+\lambda y+\tau\left[\lambda x-\mu x-\lambda y+\mu y\right]\right)=
\]
\[
=f\left(\left(1-\lambda\right)x+\lambda y+\tau\left[\mu y-\mu x-\lambda y+\lambda x+x-x\right]\right)=
\]
\[
=f\left(\left(1-\lambda\right)x+\lambda y+\tau\left[\left[\left(1-\mu\right)x+\mu y\right]-\left[\left(1-\lambda\right)x+\lambda y\right]\right]\right)=
\]
\[
=f\left(\left[\left(1-\lambda\right)x+\lambda y\right]+\tau\left[\left(1-\mu\right)x+\mu y\right]-\tau\left[\left(1-\lambda\right)x+\lambda y\right]\right)=
\]
\[
=f\left(\left(1-\tau\right)\left(\left(1-\lambda\right)x+\lambda y\right)+\tau\left(\left(1-\mu\right)x+\mu y\right)\right)\overset{f\text{ konv.}}{\leq}
\]
\[
\overset{f\text{ konv.}}{\leq}\left(1-\tau\right)f\left(\left(1-\lambda\right)x+\lambda y\right)+\tau f\left(\left(1-\mu\right)x+\mu y\right)=
\]
\[
=\left(1-\tau\right)h_{x,y}\left(\lambda\right)+\tau h_{x,y}\left(\mu\right)
\]
\item [{$\left(\Leftarrow\right)$}] Po predpostavki velja, da je $h_{x,y}$
konveksna. Dokažimo, da je $f$ konveksna.
\[
f\left(\left(1-\lambda\right)x+\lambda y\right)=h_{x,y}\left(\lambda\right)=h_{x,y}\left(\left(1-\lambda\right)\cdot0+\lambda\cdot1\right)\overset{h_{x,y}\text{ konv.}}{\leq}\left(1-\lambda\right)h_{x,y}\left(0\right)+\lambda h_{x,y}\left(1\right)=\left(1-\lambda\right)f\left(x\right)+\lambda f\left(y\right)
\]
\end{elabeling}
Sedaj odvajajmo $h_{x,y}$ --- spomnimo se verižnega pravila (pozor,
tu je malce grda notacija: $x_{i}'$ pomeni $i-$to spremenljivko
$f$ , $x_{i}$ pa $i-$to komponento $x-$a):
\[
h_{x,y}'\left(\lambda\right)=\frac{\partial}{\partial\lambda}f\left(\left(1-\lambda\right)x_{1}+\lambda y_{1},\dots,\left(1-\lambda\right)x_{n}+\lambda y_{n}\right)=
\]
\[
=\frac{\partial f}{\partial x_{1}'}\left(\left(1-\lambda\right)x_{1}+\lambda y_{1}\right)\cdot\left(y_{1}-x_{1}\right)+\cdots+\frac{\partial f}{\partial x_{n}'}\left(\left(1-\lambda\right)x_{n}+\lambda y_{n}\right)\cdot\left(y_{n}-x_{n}\right)=
\]
\[
=\sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}'}\left(\left(1-\lambda\right)x_{i}+\lambda y_{i}\right)\cdot\left(y_{i}-x_{i}\right)
\]
Sedaj odvajajmo $h_{x,y}$ dvakrat --- spet uporabimo verižno pravilo
(spet grda notacija):
\[
h_{x,y}''\left(\lambda\right)=\sum_{i,j=1}^{n}\frac{\partial f}{\partial x_{i}'\partial x_{j}'}\left(\left(1-\lambda\right)x_{i}+\lambda y_{i}\right)\cdot\left(y_{i}-x_{i}\right)\left(y_{j}-x_{j}\right)=\cdots
\]
... kar smo dobili, je ravno kvadratna forma: ...
\[
\cdots=\left(y-x\right)^{T}H_{f}\left(\left(1-\lambda\right)x+\lambda y\right)\left(y-x\right)
\]
Torej doslej vemo, da je $f$ konveksna $\Leftrightarrow\forall x,y\in K:h_{x,y}$
konveksna, torej lahko na njej uporabimo pravilo drugega odvoda in
dobimo 
\[
\forall x,y\in K,\lambda\in\left(-\delta_{x,y},1+\delta_{x,y}\right):h_{x,y}^{''}\left(\lambda\right)\geq0\Leftrightarrow\forall x,y\in K,\lambda\in\left(-\delta_{x,y},1+\delta_{x,y}\right):\left(y-x\right)^{T}H_{f}\left(\left(1-\lambda\right)x+\lambda y\right)\left(y-x\right)\geq0
\]
Sedaj moramo dokazati le še
\[
\forall x,y\in K,\lambda\in\left(-\delta_{x,y},1+\delta_{x,y}\right):\left(y-x\right)^{T}H_{f}\left(\left(1-\lambda\right)x+\lambda y\right)\left(y-x\right)\geq0\Leftrightarrow\forall x\in K,x\geq0:H_{f}\left(x\right)\geq0
\]
Torej dokazujemo ekvivalenco:
\begin{elabeling}{00.00.0000}
\item [{$\left(\Leftarrow\right):$}] Očitno, po definiciji pozitivne semidefinitnosti.
\item [{$\left(\Rightarrow\right):$}] Fiksirajmo $x$. Vzemimo $\lambda=0$.
Po predpostavki velja
\[
\left(y-x\right)^{T}H_{f}\left(\left(1-\lambda\right)x+\lambda y\right)\left(y-x\right)\geq0
\]
\[
\left(y-x\right)^{T}H_{f}\left(x\right)\left(y-x\right)\geq0
\]
Ker je $K$ odprta, $\exists\varepsilon>0\ni:\left|\left|x-y\right|\right|<\varepsilon\Rightarrow y\in K$.
Vzemimo poljuben $z\in\mathbb{R}^{n}$ in $m\in\mathbb{R}$ tak, da
$\left|\left|\frac{z}{m}\right|\right|<\varepsilon$. To je gotovo
res za nek dovolj velik $m$. Za $y=x+\frac{z}{m}$ torej velja, da
je v $K$:
\[
\left(y-x\right)^{T}H_{f}\left(x\right)\left(y-x\right)\geq0
\]
\[
\left(x+\frac{z}{m}-x\right)^{T}H_{f}\left(x\right)\left(x+\frac{z}{m}-x\right)\geq0
\]
\[
\left(\frac{z}{m}\right)^{T}H_{f}\left(x\right)\left(\frac{z}{m}\right)\geq0
\]
\[
\frac{z^{T}}{m}H_{f}\left(x\right)\frac{z}{m}\geq0\qquad/\cdot\left(m^{2}\right)
\]
\[
z^{2}H_{f}\left(x\right)z\geq0\qquad/\cdot\left(m^{2}\right)
\]
Torej je $H_{f}$ res pozitivno semidefinitna.
\end{elabeling}
\end{proof}

\subsection{Konveksne funkcije in optimizacija}
\begin{defn*}
Naj bo $f:\Omega\to\mathbb{R}$ za $\Omega\subseteq\mathbb{R}^{2}$.
\begin{itemize}
\item $f$ ima globalni $\overset{\min}{\max}$ v $x^{*}\in\Omega\Leftrightarrow\forall x\in\Omega:f\left(x\right)\overset{\geq}{\leq}f\left(x^{*}\right)$.
\item $f$ ima lokalni $\overset{\min}{\max}$ v $x^{*}\Omega\Leftrightarrow\exists\varepsilon>0\forall x\in\Omega:\left|\left|x-x^{*}\right|\right|<\varepsilon\Rightarrow f\left(x\right)\overset{\geq}{\leq}f\left(x^{*}\right)$.
\end{itemize}
\end{defn*}
\begin{thm*}
Naj bo $f:K^{\text{konv.}}\to\mathbb{R}$ konveksna. Če ima $f$ v
$x^{*}$ lokalni minimum, ima v $x^{*}$tudi globalni minimum.
\end{thm*}
\begin{proof}
Če $x^{*}$ ni globalni minimum, $\exists y\in K\ni:f\left(y\right)<f\left(x^{*}\right)$.
Vzemimo poljuben $\lambda\in\left[0,1\right]$.
\[
f\left(\left(1-\lambda\right)x^{*}+\lambda y\right)\overset{f\text{ konv.}}{\leq}\left(1-\lambda\right)f\left(x^{*}\right)+\lambda\overset{<f\left(x^{*}\right)}{f\left(y\right)}<\left(1-\lambda\right)f\left(x^{*}\right)+\lambda f\left(x^{*}\right)=f\left(x^{*}\right)
\]
Torej prišli smo do
\[
f\left(\left(1-\lambda\right)x^{*}+\lambda y\right)<f\left(x^{*}\right)
\]
Sedaj vzemimo razdaljo med $\left(1-\lambda\right)x^{*}+\lambda y$
in $x^{*}$:
\[
\left|\left|\left(1-\lambda\right)x^{*}+\lambda y-x^{*}\right|\right|=\left|\left|\lambda y-\lambda x^{*}\right|\right|=\lambda\left|\left|y-x^{*}\right|\right|
\]
Za $\lambda>0\wedge\lambda<\frac{\varepsilon}{\left|\left|y-x^{*}\right|\right|}$
je $\lambda\left|\left|y-x^{*}\right|\right|<\varepsilon$ in zato
po predpostavki o lokalnem minimumu
\[
f\left(\left(1-\lambda\right)x^{*}+\lambda y\right)\geq f\left(x^{*}\right),
\]
kar je v protislovju z $f\left(\left(1-\lambda\right)x^{*}+\lambda y\right)<f\left(x^{*}\right)$.
Torej je $x^{*}$ globalni minimum.
\end{proof}
\begin{rem*}
Konveksna funkcija seveda nima nujno lokalnega ali globalnega minimuma,
a velja, da če ima lokalni minimum, je to tudi globalni minimum. Za
maksimume to ne velja, recimo funkcija 
\[
f:\left[0,3\right]\to\mathbb{R},f\left(x\right)=\begin{cases}
x\leqslant1; & 2\left(1-x\right)\\
x\in\left(1,2\right); & 0\\
x\geq2 & x-2
\end{cases}
\]
je konveksna in ima lokalna minimuma v $x=0$ in v $x=3$, toda $f\left(0\right)=2$,
a $f\left(3\right)=1$.
\end{rem*}
\begin{thm*}
$f:K\to\mathbb{R},K$ konveksna in odprta. Naj bo $\forall x:H_{f}\left(x\right)>0$.
Tedaj je $f$ strogo konveksna.
\end{thm*}
\begin{proof}
Ne bomo dokazali.
\end{proof}
\begin{rem*}
,,$f$ strogo konveksna $\Rightarrow H_{f}\left(x\right)>0$`` pa
ne velja vedno. Protiprimer je $f\left(x\right)=x^{4}$. Njegova hessejeva
matrika je $\left[12x^{2}\right]$ in $\left[12x^{2}\right]\left(0\right)=0$,
toda $f$ je strogo konveksna.
\end{rem*}
\begin{thm*}
Naj bo $f:K^{\text{konv.}}\to\mathbb{R}$ strogo konveksna in naj
ima v $x^{*}$ globalni maksimum. Tedaj je v $x^{*}$ekstremna točka
(točka, ki je ni moč izraziti kot konveksno kombinacijo dveh drugih
točk iz $K$).
\end{thm*}
\begin{proof}
PDDRAA $x^{*}$ni ekstremna točka. Tedaj $\exists y,z\in K,y\not=x^{*},z\not=x^{*},\lambda\in\left[0,1\right]\ni:x^{*}=\left(1-\lambda\right)y+\lambda z$.
Potemtakem po strogi konveksnosti $f$ velja
\[
f\left(x^{*}\right)=f\left(\left(1-\lambda\right)y+\lambda z\right)<\left(1-\lambda\right)\overset{\leq0}{f\left(y\right)}+\lambda\overset{\leq0}{f\left(z\right)}\leq f\left(x^{*}\right)
\]
In seveda je $f\left(x^{*}\right)<f\left(x^{*}\right)$ protislovje.
\end{proof}

\subsection{Vezani ekstrem z neenakostmi --- VEN}

Imejmo $f:\Omega\to\mathbb{R}^{n}$, $\Omega\in\mathbb{R}^{n}$, in
$\forall i\in\left[m\right]:g_{i}:\Omega\to\mathbb{R}$, ki določajo
$D\coloneqq\left\{ x\in\Omega\ni:\forall i\in\left[m\right]:g_{i}\left(x\right)\leq0\right\} $.
Iščemo $\max/\min$ $f$ na $D$.
\begin{example*}
Imejmo $f\left(x,y\right)=2x^{3}+4x^{2}+y^{2}-2xy$ med krivuljama
$y=x^{2}$ in $y=4$. Iščemo njen $\max$ in $\min$.

Torej območje določata $g_{1}\left(x,y\right)=y-4$ in $g_{2}\left(x,y\right)=x^{2}-y$.

Notranjost območja: V lokalnem ekstremu velja, da sta parcialna odvoda
po $x$ in $y$ oba enaka $0$, torej $f_{x}=f_{y}=0$. Dobimo sistem
enačb:
\[
2y-2x=0\quad\Longrightarrow\quad y=x
\]
\[
6x^{2}+8x-2y=0\quad\Longrightarrow\quad6x^{2}+8x-2x=0\quad\Longrightarrow\quad6x^{2}+6x=0\quad\Longrightarrow\quad6x\left(x+1\right)=0\quad\Longrightarrow\quad x\in\left\{ 0,-1\right\} 
\]
Kandidata za ekstrem v notranjosti sta $\left(0,0\right)$ in $\left(-1,-1\right)$.
Ali sploh sta v notranjosti območja? $g_{2}\left(0,0\right)=0$, $g_{1}\left(-1,-1\right)=0$
--- to ni notranjost, to je rob. V notranjosti sploh ni kandidatov
za ekstrem.

Kandidati za rob: Ločimo dva roba --- funkciji ene spremenljivke
in parametriziramo $f$ na tem robu s funkcijama ene spremenljivke:
\begin{itemize}
\item $y=4$: $h_{1}\left(x\right)=f\left(x,4\right)=2x^{3}+4x^{2}-8x+16$
na $\left[-2,2\right]$ (to najdemo tako, da izračunamo presečišči
$g_{1}$ in $g_{2}$). 
\[
h_{1}'\left(x\right)=6x^{2}+8x-8=2\left(3x^{2}+4x-4\right)=0\Leftrightarrow x=\frac{-4\pm\sqrt{16+48}}{26}=\frac{-4\pm8}{6}\Leftrightarrow x\in\left\{ -2,\frac{2}{3}\right\} 
\]
Torej ekstrem v notranjosti definicijskega območja: $h_{1}\left(\frac{2}{3}\right)=\frac{352}{27}$.
Še robovi definicijskega območja: $h_{1}\left(2\right)=32$, $h_{1}\left(-2\right)=32$.
\item $y=x^{2}$: $h_{2}\left(x\right)=f\left(x,x^{2}\right)=\cancel{2x^{3}}+4x^{2}+x^{4}\cancel{-2x^{3}}=x^{4}+4x^{2}$
na $\left[-2,2\right]$.
\[
h_{2}'\left(x\right)=4x^{3}+8x=4x\left(x^{2}+2\right)=0\Leftrightarrow x=0
\]
Torej ekstrem v notranjosti definicijskega območja: $h_{2}\left(0\right)=0$.
Robovi so pa isti kot pri $h_{1}$.
\item Torej globalni maksimum je dosežen v $\left(-2,4\right)$ in v $\left(2,4\right)$
in ima vrednost 32, globalni minimum pa v $\left(0,0\right)$ in ima
vrednost 0.
\end{itemize}
Drugi način reševanja: Lagrangevi množitelji.
\[
L\left(x,y,\lambda,\mu\right)\coloneqq2x^{3}+4x^{2}+y^{2}-2xy+\lambda\left(y-4\right)+\mu\left(x^{2}-y\right)
\]
Kandidati za ekstrem so v točkah, kjer velja $L_{x}=0$, $L_{y}=0$,
$\lambda\left(y-4\right)=0$, $\mu\left(x^{2}-y\right)=0$, $y-4\leq0$
in $x^{2}-y\leq0$.

Razlaga: $\lambda=0,\mu=0$: notranjost, $\lambda\not=0,\mu=0$: zgornji
rob, $\lambda=0,\mu=0$: spodnji rob, $\lambda\not=0,\mu\not=0$:
presečišči.

Dobimo sistem štirih enačb s štirimi neznankami:

\[
L_{x}=6x^{2}+8x-2y+2\mu x=0
\]
\[
L_{y}=2y-2x+\lambda-\mu=0
\]
\[
\lambda\left(y-4\right)=0
\]
\[
\mu\left(x^{2}-y\right)=0
\]
Dobimo kandidate za ekstrem in izračunamo funkcijo v njih, da ugotovimo,
kateri je resničen ekstrem.
\end{example*}

\subsection{Karush-Kuhn-Tuckerjevi pogoji (KKT) za reševanje VEN:}

Naloga je $\max/\min$ $f\left(x\right)$ p. p. $x\in\Omega$ in $g_{1}\left(x\right)\leq0,\dots,g_{m}\left(x\right)\leq0$.

Definiramo Lagrangevo funkcijo $L\left(x,\lambda\right)$ ($x$ je
$n$ spremenljivk, $\lambda$ je $m$ spremenljivk) takole:
\[
L\left(x,\lambda\right)=f\left(x\right)+\sum_{j=1}^{m}\lambda_{j}g_{j}\left(x\right)
\]

KKT pogoji so $\forall i\in\left[n\right]:L_{x_{i}}=0$ in $\forall j\in\left[m\right]:\lambda_{j}g_{j}=0\wedge g_{j}\leq0\wedge\lambda_{j}\geq0$
(nenegativnost $\lambda$ ni pogoj pri reševanju VEN z Lagrangevimi
množitelji).
\begin{question*}
Kako rešujemo VEN? Zapišemo KKT pogoje. Ločimo $\forall j$ možnosti
($2^{m}$ možnosti):
\begin{itemize}
\item $\lambda_{j}=0$ in 
\item $\lambda_{j}\not=0$.
\end{itemize}
Torej npr. za $m=2$ ločimo $\lambda=0,\mu=0$, $\lambda>0,\mu=0$,
$\lambda=0,\mu>0$, $\lambda>0,\mu>0$. 
\end{question*}
\begin{rem*}
V splošnem KKT pogoji niso le potrebni ne zadostni za to, da je $x^{*}$,
ki ustreza KKT pogojem globalni/lokalni ekstrem.
\end{rem*}
\begin{example*}
Več primerov:
\begin{enumerate}
\item $\min x^{2}-y^{2}$ p. p. $x\geq0,y\geq0$ za $\Omega=\mathbb{R}^{2}$.
Torej $L=x^{2}-y^{2}+\lambda\left(-x\right)+\mu\left(-y\right)$.

KKT pogoji: $L_{x}=2x-\lambda=0$, $L_{y}=-2y-\mu=0$, $\lambda\left(-x\right)=0$,
$\mu\left(-y\right)=0$, $-x\leq0$, $-y\leq0$, $\lambda\geq0$,
$\mu\geq0$. Ustrezna rešitev tega sistema KKT pogojev je $x=y=\lambda=\mu=0$,
toda $0$ ni niti lokalni niti globalni minimum. Torej KKT pogoji
niso vedno zadostni.
\item $\min x$ p. p. $0\leq y\leq x^{3}$ za $\Omega=\mathbb{R}^{2}$.
Očitno je $\left(0,0\right)$ globalni minimum. $L=x+\lambda\left(-y\right)+\mu\left(y-x^{3}\right)$.

KKT pogoji: $L_{x}=1-3\mu x^{2}=0$, $L_{y}=-\lambda+\mu=0$, $\lambda\left(-y\right)=0$,
$\mu\left(y-x^{3}\right)=0$, $-y\leq0$, $y-x^{3}\leq0$, $\lambda\geq0$,
$\mu\geq0$.

Najdimo vse rešitve KKT pogojev: $\lambda=\mu$. Ločimo primere:
\begin{itemize}
\item $\lambda\not=0\Rightarrow y=0\Rightarrow y=x^{3}\Rightarrow x=y=0\Rightarrow1-3\mu x^{2}\not=0$
\item $\lambda=0\Rightarrow\mu=0\Rightarrow1-3\mu x^{2}=1\not=0$
\end{itemize}
Torej KKT nima nobene rešitve, pa če prav funkcija ima minimum.

\end{enumerate}
\end{example*}
\begin{thm*}
Trdimo dve stvari:
\begin{enumerate}
\item \label{enu:-odprta-in}$\Omega$ odprta in konveksna, $f,g_{1},\dots,g_{m}:\Omega\to\mathbb{R}$
konveksne in odvedljive. Če $x^{*}$ ustreza KKT pogojem, je globalni
minimum (oz. rešitev problema VEN) --- zadostnost pogojev KKT.
\item \label{enu:-odprta-in-1}$\Omega$ odprta in $f,g_{1},\dots,g_{m}:\Omega\to\mathbb{R}$
odvedljive. Če velja, da je $x^{*}$ lokalni minimuum in velja eden
od pogojev
\begin{enumerate}
\item \label{enu:-afine-ali}$g_{1},\dots,g_{m}$ afine ali
\item \label{enu:-konveksna,-}$\Omega$ konveksna, $f,g_{1},\dots,g_{m}$
konveksne, notranjost $D$ ni prazna ($D$ brez roba) ZDB $D^{\circ}\not=\emptyset$
ali
\item \label{enu:mno=00017Eica-vektorjev-}množica vektorjev $\left\{ \nabla g_{1}\left(x^{*}\right),\dots,\nabla g_{m}\left(x^{*}\right)\right\} $
je linearno neodvisna,
\end{enumerate}
potem veljajo KKT pogoji v $x^{*}$ --- potrebnost pogojev KKT.

\end{enumerate}
\end{thm*}
\begin{cor*}
Za konveksni problem, kjer velja $D^{\circ}\not=\emptyset$, so KKT
pogoji ekvivalentni temu, da imamo globalni minimum. ($\left(\Rightarrow\right)$
točka \ref{enu:-odprta-in}, $\left(\Leftarrow\right)$ točka \ref{enu:-konveksna,-}).
\end{cor*}
\begin{proof}
Imamo dve trditvi:
\begin{enumerate}
\item Vemo, da so funkcije konveksne in odvedljive. Naj bo $x^{*}$ globalni
minimum. Naj bo $x$ poljuben na $D$. Uporabimo preverjanje konveksnosti
s prvim odvodom: $f\left(x\right)\geq f\left(x^{*}\right)+\left(x-x^{*}\right)\nabla f\left(x^{*}\right)$
(sledi iz konveksnosti $f$). Ker so $g_{j}$ tudi konveksne, velja
$\forall j\in\left[m\right]:g_{j}\left(x\right)\geq g_{j}\left(x^{*}\right)+\left(x-x^{*}\right)\nabla g_{j}\left(x^{*}\right)$.
Vsako neenakost za $g_{j}$ pomnožimo z $\lambda_{j}$ (je nenegativen
--- KKT pogoj) in vse neenakosti seštejemo:
\[
f\left(x\right)\geq f\left(x^{*}\right)+\left(x-x^{*}\right)\nabla f\left(x^{*}\right)
\]
\[
\forall j\in\left[m\right]:g_{j}\left(x\right)\geq g_{j}\left(x^{*}\right)+\left(x-x^{*}\right)\nabla g_{j}\left(x^{*}\right)\qquad/\cdot\lambda_{j}
\]
\[
\forall j\in\left[m\right]:\lambda_{j}g_{j}\left(x\right)\geq\lambda_{j}g_{j}\left(x^{*}\right)+\lambda_{j}\left(x-x^{*}\right)\nabla g_{j}\left(x^{*}\right)
\]
\[
f\left(x\right)+\sum_{j=1}^{m}\lambda_{j}g_{j}\left(x\right)\geq f\left(x^{*}\right)+\sum_{j=1}^{m}\overset{=0\text{, ker }x^{*}\text{ zadošča KKT}}{\lambda_{j}g_{j}\left(x^{*}\right)}+\left(x-x^{*}\right)\left(\overset{=\nabla L\left(x^{*}\right)=0\text{, ker }x^{*}\text{ zadošča KKT}}{\nabla f\left(x^{*}\right)+\sum_{j=1}^{m}\lambda_{j}\nabla g_{j}\left(x^{*}\right)}\right)
\]
\[
f\left(x\right)+\sum_{j=1}^{m}\lambda_{j}g_{j}\left(x\right)\geq f\left(x^{*}\right)
\]
\[
f\left(x\right)\geq f\left(x^{*}\right)+\sum_{j=1}^{m}\overset{\geq0}{\lambda_{j}}\left(\overset{\geq0}{-g_{j}\left(x\right)}\right)\geq f\left(x^{*}\right)
\]
\item Ne bomo dokazali (dokaz vključuje Farkasevo lemo)
\end{enumerate}
\end{proof}
\begin{example*}
Oglejmo si spet primer od prej, kjer imamo globalni minimum, a ne
izpolnjuje KKT pogojev; $\min x$ p. p. $0\leq y\leq x^{3}$.
\[
g_{1}\left(x,y\right)=-y
\]
\[
g_{2}\left(x,y\right)=-y-x^{3}
\]

Preverimo pogoje iz prejšnjega izreka:
\begin{itemize}
\item \ref{enu:-afine-ali}: $g_{2}$ ni afina --- ne ustreza pogoju
\item \ref{enu:-konveksna,-}: $\Omega$ ni konveksna --- ne ustreza pogoju
\item \ref{enu:mno=00017Eica-vektorjev-}: $\nabla g_{1}\left(0,0\right)=\left[\begin{array}{c}
0\\
-1
\end{array}\right]$, $\nabla g_{2}\left(0,0\right)=\left[\begin{array}{c}
0\\
1
\end{array}\right]$ nista linearno neodvisna --- ne ustreza pogoju
\end{itemize}
Noben od teh pogojev ni izpolnjen. Lahko imamo minimum, ki ne ustreza
KKT pogojem.
\end{example*}
%
\begin{example*}
$\min\frac{1}{x}+\frac{2}{y}$ p. p. $x>0,y>0,x+y\leq5,3x^{2}+2y^{2}\leq35$.
Prva dva pogoja definirata $\Omega=\left\{ \left(x,y\right)\in\mathbb{R}^{2},x>0,y>0\right\} $
(prvi kvadrant brez osi). Druga dva pogoja definirata $g_{1}\left(x,y\right)=x+y-5$,
$g_{2}\left(x,y\right)=3x^{2}+2y^{2}-35$.

Ali je $\Omega$ konveksna? Da. Ali so vse funkcije konveksne? Uporabimo
Hessejevo matriko:
\[
H_{f}=\left[\begin{array}{cc}
\frac{2}{x^{3}} & 0\\
0 & \frac{4}{y^{3}}
\end{array}\right]\geq0\quad\text{(ker }\frac{2}{x^{3}}\text{ in }\frac{4}{y^{3}}>0\text{). Je celo strogo konveksna.}
\]
\[
g_{1}\text{ je afina, torej konveksna.}
\]

\[
H_{g_{2}}=\left[\begin{array}{cc}
6 & 0\\
0 & 4
\end{array}\right]\geq0\text{ Je celo strogo konveksna.}
\]

Imamo konveksne funkcije, se pravi lahko uporabimo KKT pogoje.
\[
L=\frac{1}{x}+\frac{2}{y}+\lambda\left(x+y-5\right)+\mu\left(3x^{2}+2y^{2}-35\right)
\]
\[
L_{x}=-\frac{1}{x^{2}}+\lambda+6\mu=0
\]
\[
L_{y}=-\frac{2}{y^{2}}+\lambda+4\mu=0
\]
\[
\lambda\left(x+y-5\right)=0
\]
\[
\mu\left(3x^{2}+2y^{2}-35\right)=0
\]
\[
x+y-5\leq0
\]
\[
3x^{2}+2y^{2}-35\leq0
\]

Lotimo se posameznih primerov:
\begin{enumerate}
\item $\lambda=\mu=0$: $-1\frac{1}{x^{2}}=0$ nemogoč
\item $\lambda>0,\mu=0$: $-\frac{1}{x^{2}}+\lambda=0$, $-\frac{2}{y^{2}}+\lambda=0$,
$x+y-5=0$. Torej $\lambda=\frac{1}{x^{2}}=\frac{2}{y^{2}}$, torej
$y^{2}=2x^{2}$. A hkrati $y=\pm\sqrt{2}x$, $y=\sqrt{2}x$ (ker je
pozitiven) in ker $x+y=5$, velja $x+\sqrt{2}x=5\sim x\left(1+\sqrt{2}\right)=5\sim x=\frac{5}{1+\sqrt{2}}=\frac{5\left(\sqrt{2}-1\right)}{1}=5\left(\sqrt{2}-1\right)$
in zato $y=\sqrt{2}\cdot5\left(\sqrt{2}-1\right)=5\left(2-\sqrt{2}\right)$.
Nadalje $\lambda=\frac{1}{x^{2}}=\frac{1}{25\left(3-2\sqrt{2}\right)}=\frac{3+2\sqrt{2}}{25\cdot1}\geq0$.
$\mu=0$. Vsem enakostim je zadoščeno, še neenakost: 
\[
3x^{2}+2y^{2}-35\leq0
\]
\[
3\left(25\left(3-2\sqrt{2}\right)\right)+2\left(25\left(6-4\sqrt{2}\right)\right)=25\left(9-6\sqrt{2}+12-8\sqrt{2}\right)=25\left(21-14\sqrt{2}\right)\leq35
\]
 velja, torej so KKT pogoji izpolnjeni. Po izreku, če so KKT pogoji
izpolnjeni, smo dobili globalni minimum. Možnosti 3 ($\lambda=0,\mu>0$)
in 4 ($\lambda>0,\mu>0$) ni treba preverjati. Torej je globalni minimum
v $x=5\left(\sqrt{2}-1\right)$, $y=5\left(2-\sqrt{2}\right)$.
\end{enumerate}
Kako pa se linearen program obnaša kot konveksen problem?
\end{example*}
Standardni LP: $P'$ je $\min c^{T}x$ p. p. $Ax\leq b$, $x\geq0$,
njegov dual, $P'$, je $\min b^{T}y$ p. p. $A^{T}y\geq c$, $y\geq0$.

Predstavimo $P$ kot konveksen problem: na $\Omega=\mathbb{R}^{n}$:
$\min-c^{T}x$ p. p. $\forall i\in\left[m\right]:a^{\left(i\right)}x-b_{i}\leq0$\footnote{ZDB $i-$ta vrstica $A$, skalarno množena z $x$, ko ji odštejemo
$b_{i}$, je manjša od 0.} in $\forall j\in\left[n\right]:-x_{j}\leq0$.

$-c^{T}x$, $a^{\left(i\right)}x-b_{i}$, $-x_{j}$ so vse afine,
torej tudi konveksne, se pravi ustrezajo zahtevam pogojem KKT za iskanje
optimalne rešitve.
\[
L=-c^{T}x+\sum_{i=1}^{m}\lambda_{i}\left(a^{\left(i\right)}x-b_{i}\right)+\sum_{j=1}^{n}\mu_{j}\left(-x_{j}\right)
\]
\[
\forall k\in\left[n\right]:L_{x_{k}}=-c_{k}+\sum_{i=1}^{m}\lambda_{i}\left(a_{ik}\right)-\mu_{k}=0
\]
\[
\forall i\in\left[m\right]:\lambda_{i}\left(a^{\left(i\right)}x-b_{i}\right)=0\quad\text{(I.)}
\]
\[
\forall i\in\left[n\right]:\mu_{j}\left(-x_{j}\right)=0\quad\text{(II.)}
\]
\[
\forall j\in\left[n\right]:\mu_{j}\left(-x_{j}\right)=0
\]
\[
\forall i\in\left[m\right]:\lambda_{i}\geq0,\quad\forall j\in\left[n\right]:\mu_{j}\geq0
\]
\[
\forall i\in\left[n\right]:a^{\left(i\right)}x-b_{i}\leq0
\]
\[
\forall j\in\left[m\right]:-x_{j}\leq0
\]
Opazimo $\forall k\in\left[n\right]:\sum_{i=1}^{m}\lambda_{i}\left(a_{ik}\right)-c_{k}\sim A^{T}\lambda-c=\mu$.

Torej: kdaj $\left(x,\lambda,\mu\right)$ ustrezajo KKT pogojem? Natanko
tedaj, ko
\begin{itemize}
\item $Ax\leq b,x\geq0$ --- $x$ dopusten za $P$
\item $\mu\geq0,\lambda\geq0,A^{T}\lambda-c=\mu$, kar lahko drugače zapišemo
$A^{T}\lambda\geq c,\lambda\geq0$ --- $\lambda$ dopusten za $P'$
\item Poleg tega mora še veljati
\begin{itemize}
\item (I.) $\forall i\in\left[m\right]:\lambda_{i}=0\vee\sum_{j=1}^{n}a_{ij}x_{j}=b_{i}$
in
\item (II.) $\forall j\in\left[n\right]:x_{j}=0\vee\left(\mu_{j}=0\sim\sum_{i=1}^{m}\lambda_{i}\left(a_{ij}\right)=c_{j}\right)$
($\mu_{j}=\cdots$ izrazimo iz enačbe $L_{x_{k}}=\cdots$)
\end{itemize}
Torej da $x$ in $\lambda$ izpolnjujeta pogoje iz izreka o dualnem
dopolnjevanju, ki pravi, da če imamo dopustno rešitev za problem in
njegov dual, so DD pogoji izpolnjeni natanko tedaj, ko sta $x$ in
$\lambda$ optimalna za $P$ in $P'$.
\end{itemize}
Pridemo do tega, da če rešujemo linearen program preko pogojev KKT,
imamo rešitev natanko tedaj, ko izpolnimo pogoje DD. Torej KKT je
ekvivalenten DD.

\section{Celoštevilsko linearno programiranje --- CLP (angl. Integer linear
programming --- ILP)}

Imamo linearni program $\max c^{T}x$ p. p. $Ax\leq b$, $x\geq0$
z dodatno zahtevo $x\in\mathbb{Z}^{n}$. Če imamo samo zahtevo $x_{i}\in\mathbb{Z}$
za nekatere $i$, je to mešano (mixed) LP, torej MLP.

Izkaže se, da je to NP težek problem.
\begin{question*}
Kako rešujemo CLP?

Lahko rešimo sproščen problem --- odstranimo zahtevo $x\in\mathbb{Z}^{n}$,
npr. s simpleksno metodo. Če je optimalna rešitev celoštevilska, je
tudi optimalna rešitev za prvotni problem. Če ni celoštevilska, pa
jo zaokrožimo, vendar to ni nujno optimalna rešitev --- lahko niti
ni dopustna.
\end{question*}
\begin{example*}
Nekaj primerov CLP:
\begin{enumerate}
\item Dihotomija: Imejmo $x\geq0$, $y\geq0$. Želimo dodati $x\geq a\wedge y\geq b$.
To lahko pretvorimo v CLP tako, da dodamo $\delta\in\left[0,1\right],\delta\in\mathbb{Z}$
in dodamo pogoj $x\geq\delta\cdot a$ in $y\geq\left(1-\delta\right)\cdot b$.
\item Diskretna spremenljivka: Želimo $x\in\left\{ s_{1},\dots,s_{k}\right\} $
kot pogoj. To lahko pretvorimo v CLP tako, da dodamo pogoje $x=s_{1}\delta_{1}+\cdots+s_{k}\delta_{k}$
in $\delta_{1},\dots,\delta_{k}\in\left\{ 0,1\right\} $ ter $\delta_{1}+\cdots+\delta_{k}=1$.
\item Imejmo $0\leq x\leq u$ in kriterijsko funkcijo, ki ni linearna, recimo
$f\left(x\right)=\begin{cases}
ax+b & ;x\in\left(0,u\right]\\
0 & ;x=0
\end{cases}$. To si lahko predstavljamo kot ,,Če hočemo gojiti korenje, moramo
kupiti nov stroj, ki nas stane $b$. Če korenja ne gojimo, stroja
ne potrebujemo.``. To lahko pretvorimo v CLP tako, da nastavimo kriterijsko
funkcijo na $f\left(x\right)=ax+b\delta$ in dodamo pogoje $\delta\leq x\leq\delta u$
in $\delta\in\left\{ 0,1\right\} $.
\item SAT (satisfiability problem). Dan je logični izraz v spremenljivkah
$x_{1},\dots,x_{n}$. Ali je za kak nabor vrednosti izraz resničen?
Ta problem je NP poln. SAT lahko pretvorimo na CLP:

Zapišemo ta izraz v KNO (konjunktivni normalni obliki --- imamo konjunkcijo
samih disjunkcij). Pokažimo na primeru: Zanima nas, ali obstaja rešitev
za $\left(x_{1}\vee x_{2}\vee x_{3}\right)\wedge\left(x_{1}\vee\overline{x_{2}}\right)\wedge\left(x_{2}\vee\overline{x_{3}}\right)$.
Pretvorimo v CLP:

$\max0$ p. p. $x_{1}+x_{2}+x_{2}\geq1$, $x_{1}+\left(1-x_{2}\right)\geq1$,
$x_{2}+\left(1-x_{3}\right)\geq1$, $x_{1},x_{2},x_{3}\in\left\{ 0,1\right\} $.
\item Potujoči trgovec (NP-težek): Imejmo utežen graf, naj bo $c_{ij}$
cena od $i$ do $j$. Radi bi našli najcenejši Hamiltonov cikel. Uvedemo
$x_{ij}\in\left\{ 0,1\right\} $, kjer $x_{ij}$ pomeni, da gre trgovec
iz $i-$tega v $j-$to mesto.

$\min\sum_{i,j=1}^{n}c_{ij}x_{ij}$ p. p. $\forall i\in\left[n\right]:\sum_{j=1}^{n}x_{ij}=1$,
$\forall j\in\left[n\right]:\sum_{i=1}^{n}x_{ij}=1$ in da preprečimo,
da trgovec naredi več disjunktnih ciklov: $\forall S\subseteq\left[n\right],S\not=\emptyset,S\not=\left[n\right]:\sum_{i\in S,j\not\in S}x_{ij}\geq1$
--- v nekem koraku moramo iz vsake podmnožice vozlišč (mest) preiti
v njen komplement. Žal s tem dodamo eksponentno mnogo neenačb. Temu
se sicer lahko izognemo.
\end{enumerate}
\end{example*}

\subsection{Razveji in omeji (angl. branch and bound)}

Je ena možna metoda za reševanje CLP. Ilustriramo na primeru $0,1-$nahrbtnika.

Imamo nahrbtnik s kapaciteto $V$. Imamo $n$ predmetov z volumni
$v_{1},\dots,v_{n}$ in cenami $c_{1},\dots,c_{n}$. V nahrbtnik želimo
dati predmete s čim večjo ceno.
\begin{itemize}
\item Če dovolimo rezanje predmetov: $x_{i}$ predstavlja, kakšen delež
predmeta $i$ damo v nahrbtnik.

$\max c_{1}x_{1}+\cdots+c_{n}x_{n}$ p. p. $v_{1}x_{1}+\cdots+v_{n}x_{n}\leq V$,
$\forall i\in\left[n\right]:0\leq x_{i}\leq1$.

Rešitev: Predmete razvrstimo glede na razmerje cena/volumen. BSŠ $\forall i\in\left[n-1\right]:\frac{c_{i}}{v_{i}}\leq\frac{c_{i+1}}{v_{i+1}}$.
Dokler gre, dajemo cel predmet v nahrbtnik. Ko naposled ostane dovolj
volumna le še za delež predmeta, damo toliko predmeta, kolikor gre,
v nahrbtnik ostalo pa pustimo izven nahrbtnika. Rešitev bo torej oblike
\[
\left(1,\dots,1,\alpha=\frac{v-v_{1}-\dots-v_{k-1}}{v_{k}},0,\dots,0\right)
\]
Dokaz preko ŠID. Primalni problem nahrbtnika:

\[
\begin{array}{ccccc}
\max & c_{1}x_{1} & +\cdots+ & c_{n}x_{n}\\
\text{p. p.} & v_{1}x_{1} & +\cdots+ & v_{n}x_{n} & \leq V\\
 & x_{1} &  &  & \leq1\\
 &  & \vdots &  & \vdots\\
 &  &  & x_{n} & \leq1\\
 & x_{1}, & \dots, & x_{n} & \geq0
\end{array}
\]
Njegov dual:
\[
\begin{array}{cccccc}
\min & Vy_{0} & +y_{1} & +\cdots+ & y_{n}\\
\text{p. p.} & v_{1}y_{0} & +y_{1} &  &  & \geq c_{1}\\
 & v_{2}y_{0} & +y_{2} &  &  & \geq c_{2}\\
 &  &  & \vdots\\
 & v_{n}y_{0} & +y_{n} &  &  & \geq c_{n}\\
 & y_{0}, & y_{1}, & \cdots, & y_{n} & \geq0
\end{array}
\]
Rešitev primala je $\forall i\in\left[k-1\right]:x_{i}^{*}=1$, $x_{k}^{*}=\alpha$,
$\forall i\in\left\{ k+1..n\right\} :x_{i}^{*}=0$. Je dopustna. Očitno.

Rešitev duala je (račun izpuščen): $y_{0}=\frac{c_{k}}{v_{k}}$, $\forall i\in\left[k-1\right]:y_{i}^{*}=c_{i}-v_{i}\frac{c_{k}}{v_{k}}$,
$\forall i\in\left\{ k..n\right\} :y_{i}^{*}=0$. Je dopustna, ker
$c_{i}-v_{i}\frac{c_{k}}{v_{k}}\geq0\sim\frac{c_{i}}{v_{i}}\geq\frac{c_{k}}{v_{k}}$
velja, ker so predmeti razvrščeni po gostoti cene. Kaj pa pogoji $v_{i}y_{0}+y_{i}\geq c_{i}$?
Za $i\in\left[k-1\right]$ je $v_{i}y_{0}+y_{i}=\cancel{v_{i}\frac{c_{k}}{v_{k}}}+c_{i}\cancel{-v_{i}\frac{c_{k}}{v_{k}}}=c_{i}\geq0$,
za $i\in\left\{ k..n\right\} $ je $v_{i}y_{0}+y_{i}=v_{i}\frac{c_{k}}{v_{k}}\geq0$
in to je res dopustno za dual problema nahrbtnika.

Sedaj moramo preveriti še enakost vrednosti kriterijske funkcije:

Za primal:

\[
c_{1}x_{y}^{*}+\cdots+c_{n}x_{n}^{*}=c_{1}+\cdots+c_{k-1}+c_{k}\frac{v-v_{1}-\dots-v_{k-1}}{v_{k}}
\]

Za dual:
\[
Vy_{0}^{*}+y_{1}^{*}+\cdots+y_{n}^{*}=V\frac{c_{k}}{v_{k}}+c_{1}-v_{1}\frac{c_{k}}{v_{k}}+\cdots+c_{k-1}-v_{k-1}\frac{c_{k-1}}{v_{k-1}}
\]
To je res enako in po ŠID sta torej to optimalni rešitvi.
\item Če predmetov ne smemo rezati: Poiščemo rešitev sproščenega problema
in dobimo $\left(1,\dots,1,\alpha,0,\dots,0\right)$. $k-$ta spremenljivka
je sedaj $\alpha$, kar ni nujno $\in\left\{ 0,1\right\} $. Razvejimo:
\begin{itemize}
\item $x_{k}=0$ ... isto, kot če tega predmeta nimamo na voljo. Rešimo
isti problem brez tega predmeta.
\item $x_{k}=1$ ... rešimo isti problem brez tega predmeta z zmanjšanjem
volumna. --- ta predmet vzamemo.
\end{itemize}
%
\end{itemize}
\begin{example*}
Imamo 6 predmetov. Prostornine: 10, 50, 100, 45, 5, 20. Cene: 10,
35, 40, 18, 2, 4. Kapaciteta nahrbtnika je 100.
\begin{itemize}
\item Razmerja med cenami in volumni: 1; $0,7$; $0,4$; $0,4$; $0,4$;
$0,2$. Rešitev sproščenega problema je $\left(1,1,\frac{2}{5},0,0,0\right)$.
Cena je $61$. To ni končna rešitev, ker ni celoštevilska. Razvejimo:
\begin{itemize}
\item $x_{3}=1$: $\left(0,0,1,0,0,0\right)$ s ceno 40. Razvejitev ni potrebna,
ker je rešitev celoštevilska.
\item $x_{3}=0$: $\left(1,1,0,\frac{8}{9},0,0\right)$ s ceno 61
\begin{itemize}
\item $x_{4}=0$: $\left(1,1,0,0,1,1\right)$ s ceno 51
\item $x_{4}=1$: $\left(1,\frac{9}{10},0,1,0,0\right)$ s ceno $59,5$
\begin{itemize}
\item $x_{2}=0$: $\left(1,0,0,1,1,1\right)$ s ceno 34
\item $x_{2}=1$: $\left(\frac{1}{2},1,0,1,0,0\right)$ s ceno 58. Razvejimo
$x_{1}=0$: $\left(0,1,0,1,1,0\right)$ s ceno 55, $x_{1}=1$: $\left(1,1,0,1x,x\right)$
preveč kapacitete zasedene, ni možne rešitve
\end{itemize}
\end{itemize}
\end{itemize}
\item To pomeni, da je optimalna vrednost CLP 55 z rešitvijo $\left(1,1,0,0,1,1\right)$.
\item Namesto $2^{6}=64$ smo preučili samo 9 možnosti.
\item Kdaj ne razvejimo več (omejimo)?
\begin{itemize}
\item Ko je rešitev sproščenega problema, ki jo dobimo, celoštevilska.
\item Ko je kapaciteta presežena.
\item Ko dobimo rešitev sproščenega problema, ki je slabša od doslej najdene
najboljše rešitve CLP.
\end{itemize}
\end{itemize}
\end{example*}
%
\begin{example*}
Še en primer razveji in omeji na splošnem ILP: $\max7x_{1}+9x_{2}$
p. p. $-x_{1}+3x_{2}\leq6$, $7x_{1}+x_{2}\leq35$, $x_{1},x_{2}\geq0$
in $x_{1},x_{2}\in\mathbb{Z}$.

Najprej rešimo sproščeni problem: V tem primeru je rešitev $x_{1}^{*}=\frac{9}{2}$,
$x_{2}^{*}=\frac{3}{2}$. Če bi bila ta rešitev celoštevilska, bi
končali. Toda ni, razvejimo: $x_{i}\leq\left\lfloor \alpha\right\rfloor $
ali $x_{i}\geq\left\lceil \alpha\right\rceil $. Torej razvejimo $\left(\frac{9}{2},\frac{3}{5}\right)$
z vrednostjo 63:
\begin{itemize}
\item $x_{1}\leq4$: $\left(4,\frac{10}{3}\right)$ z vrednostjo 58
\begin{itemize}
\item $x_{2}\leq3$: $\left(4,3\right)$ z vrednostjo 55 --- omejimo, celoštevilska
rešitev
\item $x_{2}\geq4$: dobimo nedopusten primer
\end{itemize}
\item $x_{1}\geq5$: $\left(5,0\right)$ z vrednostjo 35.
\end{itemize}
Optimalna rešitev CLP je $x^{*}=\left(4,3\right)$ z vrednostjo 55.
\end{example*}

\end{document}
