大学生就业：春风吹来优质岗

У В?к?пед?? ? статт? про ?нш? значення цього терм?на: оптим?зац?я.

Граф?к параболо?ду, заданого р?внянням z = f(x, y) = ?(x2 + y2) + 4. Глобальний максимум в точц? (x, y, z) = (0, 0, 4) позначено синьою точкою.

Пошук м?н?муму функц?? С?м?онеску методом Нелдера–М?да. Симплекс-вершини впорядкован? за величиною, з найменшим (найкращим) значенням 1.

百度 一者，很多农村孩子因为小学、初中阶段教育资源的匮乏、低质，以及父母的漂泊流动、家庭生活的颠簸不安，很难一路走到高考的门槛前，他们根本没有办法享受高校的这一倾斜政策。

Математичною оптим?зац??ю (?нколи, оптим?зац??ю) або математичним програмуванням в математиц?, ?нформатиц? та досл?дженн? операц?й називають в?дб?р найкращого елементу (за певним критер??м) з множини доступних альтернатив.

У найпрост?шому випадку задача оптим?зац?? поляга? у знаходженн? екстремуму (м?н?муму або максимуму) д?йсно? функц?? шляхом систематичного вибору вх?дних значень з дозволеного набору та обчислення значення функц??. Подальш? узагальнення теор?? та метод?в оптим?зац?? до ?нших формулювань становлять велику область прикладно? математики. Взагал?, оптим?зац?я охоплю? знаходження ?найкращих можливих? значень деяко? ц?льово? функц?? в межах област? визначення, включаючи р?зн? типи ц?льових функц?й та р?зн? типи областей значення.

Постановка задач? оптим?зац??

У процес? про?ктування ставиться, звичайно, задача визначення найкращих, у деякому значенн?, структури або значення параметр?в об'?кт?в. Така задача назива?ться оптим?зац?йною. Якщо оптим?зац?я пов'язана з розрахунком оптимальних значень параметр?в при задан?й структур? об'?кта, то вона назива?ться параметричною. Задача вибору оптимально? структури ? структурною оптим?зац??ю.

Стандартна математична задача оптим?зац?? формулю?ться в такий спос?б. Серед елемент?в χ, що утворюють множину Χ, знайти такий елемент χ^*, що нада? м?н?мальне значення f(χ^*) задан?й функц?? f(χ). Для того щоб коректно поставити задачу оптим?зац?? необх?дно задати:

1. Допустиму множину — множину $\mathbb {X} =\{{\vec {x}}|\;g_{i}({\vec {x}})\leq 0,\;i=1,\ldots ,m\}\subset \mathbb {R} ^{n}$ (функц?? $g_{i}$ задають обмеження на $\mathbb {X}$);
2. Ц?льову функц?ю — в?дображення $f\colon \mathbb {X} \to \mathbb {R}$;
3. Критер?й пошуку (max або min).

Тод? вир?шити задачу $f(x)\to \min _{{\vec {x}}\in \mathrm {X} }$ (при пошуку максимуму буде аналог?чне визначення) означа? одне з:

1. Показати, що $\mathbb {X} =\varnothing$.
2. Показати, що ц?льова функц?я $f({\vec {x}})$ не обмежена знизу.
3. Знайти ${\vec {x}}^{*}\in \mathbb {X} :\;f({\vec {x}}^{*})=\min _{{\vec {x}}\in \mathbb {X} }f({\vec {x}})$.
4. Якщо $\nexists {\vec {x}}^{*}$, то знайти $\inf _{{\vec {x}}\in \mathbb {X} }f({\vec {x}})$.

Якщо м?н?м?зована функц?я не ? опуклою, то часто обмежуються пошуком локальних м?н?мум?в ? максимум?в: точок $x_{0}$ таких, що всюди в деякому ?хньому окол? $f(x)\geq f(x_{0})$ для м?н?муму й $f(x)\leq f(x_{0})$ для максимуму.

Якщо допустима множина $\mathbb {X} =\mathbb {R} ^{n}$ , то така задача назива?ться задачею безумовно? оптим?зац??, в ?ншому раз? — задачею умовно? оптим?зац??.

Функц?ю f в р?зних галузях називають по р?зному, ц?льовою функц??ю (англ. objective function), функц??ю втрат (англ. loss function) чи функц??ю витрат (англ. cost function) (при м?н?м?зац??), або функц??ю корисност? (англ. utility function) чи функц??ю допасованост? (англ. fitness function) (максим?зац?я), функц??ю енерг?? (англ. energy function) або функц?оналом енерг?? (англ. energy functional).

Нотац?я

Задача оптим?зац?? часто запису?ться у сво?р?дн?й спец?альн?й нотац??. Ось деяк? приклади:

М?н?мальне ? максимальне значення функц??

Розглянемо наступний запис:

$\min _{x\in \mathbb {R} }\;(x^{2}+1)$

В?н познача? м?н?мальне значення ц?льово? функц?? $x^{2}+1$, якщо x обира?ться ?з множини д?йсних чисел $\mathbb {R}$. М?н?мальне значення в такому випадку дор?вню? $1$, що в?дпов?да? значенню $x=0$.

Аналог?чно, нотац?я

$\max _{x\in \mathbb {R} }\;2x$

запиту? максимальне значення ц?льово? функц?? 2x, де x може бути будь-яким д?йсним числом. В даному випадку, не ?сну? такого максимуму, оск?льки ц?льова функц?я необмежена, тож в?дпов?дь буде ?неск?нченн?стю? або ?невизначена?.

Оптимальн? вх?дн? аргументи

Розглянемо наступний приклад:

${\underset {x\in (-\infty ,-1]}{\operatorname {arg\,min} }}\;x^{2}+1,$

або екв?валентно

${\underset {x}{\operatorname {arg\,min} }}\;x^{2}+1,\;{\text{коли}}\;x\in (-\infty ,-1].$

Такий запис представля? значення (або дек?лька значень) аргументу $x$ в ?нтервал? $(-\infty ,-1]$, що м?н?м?зу? ц?льову функц?ю $x^{2}+1$ (пошук фактичного значення м?н?муму функц??, в ц?й задач? не вимага?ться). В даному випадку, в?дпов?дь становить $x=-1$, оск?льки $x=0$ не п?дходить, бо не належить заданому ?нтервалу.

Аналог?чно,

${\underset {x\in [-5,5],\;y\in \mathbb {R} }{\operatorname {arg\,max} }}\;x\cos(y),$

або екв?валентно

${\underset {x,\;y}{\operatorname {arg\,max} }}\;x\cos(y),\;{\text{коли}}\;x\in [-5,5],\;y\in \mathbb {R} ,$

представля? пару $(x,y)$ (або пари) значень, яка максим?зу? (як? максим?зують) значення ц?льово? функц?? $x\cos(y)$, ?з заданими обмеженнями, що $x$ знаходиться в ?нтервал? $[-5,5]$ (знову ж таки, фактичне максимальне значення для виразу не ма? значення). В цьому випадку, р?шеннями будуть пари значень наступно? форми: $(5,\,2k\pi )$ та $(-5,\,(2k+1)\pi )$, де $k$ може приймати будь-яке ц?ле значення.

Оператори $\operatorname {arg\,min}$ та $\operatorname {arg\,max}$ ?нод? записують як $\operatorname {argmin}$ та $\operatorname {argmax}$, що розум?ють як аргумент для м?н?муму та аргумент для максимуму.

Класиф?кац?я метод?в оптим?зац??

Методи оптим?зац?? класиф?кують в?дпов?дно до задач оптим?зац??:

• Локальн? методи: сходяться до якого-небудь локального екстремуму ц?льово? функц??. У раз? ун?модально? ц?льово? функц??, цей екстремум ?диний, ? буде глобальним максимумом/м?н?мумом.
• Глобальн? методи: мають справу з багатоекстремальними ц?льовими функц?ями. При глобальному пошуку основною задачею ? виявлення тенденц?й глобально? повед?нки ц?льово? функц??.

?снуюч? в цей час методи пошуку можна розбити на три велик? групи:

1. детерм?нован?;
2. випадков? (стохастичн?);
3. комб?нован?.

За критер??м вим?рност? допустимо? множини, методи оптим?зац?? под?ляють на методи одном?рно? оптим?зац?? ? методи багатом?рно? оптим?зац??.

За видом ц?льово? функц?? й допустимо? множини, задач? оптим?зац?? й методи ?хнього розв'язання можна розд?лити на так? класи:

• Задач? оптим?зац??, у яких ц?льова функц?я $f({\vec {x}})$ ? обмеження $g_{i}({\vec {x}}),\;i=1,\ldots ,m$ ? л?н?йними функц?ями, розв'язуються так званими методами л?н?йного програмування.
• В ?ншому раз? мають справу ?з задачею нел?н?йного програмування ? застосовують в?дпов?дн? методи. У свою чергу з них вид?ляють дв? частков? задач?:
  • якщо $f({\vec {x}})$ ? $g_{i}({\vec {x}}),\;i=1,\ldots ,m$ — опукл? функц??, то таку задачу називають задачею опуклого програмування;
  • якщо $\mathbb {X} \subset \mathbb {Z}$, то мають справу ?з задачею ц?лочислового (дискретного) програмування.

За вимогами до гладкост? й наявност? в ц?льово? функц?? частинних пох?дних, ?х також можна розд?лити на:

• прям? методи, що вимагають т?льки обчислень ц?льово? функц?? в точках наближень;
• методи першого порядку: вимагають обчислення перших частинних пох?дних функц??, тобто якоб?ана ц?льово? функц??;
• методи другого порядку: вимагають обчислення других частинних пох?дних, тобто гесс?ана ц?льово? функц??.

Кр?м того, оптим?зац?йн? методи под?ляються на так? групи:

• анал?тичн? методи (наприклад, метод множник?в Лагранжа ? умови Каруша-Куна-Такера);
• чисельн? методи;
• граф?чн? методи.

Залежно в?д природи множини X задач? математичного програмування класиф?куються так:

• задач? дискретного програмування (або комб?наторно? оптим?зац??) — якщо X ск?нченна або зл?ченна;
• задач? ц?лочислового програмування — якщо X ? п?дмножиною множини ц?лих чисел;
• задач? нел?н?йного програмування, якщо обмеження або ц?льова функц?я м?стять нел?н?йн? функц?? ? X ? п?дмножиною ск?нченновим?рного векторного простору.
• Якщо ж ус? обмеження ? ц?льова функц?я м?стять лише л?н?йн? функц??, то це — задача л?н?йного програмування.

Кр?м того, розд?лами математичного програмування ? параметричне програмування, динам?чне програмування ? стохастичне програмування. Математичне програмування використову?ться при розв'язанн? оптим?зац?йних задач досл?дження операц?й.

Спос?б знаходження екстремуму повн?стю обумовлю?ться класом задач?. Але перед тим, як отримати математичну модель, потр?бно виконати 4 етапи моделювання:

• Визначення меж системи оптим?зац??
  • В?дкида?мо т? зв'язки об'?кта оптим?зац?? ?з зовн?шн?м св?том, як? не можуть сильно вплинути на результат оптим?зац??, а, точн?ше, т?, без яких розв'язання спрощу?ться
• Виб?р зм?нних про?ктування (керованих зм?нних)
  • ?Заморожу?мо? значення деяких зм?нних (некерован? зм?нн?). ?нш? залиша?мо приймати будь-як? значення з област? допустимих р?шень (керован? зм?нн?)
• Визначення обмежень на керован? зм?нн?
  • … (р?вност? й\або нер?вност?)
• Виб?р числового критер?ю оптим?зац??
  • Створю?мо ц?льову функц?ю

?стор?я

Задач? л?н?йного програмування були першими, докладно вивченими задачами пошуку екстремума функц?й при наявност? обмежень типу нер?вностей. В 1820 р. Ж. Фур'? ? пот?м в 1947 р. Дж. Данц?г запропонував метод направленого перебору сум?жних вершин у напрямку зростання ц?льово? функц?? — симплекс-метод, що став основним при розв'язанн? задач л?н?йного програмування.

Присутн?сть у назв? дисципл?ни терм?на ?програмування? поясню?ться тим, що перш? досл?дження й перш? застосування л?н?йних оптим?зац?йних задач були в сфер? економ?ки, тому що в англ?йськ?й мов? слово ?programming? означа? планування, складання план?в або програм. Ц?лком природно, що терм?нолог?я в?добража? т?сний зв'язок, що ?сну? м?ж математичною постановкою задач? ? ?? економ?чною ?нтерпретац??ю (вивчення оптимально? економ?чно? програми). Терм?н ?л?н?йне програмування? був запропонований Дж. Данц?гом в 1949 роц? для вивчення теоретичних ? алгоритм?чних задач, пов'язаних з оптим?зац??ю л?н?йних функц?й при л?н?йних обмеженнях. Тому найменування ?Математичне програмування? пов'язане з тим, що метою розв'язання задач ? виб?р оптимально? програми д?й.

Вид?лення класу екстремальних задач, обумовлених л?н?йним функц?оналом на множин?, що зада?ться л?н?йними обмеженнями, варто в?днести до 30-х рок?в XX стор?ччя. Одними з перших, що досл?джували в загальн?й форм? задач? л?н?йного програмування, були: Джон фон Нейман, знаменитий математик ? ф?зик, що дов?в основну теорему про матричн? ?гри й вивчив економ?чну модель, що носить його ?м'я; радянський академ?к, лауреат нобел?всько? прем?? (1975 р.) Л. В. Канторович, що сформулював ряд задач л?н?йного програмування й запропонував (1939 р.) метод ?хнього розв'язання (метод розв'язних множник?в), що незначно в?др?зня?ться в?д симплекс-методу.

В 1931 р. угорський математик Ейген Егервар? розглянув математичну постановку й вир?шив задачу л?н?йного програмування, що ма? назва ?проблема вибору?, метод розв'язання одержав назву ?угорського методу?.

Л. В. Канторовичем разом ?з М. К. Гавуриним в 1949 р. розроблено метод потенц?ал?в, що застосову?ться при розв'язанн? транспортних задач. У наступних роботах Л. В. Канторовича, В. С. Немчинова, В. В. Новожилова, А. Л. Лур'?, А. Брудно, А. Г. Аганбегяна, Д. Б. Юд?на, Е. Г. Гольштейна й ?нших математик?в ? економ?ст?в отримали подальший розвиток як математична теор?я л?н?йного ? нел?н?йного програмування, так ? застосування ?? метод?в до досл?дження р?зних економ?чних проблем. Методам л?н?йного програмування присвячено багато роб?т заруб?жних учених. В 1941 р. Ф. Л. Х?тчкок поставив транспортну задачу. Основний метод розв'язання задач л?н?йного програмування — симплекс-метод — був опубл?кований в 1949 р. Дж. Данц?гом. Подальший розвиток методи л?н?йного ? нел?н?йного програмування отримали в роботах Г. Куна, А. Таккера, Гасса (Gass S. I.), Чарнеса (Charnes A.), Е. М. Б?ла (Beale E. M.) та ?нших.

Одночасно з розвитком л?н?йного програмування велика увага прид?лялася задачам нел?н?йного програмування, у яких або ц?льова функц?я, або обмеження, або те й те нел?н?йн?. В 1951 р. була опубл?кована робота Куна й Таккера, у як?й наведен? необх?дн? й достатн? умови оптимальност? для розв'язання задач нел?н?йного програмування. Ця робота послужила основою для наступних досл?джень у ц?й галуз?.

Починаючи з 1955 р., опубл?ковано багато роб?т з квадратичного програмування (роботи Била, Е. Баранк?на (Barankin E.) ? Дорфмана (Dorfman R.), М. Франк, Ф. Вульфа, Г. Марков?ца та ?нших). У роботах Денн?са (Dennis J. B.), Розена (Rosen J. B.) ? Зонтендейка (Zontendijk G.) розроблено град??нтн? методи розв'язання задач нел?н?йного програмування.

У даний час для ефективного застосування метод?в математичного програмування й розв'язання задач на комп'ютерах розроблен? мови алгебра?чного моделювання, представниками якими ? AMPL ? LANGO.

Обчислювальн? методи оптим?зац??

Для розв'язання задач, досл?дники можуть використовувати алгоритми, як? зупиняються за ск?нченну к?льк?сть крок?в, або ?терац?йн? методи, як? зб?гаються до р?шення (на певному клас? задач), або евристики, як? можуть надати приблизн? р?шення деяких задач (хоча ?хн? ?терац?? не обов'язково будуть сходитись).

Алгоритми оптим?зац??

• Симплекс-метод Джорджа Данцига, створений для л?н?йного програмування.
• Розширення симплексного-методу, створене для квадратичного програмування ? для дробово-л?н?йного програмування.
• Вар?анти симплекс-методу, як? особливо пасують у випадку оптим?зац?? мереж?.
• Комб?наторн? алгоритми
• Алгоритми квантово? оптим?зац??

Алгоритм оптим?зац?? машинного навчання

Алгоритм оптим?зац?? машинного навчання викону?ться ?терац?йним шляхом пор?вняння р?зних р?шень до досягнення оптимального або задов?льного р?шення. Алгоритми оптим?зац?? допомагають м?н?м?зувати або максим?зувати ц?льову функц?ю E(x), яка ? просто математичною функц??ю, залежною в?д внутр?шн?х параметр?в модел?, що використовуються в модел? при обчисленн? ц?льових значень (Y) по множин? предиктор?в (X). ?снують два типи алгоритм?в оптим?зац??, як? широко використовуються, це алгоритми нульового порядку, алгоритми оптим?зац?? першого порядку та алгоритми оптим?зац?? другого порядку.

Алгоритми нульового порядку

Алгоритми нульового порядку (або без пох?дних) використовують лише значення критер?ю на деяких позиц?ях. Це популярний метод, коли ?нформац?ю про град??нт ? гесс?ан складно або не можливо отримати, наприклад, функц?? не вказано явно.

Алгоритми оптим?зац?? першого порядку

Ц? алгоритми м?н?м?зують або максим?зують функц?ю втрат E(x) за допомогою значення град??нта обчисленного по параметрам. Найб?льш широко використовуваним алгоритмом оптим?зац?? першого порядку ? град??нтний спуск. Пох?дна першого порядку в?добража?, як зменшу?ться чи зб?льшу?ться функц?я в певн?й точц?. Пох?дн? першого порядку описують пряму, дотичну до точки на поверхн? похибки.

Алгоритми оптим?зац?? другого порядку

Методи другого порядку використовують пох?дну другого порядку, яка також назива?ться гесс?аном, для м?н?м?зац?? або максим?зац?? функц?? втрат. Гесс?ан ? матрицею часткових пох?дних другого порядку. Оск?льки, обчислення других пох?дних ? затратною д??ю по к?лькост? операц?й, тому так? алгоритми не мають широкого вжитку. Пох?дна другого порядку пов?домля? нам, чи зб?льшу?ться або зменшу?ться перша пох?дна, що загалом вказу? на кривину функц??. Також гес?ан зада? поверхню другого порядку, дотичну до поверхн? похибки та яка ма? таку саму кривину.

?терац?йн? методи

?терац?йн? методи, що використовуються для вир?шення завдань нел?н?йного програмування, розр?зняються залежно в?д того, чи оц?нюють вони гесс?ан, град??нт або т?льки значення функц?й. При оц?нц? гесс?ану (H) ? град??нту (G) покращу?ться швидк?сть зб?жност?, для функц?й, для яких ц? величини ?снують ? зм?нюються досить гладко, використання цих оц?нок зб?льшу? обчислювальну складн?сть (або обчислювальну варт?сть) кожно? ?терац??. У деяких випадках обчислювальна складн?сть може бути занадто високою.

Одним з основних критер??в для оптим?затор?в ? просто к?льк?сть необх?дних оц?нок функц?й, оск?льки це часто потребу? набагато б?льше обчислень, н?ж потр?бно самому оптим?затору, який здеб?льшого мусить оперувати над N зм?нними. Пох?дн? надають детальну ?нформац?ю для оптим?затор?в, але ?х ? важче обчислити, наприклад, апроксимац?я град??нта потребу? принаймн? N + 1 оц?нку функц?й. Для наближень 2-х пох?дних (вони знаходяться у матриц? Гессе) число оц?нок функц?й буде порядку N2. Метод Ньютона вимага? пох?дних 2-го порядку, тому для кожно? ?терац?? к?льк?сть виклик?в функц?й ма? порядок N2, але для б?льш простого чистого град??нтного оптим?затора потр?бно лише N. Однак оптим?затори град??нт?в потребують зазвичай б?льше ?терац?й, н?ж алгоритм Ньютона. Яка з них буде найкращою за к?лькостю виклик?в функц?й залежить в?д конкретно? задач?.

• Методи, як? оц?нюють гесс?ан (або наближений гесс?ан через ск?нченн? р?зниц?):
  • Метод Ньютона в оптим?зац??
  • Посл?довне квадратичне програмування: метод на основ? Ньютона для проблем малого та середнього масштабу. Деяк? верс?? можуть впоратись з багатовим?рними проблемами.
  • Методи внутр?шньо? точки: Це великий клас метод?в для умовно? оптим?зац??. Деяк? методи внутр?шньо? точки використовують т?льки ?нформац?ю про град??нт, а ?нш? вимагають оц?нки гесс?ан?в.
• Методи, як? оц?нюють град??нт, або апроксимують значення град??нту (або нав?ть субград??нту):
  • Методи координатного спуску: алгоритми, як? оновлюють одну координату за одну ?терац?ю
  • Метод спряжених град??нт?в: ?терац?йн? методи для великих задач. (Теоретично ц? методи зак?нчуються за к?нцеву к?льк?сть крок?в з квадратичними ц?льовими функц?ями, проте на практиц? не спостер?га?ться зупинка за к?нцеву к?льк?сть крок?в на комп'ютерах з? ск?нченною точн?стю.)
  • Град??нтний спуск (?нколи, ?крутий спуск? чи ?крутий п?дйом?): (пов?льний) метод з точки зору ?сторичного та теоретичного ?нтересу, який наново викликав ?нтерес до знаходження наближених розв'язань величезних проблем.
  • Субград??нтн? методи — ?терац?йний метод для великих локально л?пшицевих функц?й з використанням узагальнених град??нт?в . За Борисом Т. Поляком, субград??нтно-про?кц?йн? методи схож? з методами спряжених град??нт?в.
• Методи, як? оц?нюють т?льки значення функц?й: Якщо задача неперервно диференц?йовна, то град??нти можна апроксимувати за допомогою ск?нченних р?зниць, в такому випадку можна використовувати метод на основ? град??нта.
  • Методи ?нтерполяц??.
  • Методи пошуку шаблону, як? мають кращ? властивост? зб?жност?, н?ж евристика Нелдера — М?да, яка наведена нижче.

Див. також

• Алгоритми оптим?зац??
• Задача оптим?зац??
• Складн?сть апроксимац??
• Алгоритм Франк — Вульфа
• Неперервна оптим?зац?я
• Дискретна оптим?зац?я

Л?тература

1. Вар?ац?йне числення та методи оптим?зац??: п?дручник / О. М. П?ддубний, Ю. ?. Харкевич ; Сх?дно?вроп. нац. ун-т ?м. Лес? Укра?нки. — Луцьк: Гадяк Ж. В., 2015. — 331 с. — (Пос?бники та п?дручники СНУ ?м. Лес? Укра?нки). — ISBN 978-617-7129-36-2. — ISBN 978-966-600-5 (сер?я)
2. Досл?дження операц?й ? методи оптим?зац??: навч. пос?бник для студ. вищ. навч. заклад?в / М. ?. Корольов [та ?н.] ; В?дкритий м?жнародний ун-т розвитку людини ?Укра?на?. — К. : Ун?верситет ?Укра?на?, 2007. — 177 с. — ISBN 978-966-388-182-9
3. Задач?, методи та алгоритми оптим?зац??: навч. пос?б. для студ. вищ. навч. закл. / ?. В. Бейко, П. М. З?нько, О. Г. Наконечний ; Ки?в. нац. ун-т ?м. Тараса Шевченка. — 2-ге вид., переробл. — К. : Ки?в. ун-т, 2012. — 799 с. — Б?бл?огр.: с. 769—779. — ISBN 978-966-439-564-6
4. Комп'ютерна реал?зац?я метод?в оптим?зац??: навч. пос?б. для студ. та асп. ф?з.-мат., ?нж. та екон. спец. / В. О. Любчак, Л. Г. Остр?вна ; Сумський держ. ун-т. — Суми: Видавництво Сумського держ. ун-ту, 2002. — 161 с.: рис. — ISBN 966-7668-11-8
5. Математичн? методи оптим?зац??: навч. пос?б. / М. ?. Горб?йчук ; ?вано-Франк?в. нац. техн. ун-т нафти ? газу. — ?вано-Франк?вськ: ?ФНТУНГ, 2018. — 302 с. : рис., табл. — ISBN 978-966-694-295-4
6. Математичн? методи оптим?зац??: навч. пос?б. / О. К. Молод?д ; Нац. техн. ун-т Укра?ни ?Ки?в. пол?техн. ?н-т?. — К. : НТУУ ?КП??, 2012. — 204 с. : рис., табл.
7. Методи оптим?зац??: алгоритми, приклади, задач?: навч. пос?б. для студ. ус?х спец. напряму п?дгот. ?Комп'ютерн? науки? / Г. А. Гайна ; Ки?вський нац?ональний ун-т буд?вництва ? арх?тектури. — К. : КНУБА, 2005. — 144 с.
8. Методи оптим?зац??: навч. пос?б. до проведення лаб. ? практ. роб?т / О. В. Карташов, А. В. Бабк?на, Н. Ю. ?мцева, Р. А. Пудло ; Нац. аерокосм. ун-т ?м. М. ?. Жуковського ?Харк. ав?ац. ?н-т?. — Х. : ХА?, 2009. — 111 с.
9. Методи оптим?зац?? складних систем: навч. пос?б. для студ. спец. ?Комп'ютеризован? системи управл?ння ? автоматики? / ?. В. Кузьм?н [та ?н.] ; В?нницький держ. техн?чний ун-т. — В?нниця: ВДТУ, 2003. — 165 с.: рис.
10. Методи оптим?зац?? та досл?дження операц?й [Текст]: навч. пос?б. / П. М. Мартинюк, О. Р. М?чута ; Нац. ун-т вод. госп-ва та природокористування. — Р?вне: НУВГП, 2011. — 283 с.
11. Оптим?зац?йн? методи та модел?: п?дручник / В. С. Григорк?в, М. В. Григорк?в ; Черн?в. нац. ун-т ?м. Юр?я Федьковича. — Черн?вц?: Рута, 2016. — 400 с. : рис., табл. — ISBN 978-966-423-364-1
12. Основи теор?? ? метод?в оптим?зац??: навч. пос?бник для студ. мат. спец. вищих навч. закл. / М. ?. Жалдак, Ю. В. Триус. — Черкаси: Брама-Укра?на, 2005. — 608 с.: рис. — ISBN 966-8756-04-5
13. Теор?я оптим?зац??: навч. пос?б. для студент?в ВНЗ / О. ?. Щепоть?в, А. В. Жильцов. — Ки?в: Компринт, 2017. — 241 с. : рис., табл. — ISBN 978-966-929-586-6
14. Уханська О. М. Тексти лекц?й з курсу ?Методи оптим?зац???. — Льв?в: В-во НУ ?ЛП?, 2003. — 107 с.
15. Худий М.?. Методи оптим?зац??. Л?н?йне програмування. — Льв?в, 1977.
16. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. Пер. с англ. — М. : Мир, 1985.
17. Mathematical optimization methods: manual for higher educational institutions / V. Klymenko, O. Akmaldinova. — K. : NAU-druk, 2009. — 196 p. : fig., tab. — ISBN 978-966-598-584-6
18. Methods and models of optimization: work book: an educational book / G. G. Shvachich [et al.] ; Alfred Nobel univ., Dnipropetrovs'k. — Dnipropetrovs'k: Alfred Nobel univ., Dnipropetrovs'k, 2012. — 120 p. : fig., tab. — ISBN 978-966-434-125-4
19. Optimization theory / H. T. Jongen [та ?н.]. — Boston[etc.]: Kluwer academic publishers, 2004. — XI, 443 p.: fig. — Б?бл?огр.: p. 429—443. — ISBN 1-4020-8098-0