2020, випуск 3, c. 14-24
Одержано 11.10.2020; Виправлено 19.10.2020; Прийнято 23.10.2020
Надруковано 27.10.2020; Вперше Online 05.11.2020
https://doi.org/10.34229/2707-451X.20.3.2
Попередня | Повний текст | Наступна
Метод еліпсоїдів для знаходження параметрів лінійної регресії
В.О. Стовба
Інститут кібернетики імені В.М. Глушкова НАН України, Київ
Листування: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.
Вступ. Задачу визначення параметрів лінійної регресії можна сформулювати як задачу мінімізації негладкої функції, що являє собою Lp-норму вектора-нев’язки системи лінійних рівнянь. Для її розв’язання можна використовувати методи мінімізації негладких функцій, наприклад, субградієнтні методи. В роботі [7] розглянуто застосування методу еліпсоїдів для знаходження Lp-розв’язку перевизначеної системи лінійних рівнянь при 1≤p≤2.
Мета роботи. Розширення алгоритму на базі методу еліпсоїдів для розв’язання задачі визначення параметрів лінійної регресії для довільних значень параметра p≥2 таким чином, щоб при великих значеннях p розв’язок задачі співпадав з розв’язком, отриманим за допомогою мінімаксного методу, який відповідає значенню p=∞. Описати формулювання задачі апроксимації спостережень квадратичною функцією як задачі визначення параметрів лінійної регресії. Проаналізувати результати роботи алгоритму для великої кількості спостережень та аномалій. Порівняти результати роботи мінімаксного методу та методу еліпсоїдів для задачі визначення параметрів лінійної регресії при великих значеннях параметра p.
Результати. Розроблено спосіб обчислення значення цільової функції та її субградієнта для великих значень параметра p, перевірений на прикладі апроксимації лінійною функцією спостережень, що містять аномалії. Алгоритм на основі методу еліпсоїдів демонструє монотонність при зміні параметрів лінійної регресії за допомогою регулювання параметра p, дозволяючи, таким чином, відкидати або враховувати ті чи інші спостереження. В роботі [3] показано, що перевагу слід віддавати методу найменших модулів (МНМ), оскільки він ігнорує аномальні спостереження і точно відновлює лінійну функцію. Результати експериментів з великою кількістю спостережень і викидів при p=1 підтвердили цей висновок: МНМ ігнорує групи аномалій та адекватно апроксимує спостереження лінійною функцією. Метод найменших квадратів відхиляється від оптимальної лінійної функції, якщо наявна група аномалій в тій чи іншій області. При використанні великих значень параметра p розв’язок задачі наближається до розв’язку, отриманого мінімаксним методом.
Висновки. Алгоритм на основі методу еліпсоїдів дозволяє знаходити параметри лінійної регресії при довільному значенні параметра p≥1. Це дає можливість використовувати три відомих методи: метод найменших модулів, метод найменших квадратів та мінімаксний метод – як його частинні випадки. При цьому, спрямовуючи p до одиниці, можна регулювати інтенсивність ігнорування аномальних спостережень, що дозволяє використовувати інформацію з зовнішніх джерел (експертні оцінки, дані вимірювальних приладів, статистичні прогнози тощо) для більш адекватного відновлення апрокси-муючої функції.
Ключові слова: метод еліпсоїдів, лінійна регресія, аномальні спостереження.
Цитувати так: Стовба В.О. Метод еліпсоїдів для знаходження параметрів лінійної регресії. Cybernetics and Computer Technologies. 2020. 3. С. 14–24. https://doi.org/10.34229/2707-451X.20.3.2
Список літератури
1. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981. 304 с.
2. Shor N.Z., Stetsyuk P.I. Constructing Utility Functions by Methods of Nondifferentiable Optimization. In: Constructing and Appling Objective Functions, Lecture Notes in Economics and Mathematical Systems. V. 510. Berlin: Springer-Verlag, 2002. P. 215–232. https://doi.org/10.1007/978-3-642-56038-5_10
3. Стецюк П.И., Колесник Ю.С., Лейбович М.М. О робастности метода наименьших модулей. Компьютерная математика. 2002. С. 114–123.
4. Стецюк П.И., Колесник Ю.С. К вопросу выбора метода аппроксимации результатов измерения. Интеллектуальные информационно-аналитические системы и комплексы. 2000. С. 62–67.
5. Стецюк П.И., Стовба В.А., Мартынюк И.С. Алгоритм метода эллипсоидов для нахождения Lp-решения системы линейных уравнений. Теорія оптимальних рішень. 2017. С. 139–146. http://dspace.nbuv.gov.ua/handle/123456789/131449
6. Шор Н.З. Метод отсечения с растяжением пространства для решения задач выпуклого программирования. Кибернетика. 1977. № 1. С. 94–95.
7. Стецюк П.И., Стовба В.А., Жмуд А.А. Метод эллипсоидов для нахождения решения переопределенной СЛАУ. Теорія оптимальних рішень. 2018. № 17. С. 115–123. http://dspace.nbuv.gov.ua/handle/123456789/144980
8. Стецюк П.И., Била Г.Д., Стовба В.А. Метод эллипсоидов для нахождения Lp-решения системы линейных уравнений. Інформатика та системні науки (ІСН-2017): матеріали VIII Всеукраїнської науково-практичної конференції за міжнародною участю. Полтава, 16–18 березня 2017 р.
9. Кларк Ф. Оптимизация и негладкий анализ. М.: Наука, 1988. 280 с.
10. Gruber J. Opening Remarks: A Retrospection over 35 Years of Work. Constructing and Appling Objective Functions, Lecture Notes in Economics and Mathematical Systems. V. 510. Berlin: Springer-Verlag, 2002. P. 3–13. https://doi.org/10.1007/978-3-642-56038-5_1
ISSN 2707-451X (Online)
ISSN 2707-4501 (Print)
Попередня | Повний текст | Наступна