2020, випуск 1, c. 74-82
Одержано 08.01.2020; Виправлено 28.01.2020; Прийнято 10.03.2020
Надруковано 31.03.2020; Вперше Online 26.04.2020
https://doi.org/10.34229/2707-451X.20.1.8
Попередня | Повний текст | Наступна
ФАКТОРИ ПРОДУКТИВНОСТІ ЗАСТОСУВАННЯ МОДЕЛЕЙ ШТУЧНОГО ІНТЕЛЕКТУ У ХМАРІ З ВИКОРИСТАННЯМ GPU
В.Г.
Тульчинський 1 
, С.І. Лавренюк 1, В.Ю. Роганов 1,
П.Г. Тульчинський 1, В.В. Халімендік 1*
1 Інститут кібернетики імені В.М. Глушкова, Київ, Україна
* Листування: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.
Вступ. У роботах з машинного навчання (МН) і штучного інтелекту (ШІ) наголос зазвичай робиться на якості класифікації, або точності оцінки параметрів. Якщо увага приділяється продуктивності, то переважно також йдеться про продуктивність етапу тренування моделі. Проте з розповсюдженням застосувань ШІ в реальних прикладних задачах важливішою стає проблема забезпечення високої продуктивності обробки даних з допомогою готових натренованих моделей. За своїм характером ця проблема принципово відрізняється від проблеми тренування моделей: остання має справу з інтенсивними обчисленнями, а перша – з простими обчисленнями, але великими потоками даних (файлів), що надходять з мережі чи файлової системи на обробку. Тобто це – типова задача паралельної обробки з інтенсивним введенням–виведенням.
Додамо, що з точки зору прикладного застосування, модуль ШІ, що виконує класифікацію, оцінку, чи іншу обробку даних є «чорним ящиком»: вартість розробки і тренування моделі, як і ризики невдачі занадто високі, щоб займатися такими задачами не професійно. Тому оптимізація продуктивності насамперед передбачає підбор та балансування параметрів середовища. Хмарні системи з їх гнучкістю, керованістю і легким масштабуванням є ідеальними площадками для таких задач.
Розглянемо детальніше задачу дослідження факторів, що впливають на продуктивність на одному, але визначному прикладі класифікації вибірки з колекції зображень ImageNet [1] з допомогою нейронної мережі глибокого навчання за залишками з 50 шарами – ResNet-50 [2].
Мета статті. Експериментально дослідити фактори, що впливають на продуктивність застосування готових нейромережних моделей у хмарних системах різної архітектури з графічними прискорювачами.
Результати. Оцінені накладні видатки пов’язані з мікросервісною і розподіленою архітектурами, вплив пам’яті, мережі, розміру пакетів, синхронної і асинхронної взаємодії. Продемонстрвано складний нелінійний характер впливу параметрів системи у різних комбінаціях.
Ключові слова: машинне навчання; хмарні технології; графічні прискорювачі; GPU; системна архітектура; продуктивність.
Цитувати так: Тульчинський В.Г., Лавренюк С.І., Роганов В.Ю., Тульчинський П.Г., Халімендік В.В. Фактори продуктивності застосування моделей штучного інтелекту у хмарі з використанням GPU. Cybernetics and Computer Technologies. 2020. 1. С. 74–82. https://doi.org/10.34229/2707-451X.20.1.8
Список літератури
1. База даних зображень ImageNet. http://www.image-net.org (accessed Jan. 01, 2020).
2. He K., Zhang X, Ren S., Sun J. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE. 2016. https://arxiv.org/abs/1512.03385
3. Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M.S., Berg A.C., Li F. Imagenet large scale visual recognition challenge. Computing Research Repository (CoRR). Ithaca, NY, USA: Cornell University. 2014. https://arxiv.org/abs/1409.0575
4. Mikami H., Suganuma H., U-chupala P., Tanaka Y., Kageyama Y. Massively Distributed SGD: ImageNet/ResNet-50 Training in a Flash. Machine Learning. Ithaca, NY, USA: Cornell University. 2019. https://arxiv.org/abs/1811.05233
5. Головинський А.Л., Сергієнко І.В., Тульчинський В.Г., Маленко А.Л., Бандура О.Ю., Горенко С.О., Рога- нова О.Ю., Лаврікова О.І. Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики імені В.М. Глушкова НАН України з 2002 по 2017 рр. Кібернетика і системнийа аналіз. 2017. 4. С. 124–129. http://www.kibernetika.org/volumes/2017/numbers/04/articles/12/ArticleDetailsEU.html
6. Khalimendik V. Porosity structure prediction from conventional sonic well logs on the base of synthetic samples computed by Prodaivoda-Maslov’s method. 18th International Conference on Geoinformatics – Theoretical and Applied Aspects (Kyiv, May 2019). EAGE. 2019. https://doi.org/10.3997/2214-4609.201902061
7. Лавренюк А.М., Лавренюк С.І. Оптимізація підбору параметрів моделей для аналізу великих даних телекомунікаційної компанії. XІІІ Міжнародна науково-технічна конференція "Перспективи телекомунікацій" (ПТ-2019). К.: КПІ ім. Ігоря Сікорського. 2019. С. 230–232. http://conferenc.its.kpi.ua/2019/paper/view/15736
8. Вдовиченко Р.О. Реалізація Розріджено-розподіленої пам'яті на сучасних графічних процесорах і дослідження характеристик моделі. Комп'ютерна математика. 2019. 1. С. 77–84. http://dspace.nbuv.gov.ua/handle/123456789/161936
ISSN 2707-451X (Online)
ISSN 2707-4501 (Print)
Попередня | Повний текст | Наступна