2022, випуск 2, c. 58-66

Одержано 14.09.2022; Виправлено 22.09.2022; Прийнято 29.09.2022

Надруковано 30.09.2022; Вперше Online 05.10.2022

https://doi.org/10.34229/2707-451X.22.2.6

Попередня  |  ПОВНИЙ ТЕКСТ  |  Наступна

 

УДК 519.6:004.8

Паралельна реалізація розріджено-розподіленої пам'яті для збереження семантики

Р.О. Вдовиченко * ORCID ID favicon Big,   В.Г. Тульчинський ORCID ID favicon Big

Інститут кібернетики імені В.М. Глушкова НАН України, Київ

* Листування: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.

 

Вступ. Розріджено-розподілена пам’ять (Sparse Distributed Memory, SDM) та бінарні розріджено-розподілені подання (Binary Sparse Distributed Representations, BSDR)  як два феноменологічні підходи до моделювання біологічної пам’яті мають багато спільних рис. Природною є ідея їх інтеграції в гібридну семантичну модель сховища з SDM як низькорівневої очищуючої пам’яті (клітин мозку) для BDR, яка використовується як кодувальник символьної інформації високого рівня. Гібридне семантичне сховище повинно мати можливість зберігати цілісні дані (наприклад, структури взаємопов’язаних і послідовних пар ключ-значення) у нейронній мережі. Подібний дизайн пропонувався кілька разів з 1990-х років. Проте запропоновані раніше моделі не є практичними через недостатню масштабованість та/або низьку щільність зберігання. Розрив між SDM і BDR можна заповнити за допомогою результатів третьої теорії, що стосується розріджених сигналів: Compressive Sensing або Sampling (CS). В цій статті ми зосереджуємось на високоефективній паралельній реалізації гібридної моделі пам’яті CS-SDM для графічних прискорювачів на платформі NVIDIA CUDA, аналізуємо обчислювальну складність операцій CS-SDM для випадку паралельної реалізації, пропонуємо оптимізаційні техніки для проведення експериментів із великими послідовними пакетами векторів.

Мета роботи. Запропонувати ефективну програмну реалізацію розріджено-розподіленої пам’яті для збереження семантики на сучасних графічних прискорювачах.

Результати. Запропановано паралельні алгоритми операцій CS-SDM, оцінено їх обчислювальну складність, наведено паралельну реалізацію гібридного семантичного сховища CS-SDM. Запропоновано оптимізацію відновлення векторів для експериментів із послідовними пакетами даних.

Висновки. Отримані результати показують, що конструкція CS-SDM є природно-паралельною і відповідає за будовою своїх алгоримів архітектурі систем з масивним паралелізмом. Проведені експерименти показали високу продуктивність розробленої реалізації блоку SDM.

 

Ключові слова: GPU, CUDA, нейронна мережа, розріджено-розподілена пам’ять, асоціативна пам’ять, Compressive Sensing.

 

Цитувати так: Вдовиченко Р.О., Тульчинський В.Г. Паралельна реалізація розріджено-розподіленої пам'яті для збереження семантики. Cybernetics and Computer Technologies. 2022. 2. С. 58–66. https://doi.org/10.34229/2707-451X.22.2.6

 

Список літератури

           1.     Kanerva P. Sparse Distributed Memory. Cambridge, MA: MIT Press, 1988. 180 p. https://isbnsearch.org/isbn/9780262111324

           2.     Jaeckel L.A. An Alternative Design for a Sparse Distributed Memory : Report RIACS TR 89.28 / Research Institute for Advanced Computer Science, NASA Ames Research Center. 1989. https://ntrs.nasa.gov/citations/19920001073

           3.     Albus J.S. A theory of cerebellar functions. Mathematical Biosciences. 1971. 10 (1-2). P. 25–61.
https://doi.org/10.1016/0025-5564(71)90051-4

           4.     Smith D.J., Forrest S., Perelson A.S. Immunological memory is associative. Artificial Immune Systems and Their Applications / Dasgupta, D. (eds). Berlin, Heidelberg: Springer, 1999. P. 105–112.
https://doi.org/10.1007/978-3-642-59901-9_6

           5.     Sjödin G. The Sparchunk Code: A method to build higher-level structures in a sparsely encoded SDM. IJCNN/WCCI’98: Proceedings of IEEE International Joint Conference on Neural Networks. London: Springer, 1998. P. 50–58. https://doi.org/10.1109/IJCNN.1998.685982

           6.     Rachkovskij D.A., Kussul E.M. Binding and normalization of binary sparse distributed representations by context-dependent thinning. Neural Comput. 2001. 13 (2). P. 411–452. https://doi.org/10.1162/089976601300014592

           7.     Schlegel K., Neubert P., Protzel, P. A comparison of vector symbolic architectures. Artif Intell Rev. 2022. 55. P. 4523–4555. https://doi.org/10.1007/s10462-021-10110-3

           8.     Gayler R.W. Vector symbolic architectures are a viable alternative for Jackendoff's challenges. Behavioral and Brain Sciences. 2006. 29 (1). P. 78–79. https://doi.org/10.1017/S0140525X06309028

           9.     Candès E.J., Romberg J., Tao T. Stable signal recovery from incomplete and inaccurate measurements. Comm. Pure Appl. Math. 2006. 59 (8). P. 1207–1223. https://doi.org/10.1002/cpa.20124

       10.     Candès E.J., Wakin M.B. An introduction to compressive sampling. IEEE Signal Process. Mag. 2008. 25 (2). P. 21–30. https://doi.org/10.1109/MSP.2007.914731

       11.     Vdovychenko R., Tulchinsky V. Increasing the Semantic Storage Density of Sparse Distributed Memory. Cybernetics and Systems Analysis. 2022. 58 (3). P. 331–342. https://doi.org/10.1007/s10559-022-00465-y

       12.     Vdovychenko R., Tulchinsky V. Sparse Distributed Memory for Binary Sparse Distributed Representations. ACM International Conference Proceeding Series (ICMLT’2022: 7th International Conference on Machine Learning Technologies). 2022. P. 266–270. https://doi.org/10.1145/3529399.3529441

       13.     Needell D., Tropp J.A. CoSaMP: Iterative signal recovery from incomplete and inaccurate samples. Applied and Computational Harmonic Analysis. 2008. 26 (3). P. 301–321. https://doi.org/10.1016/j.acha.2008.07.002

       14.     Dantzig G.B. Linear programming and extensions. Princeton, NJ: Princeton University Press. 1963. 656 р.
https://doi.org/10.7249/R366

       15.     Virmaux A. CoSaMP implementation in Python/NumPy. 2017.
https://github.com/avirmaux/CoSaMP/blob/master/cosamp.ipynb (дата звернення: 14.09.2022).

       16.     Virtanen P., Gommers R., Oliphant T.E. et al. SciPy 1.0: fundamental algorithms for scientific computing in Python. Nature Methods. 2020. 17 (3). P. 261–272. https://doi.org/10.1038/s41592-019-0686-2

       17.     Bland R.G. New finite pivoting rules for the simplex method. Mathematics of Operations Research. 1977. 2 (2). P. 103–107. https://doi.org/10.1287/moor.2.2.103

       18.     Andersen E.D., Andersen K.D. The Mosek Interior Point Optimizer for Linear Programming: An Implementation of the Homogeneous Algorithm. High Performance Optimization, Applied Optimization, / Frenk, H., Roos, K., Terlaky, T., Zhang, S. (eds). Boston, MA: Springer, 2000. 33. P. 197–232. https://doi.org/10.1007/978-1-4757-3216-0_8

       19.     Huangfu Q., Hall J.A. Parallelizing the dual revised simplex method. Mathematical Programming Computation. 2018. 10 (1). P. 119–142. https://doi.org/10.1007/s12532-017-0130-5

 

 

ISSN 2707-451X (Online)

ISSN 2707-4501 (Print)

Попередня  |  ПОВНИЙ ТЕКСТ  |  Наступна

 

 

            Випуски

 

© Вебсайт та оформлення. 2019-2024,

Інститут кібернетики імені В.М. Глушкова НАН України,

Національна академія наук України.