ОПТИМИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ: МЕТОДЫ И ИХ СРАВНЕНИЕ НА ПРИМЕРЕ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ТЕКСТА
Аннотация
В результате исследования было разработано программное обеспечение, реализующее различные алгоритмы оптимизации нейронных сетей, позволившее провести их сравнительный анализ по качеству оптимизации. В статье подробно рассматриваются искусственные нейронные сети и методы их оптимизации: квантование, обрезка, дистилляция, разложение Такера. Описаны алгоритмы и инструменты оптимизации нейронных сетей, проведен сравнительный анализ различных методов, преимущества и недостатки, приведены расчетные значения и даны рекомендации по использованию каждого из методов. Оптимизация рассматривается на задаче классификации текстов, которые были предварительно подготовлены к обработке: извлечены признаки, выбраны и обучены модели, настроены параметры. Поставленная задача реализована при помощи технологий: языка программирования Python, фреймворка Pytorch, среды разработки Jupyter Notebook. Полученные результаты могут быть использованы в целях экономия вычислительных мощностей при сохранении качества распознавания и классификации.
Скачивания
Литература
Список литературы
Аветисян Т. В., Львович Я. Е., Преображенский А. П. Разработка подсистемы распознания сигналов сложной формы // International Journal of Advanced Studies. 2023. Т. 13, № 1. С. 102-114. https://doi.org/10.12731/2227-930X-2023-13-1-102-114
Акжолов Р.К., Верига А.В. Предобработка текста для решения задач NLP // Вестник науки. 2020. № 3 (24). C. 66-68.
Ахметзянова К.Р., Тур. А.И., Кокоулин А.Н. Оптимизация вычислений нейронной сети // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2020. № 36. С. 117-130. https://doi.org/10.15593/2224-9397/2020.4.07
Каширина И. Л., Демченко М. В. Исследование и сравнительный анализ методов оптимизации, используемых при обучении нейронных сетей // Вестник ВГУ, серия: Системный анализ и информационные технологии, 2018, № 4. С.123-132.
Копырин А. С., Макарова И. Л. Алгоритм препроцессинга и унификации временных рядов на основе машинного обучения для структурирования данных // Программные системы и вычислительные методы. 2020. № 3. С. 40-50. https://doi.org/10.7256/2454-0714.2020.3.33958
Осовский С. Нейронные сети для обработки информации. М.: Горячая линия. Телеком. 2019. 448 с.
Романов Д.Е. Нейронные сети обратного распространения ошибки // Инженерный вестник Дона. 2009. № 3 . С. 19-24.
Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. № 3 (6). С. 28-59.
Торкунова Ю.В., Коростелева Д.М., Кривоногова А.Е. Формирование цифровых навыков в электронной информационно-образовательной среде с использованием нейросетевых технологий // Современное педагогическое образование. 2020. №5. С. 107-110.
Черкасова И.С. Оптимизация гиперпараметров нейронной сети и снижение вычислительных затрат // E-Scio. 2022. https://e-scio.ru/wp-content/uploads/2022/03/%D0%A7%D0%B5%D1%80%D0%BA%D0%B0%D1%81%D0%BE%D0%B2%D0%B0-%D0%98.-%D0%A1.pdf (дата обращения: 13.04.2023).
Ященко А.В., Беликов А.В., Петерсон М.В. Дистилляция нейросетевых моделей для детектирования и описания ключевых точек изображений // Научно-технический вестник информационных технологий, механики и оптики. 2020. № 3. С. 402-409.
A White Paper on Neural Network Quantization. https://doi.org/10.48550/arXiv.2106.08295
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks. https://doi.org/10.48550/arXiv.1903.12136
Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar. Spectral Learning on Matrices and Tensors // Foundations and Trends R in Machine Learning, 2019. Vol. 12, No. 5-6. P. 393–536. https://doi.org/10.1561/2200000057
Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition. https://arxiv.org/pdf/1609.09230.pdf (дата обращения: 20.05.2023)
References
Avetisyan T. V., L’vovich Ya. E. International Journal of Advanced Studies, 2023, vol. 13, no. 1, pp. 102-114. https://doi.org/10.12731/2227-930X-2023-13-1-102-114
Akzholov R.K., Veriga A.V. Vestnik nauki, 2020, no. 3 (24), pp. 66-68.
Akhmetzyanova K.R., Tur. A.I., Kokoulin A.N. Vestnik Permskogo natsional’nogo issledovatel’skogo politekhnicheskogo universiteta. Elektrotekhnika, informatsionnye tekhnologii, sistemy upravleniya, 2020, no. 36, pp. 117-130. https://doi.org/10.15593/2224-9397/2020.4.07
Kashirina I. L., Demchenko M. V. Vestnik VGU, seriya: Sistemnyy analiz i informatsionnye tekhnologii, 2018, no. 4, pp. 123-132.
Kopyrin A. S., Makarova I. L. Programmnye sistemy i vychislitel’nye metody, 2020, no. 3, pp. 40-50. https://doi.org/10.7256/2454-0714.2020.3.33958
Osovskiy S. Neyronnye seti dlya obrabotki informatsii [Neural networks for information processing]. Moscow: Hot Line. Telecom. 2019, 448 p.
Romanov D.E. Inzhenernyy vestnik Dona, 2009, no. 3, pp. 19-24.
Sozykin A.V. Vestnik YuUrGU. Seriya: Vychislitel’naya matematika i informatika, 2017, no. 3 (6), pp. 28-59.
Torkunova Yu.V., Korosteleva D.M., Krivonogova A.E. Sovremennoe pedagogicheskoe obrazovanie, 2020, no. 5, pp. 107-110.
Cherkasova I.S. E-Scio, 2022. https://e-scio.ru/wp-content/uploads/2022/03/%D0%A7%D0%B5%D1%80%D0%BA%D0%B0%D1%81%D0%BE%D0%B2%D0%B0-%D0%98.-%D0%A1.pdf
Yashchenko A.V., Belikov A.V., Peterson M.V. Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki, 2020, no. 3, pp. 402-409.
A White Paper on Neural Network Quantization. https://doi.org/10.48550/arXiv.2106.08295
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks. https://doi.org/10.48550/arXiv.1903.12136
Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar. Spectral Learning on Matrices and Tensors. Foundations and Trends R in Machine Learning, 2019, vol. 12, no. 5-6, pp. 393–536. https://doi.org/10.1561/2200000057
Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition. https://arxiv.org/pdf/1609.09230.pdf
Просмотров аннотации: 45 Загрузок PDF: 25
Copyright (c) 2024 Julia V. Torkunova, Danila V. Milovanov
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
