Влияние гиперпараметров нейронной сети на её численную обусловленность
Аннотация
В данной работе рассмотрена задача оценивания численной обусловленности многослойного персептрона, прогнозирующего временные ряды методом скользящего окна. Рассмотрена работа прогностического персептрона при различных наборах гиперпараметров, в частности, при различном количестве нейронов на разных слоях нейронной сети, а также при использовании тех или иных функций активации. Выявлены основные факторы, влияющие на обусловленность нейронной сети, а также особенности её работы при различных функциях активации. Предложены формулы для оценки чисел обусловленности отдельных компонентов прогностического персептрона и самой нейронной сети в целом. Проведён сравнительный анализ результатов обучения прогностического персептрона при различных гиперпараметрах на примере смоделированных временных рядов. Сформулированы условия, обеспечивающие лучшую устойчивость и обусловленность нейронной сети.
Об авторе
С. В. Шолтанюк
Белорусский государственный университет
Беларусь
Беларусь
Ассистент кафедры компьютерных технологий и систем ФПМИ
пр. Независимости, д. 4, 220030 , г. Минск
Список литературы
1. Sengupta, B. How Robust are Deep Neural Networks [Electronic resource] / B. Sengupta, K.J. Friston // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1804.11313. – Date of access: 02.02.2020. – (Preprint / arXiv:1804.11313).
2. Godfellow, I.J. Explaining and Harnessing Adversarial Examples [Electronic resource] / I.J. Goodfellow, J. Shlens, C. Szegedy // International Conference on Learning Representations: proceedings of 3rd International Conference, San Diego, 7-9 May 2015 // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1412.6572. – Date of access: 02.02.2020. – (Preprint / arXiv:1412.6572v3).
3. Maas, A.L. Rectifier Nonlinearities Improve Neural Network Acoustic Models // A.L. Maas, A.Y. Hannun, A.Y. Ng // International Conference on Machine Learning: proceedings of 30th International Conference, Atlanta, 16-21 June 2013 // Stanford Artificial Intelligence Laboratory – Mode of access: https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf. – Date of access: 02.02.2020.
4. Trefethen, L. N. Numerical Linear Algebra / L.N. Trefethen, D. Bau. – Philadelphia : Society for Industrial and Applied Mathematics, 1997. – 390 p.
5. Duchi, J. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization / J. Duchi, E. Hazan, Y. Singer // Journal of Machine Learning Research – 2011. – Vol. 12 – P. 2121–2159.
6. Шолтанюк, С. В. Сравнительный анализ нейросетевой и регрессионных моделей прогнозирования временных рядов / С. В. Шолтанюк // Цифровая трансформация. – 2019. – № 2 (7). – С. 60–68.
Рецензия
Для цитирования:
Шолтанюк С.В. Влияние гиперпараметров нейронной сети на её численную обусловленность. Цифровая трансформация. 2020;(1):43-50.
For citation:
Sholtanyuk S.V. Influence of the Neural Network Hyperparameters on its Numerical Conditioning. Digital Transformation. 2020;(1):43-50. (In Russ.)
Просмотров: 767
Послать статью по эл. почте 