dtЦифровая трансформацияDigital Transformation2522-96132524-2822Educational Establishment “Belarusian State University of Informatics and Radioelectronics”dt-478Research ArticleТЕХНИЧЕСКИЕ НАУКИTECHNICAL SCIENCESВлияние гиперпараметров нейронной сети на её численную обусловленностьInfluence of the Neural Network Hyperparameters on its Numerical Conditioninghttps://orcid.org/0000-0003-0266-7135ШолтанюкС. В.SholtanyukS. V.

Ассистент кафедры компьютерных технологий и систем ФПМИ

пр. Независимости, д. 4, 220030 , г. Минск

Assistant of the Department of Computer Applications and Systems, FAMCS 

4 Independence Ave., 220030 Minsk

SSholtanyuk@bsu.byБелорусский государственный университетBelarusian State University202016042020014350Copyright © Шолтанюк С.В., 20202020Шолтанюк С.В.Sholtanyuk S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://dt.bsuir.by/jour/article/view/478

В данной работе рассмотрена задача оценивания численной обусловленности многослойного персептрона, прогнозирующего временные ряды методом скользящего окна. Рассмотрена работа прогностического персептрона при различных наборах гиперпараметров, в частности, при различном количестве нейронов на разных слоях нейронной сети, а также при использовании тех или иных функций активации. Выявлены основные факторы, влияющие на обусловленность нейронной сети, а также особенности её работы при различных функциях активации. Предложены формулы для оценки чисел обусловленности отдельных компонентов прогностического персептрона и самой нейронной сети в целом. Проведён сравнительный анализ результатов обучения прогностического персептрона при различных гиперпараметрах на примере смоделированных временных рядов. Сформулированы условия, обеспечивающие лучшую устойчивость и обусловленность нейронной сети.

In this paper, the task of assessment of numerical conditioning of multilayer perceptron, forecasting time series with sliding window method, has been considered. Performance of the forecasting perceptron with various hyperparameters sets, with different amount of neurons and various activation functions in particular, has been considered. Main factors, influencing on the neural net conditioning, have been revealed, as well as performance features, when using various activation functions. Formulas for assessment of condition numbers of individual components of the forecasting perceptron and of the neural network itself have been proposed. Comparative analysis of results of training the forecasting perceptron with various hyperparameters on modeled time series has been performed. Conditions, providing the best stability and conditioning for the neural network, have been formulated.

прогнозирование временных рядовнейронные сетиперсептрончисленная обусловленностьфункция активацииtime series forecastingneural networksperceptronnumerical conditioningactivation functionReferencesSengupta, B. How Robust are Deep Neural Networks [Electronic resource] / B. Sengupta, K.J. Friston // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1804.11313. – Date of access: 02.02.2020. – (Preprint / arXiv:1804.11313).B. Sengupta, K.J. Friston. How Robust are Deep Neural Networks? arXiv preprint arXiv:1804.11313, 2018.Godfellow, I.J. Explaining and Harnessing Adversarial Examples [Electronic resource] / I.J. Goodfellow, J. Shlens, C. Szegedy // International Conference on Learning Representations: proceedings of 3rd International Conference, San Diego, 7-9 May 2015 // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1412.6572. – Date of access: 02.02.2020. – (Preprint / arXiv:1412.6572v3).I.J. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples. International Conference on Learning Representations, arXiv:1412.6572, 2015.Maas, A.L. Rectifier Nonlinearities Improve Neural Network Acoustic Models // A.L. Maas, A.Y. Hannun, A.Y. Ng // International Conference on Machine Learning: proceedings of 30th International Conference, Atlanta, 16-21 June 2013 // Stanford Artificial Intelligence Laboratory – Mode of access: https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf. – Date of access: 02.02.2020.A.L. Maas, A.Y. Hannun, A.Y. Ng. Rectifer Nonlinearities Improve Neural Network Acoustic Models. International Conference on Machine Learning, 2013.Trefethen, L. N. Numerical Linear Algebra / L.N. Trefethen, D. Bau. – Philadelphia : Society for Industrial and Applied Mathematics, 1997. – 390 p.L. N. Trefethen, D. Bau. Numerical Linear Algebra, Philadelphia, Society for Industrial and Applied Mathematics, 1997, 390 p.Duchi, J. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization / J. Duchi, E. Hazan, Y. Singer // Journal of Machine Learning Research – 2011. – Vol. 12 – P. 2121–2159.J. Duchi, E. Hazan, Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 2011, vol. 12, pp. 2121-2159.Шолтанюк, С. В. Сравнительный анализ нейросетевой и регрессионных моделей прогнозирования временных рядов / С. В. Шолтанюк // Цифровая трансформация. – 2019. – № 2 (7). – С. 60–68.Sholtanyuk S.V. Comparative Analysis of Neural Networking and Regression Models for Time Series Forecasting. Cifrovaja transformacija [Digital transformation], 2019, 2 (7), pp. 60–68 (in Russian).

The authors declare that there are no conflicts of interest present.