Применение алгоритма стаи серых волков и нейронных сетей для решения дискретных задач

Актуальность. В последние десятилетия метаэвристические методы оптимизации стали популярными для решения сложных задач, требующих поиска глобальных экстремумов. Алгоритмы, такие как генетический алгоритм (GA), оптимизация колоний муравьев (ACO), оптимизация роя частиц (PSO), а также более современные подходы, как алгоритм кошачьей стаи (CSO) и оптимизация стаи серых волков (GWO), демонстрируют высокую эффективность, но их применение зачастую ограничивается условиями непрерывности и дифференцируемости целевых функций. Это представляет собой вызов при решении задач с дискретными данными, где такие требования не соблюдаются. В данном контексте особую актуальность приобретает поиск методов, позволяющих адаптировать метаэвристические алгоритмы для работы с дискретными функциями.

Цель исследования направлена на проверку гипотезы о возможности использования нейронной сети, обученной на ограниченном наборе дискретных данных, в качестве аппроксимации функции, достаточной для корректного выполнения алгоритма GWO при поиске глобального минимума.

Методы. Исследование основано на анализе существующих подходов и экспериментальной проверке гипотезы на двух тестовых функциях: линейной функции и функции Бута, которые широко применяются в качестве стандартов для оценки производительности алгоритмов оптимизации. Для получения результатов проведены численные эксперименты с использованием нейронных сетей в качестве аппроксимирующей модели.

Решение. В ходе экспериментов проведен анализ применимости нейронных сетей для аппроксимации дискретных функций, показавший успешность данного подхода. Было установлено, что нейронные сети могут с высокой точностью аппроксимировать дискретные функции, создавая условия для успешного поиска глобального минимума с использованием алгоритма GWO.

Новизна. Впервые предложена и проверена гипотеза о применении нейронных сетей для аппроксимации целевых функций в задачах метаэвристической оптимизации на дискретных данных. Это направление ранее не получило должного освещения в научной литературе, что придает ценность полученным результатам и подтверждает эффективность предложенного подхода.

Значимость. Результаты исследования открывают новые перспективы для применения алгоритмов, таких как GWO, в задачах оптимизации, основанных на дискретных данных, расширяя возможности метаэвристических методов и способствуя их внедрению в более широкий класс прикладных задач, включая задачи, где применение других методов ограничено.

1. Bonabeau E., Dorigo M., Theraulaz G. Swarm Intelligence: From Natural to Artificial Systems. 1999. DOI:10.1093/oso/ 9780195131581.001.0001

2. Dorigo M., Birattari M., Stutzle T. Ant colony optimization // IEEE Computational Intelligence Magazine. 2006. Vol. 1. Iss. 4. PP. 28‒39. DOI:10.1109/MCI.2006.329691

3. Kennedy J., Eberhart R. Particle swarm optimization // Proceedings of the International Conference on Neural Networks (Perth, Australia, 27 November ‒ 01 December 1995). IEEE, 1995. PP. 1942‒1948. DOI:10.1109/ICNN.1995.488968

4. Chu S.C, Tsai P.W, Pan J.S. Cat Swarm Optimization // Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence (Guilin, China, 7‒11 August 2006). Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2006. Vol. 4099. PP. 854‒858. DOI:10.1007/978-3-540-36668-3_94

5. Johnson J.M., Rahmat-Samii Y. Genetic algorithm optimization and its application to antenna design // Proceedings of IEEE Antennas and Propagation Society International Symposium and URSI National Radio Science Meeting (Seattle, USA, 20‒24 June 1994). IEEE, 1994. Vol. 1. PP. 326‒329. DOI:10.1109/APS.1994.407746

6. Afshar A., Massoumi F., Afshar A., Mariño M.A. State of the Art Review of Ant Colony Optimization Applications in Water Resource Management // Water Resources Management. 2015. Vol. 29. PP. 3891‒3904. DOI:10.1007/s11269-015-1016-9

7. Parsopoulos K.E., Vrahatis M.N. Particle swarm optimization and intelligence: advances and applications. Advances and applications. Information Science Reference. 2010. 328 p. DOI:10.13140/2.1.3681.1206

8. Mirjalili S., Mirjalili S.M., Lewis A. Grey wolf optimizer // Advances in Engineering Software. 2014. Vol. 69. PP. 46‒61 DOI:10.1016/j.advengsoft.2013.12.007

9. Mittal N., Singh U., Sohi B. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 7950348. DOI:10.1155/2016/7950348

10. Mirjalili S., Saremi S.M., Mirjalili L.D., Coelho S. Multi-objective grey wolf optimizer: A novel algorithm for multicriterion optimization // Expert Systems with Applications. 2016. Vol. 47. PP. 106‒119. DOI:10.1016/j.eswa.2015.10.039

11. Hu P., Pan J.S., Chu S.C. Improved Binary Grey Wolf Optimizer and Its application for feature selection // Knowledge-Based Systems. 2020. Vol. 195. P. 105746. DOI:10.1016/j.knosys.2020.105746

12. Vozmilov A., Andreev L., Lisov A. Development of an Algorithm for the Program to Recognize Defects on the Surface of Hot-Rolled Metal // Proceedings of the International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM, Sochi, Russian Federation, 16‒20 May 2022). IEEE, 2022. PP. 1004‒1008. DOI:10.1109/ICIEAM54945.2022.9787116

13. Лисов А.А. Разработка системы электронного дифференциала для электромобилей на основе нейросети глубокого обучения // Инновационные транспортные системы и технологии. 2024. Т. 10. № 3. С. 351‒367. DOI:10.17816/transsyst634127. EDN:DFDXJO

14. Лисов А.А., Кулганатов А.З., Панишев С.А. Акустическое обнаружение транспортных средств аварийных служб с использованием сверхточных нейронных сетей // Инновационные транспортные системы и технологии. 2023. Т. 9. № 1. C. 95‒107. DOI:10.17816/transsyst20239195-107. EDN:MAGRJH

15. Возмилов А.Г., Лисов А.А., Урманов В.Г., Синева Г. Н. Определение вида заболеваний, поражающих листья картофеля, с использованием алгоритмов машинного обучения // Вестник НГИЭИ. 2023. № 3(142). С. 7–16. DOI:10.24412/2227-9407-2023-3-7-16. EDN:BXWBRC

16. Emary E., Zawbaa H.M., Grosan C., Hassenian A.E. Feature Subset Selection Approach by Gray-Wolf Optimization // Proceedings of the First International Afro-European Conference for Industrial Advancement (AECIA, Belfast, UK, 2‒4 September 2024). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 334. PP. 1‒13. DOI:10.1007/978-3-319-13572-4_1

17. Emary E., Zawbaa H.M., Hassanien A.E. Binary grey wolf optimization approaches for feature selection // Neurocomputing. 2016. Vol. 172. PP. 371–381. DOI:10.1016/j.neucom.2015.06.083

18. Vosooghifard M., Ebrahimpour H. Applying Grey Wolf Optimizer-based decision tree classifer for cancer classification on gene expression data // Proceedings of the International Conference on Computer and Knowledge Engineering (ICCKE, Mashhad, Iran, 29 October 2015). IEEE, 2015. PP. 147–151. DOI:10.1109/ICCKE.2015.7365818

19. Yamany W., Emary E., Hassanien A.E. New Rough Set Attribute Reduction Algorithm Based on Grey Wolf Optimization // Proceedings of the 1st International Conference on Advanced Intelligent System and Informatics (AISI, 28–30 November 2015, Beni Suef, Egypt). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 407. PP. 241–251. DOI:10.1007/978-3-319-26690-9_22

20. Mirjalili S. How effective is the Grey Wolf optimizer in training multi-layer perceptrons // Applied Intelligence. 2015. Vol. 43. PP. 150‒161. DOI:10.1007/s10489-014-0645-7

21. Mosavi M.R., Khishe M., Ghamgosar A. Classification of sonar data set using neural network trained by gray wolf optimization // Neural Network World. 2016. Vol. 26. Iss. 4. PP. 393‒415. DOI:10.14311/NNW.2016.26.023

22. Muangkote N., Sunat K., Chiewchanwattana S. An improved grey wolf optimizer for training q-Gaussian Radial Basis Functional-link nets // Proceedings of the International Computer Science and Engineering Conference (ICSEC, Khon Kaen, Thailand, 30 July ‒ 01 August 2014). IEEE, 2014. PP. 209–214. DOI:10.1109/ICSEC.2014.6978196

23. Vapnik V. The nature of statistical learning theory. New York: Springer, 2015.

24. Vapnik V.N. An overview of statistical learning theory // IEEE Transactions on Neural Networks. 1999. Vol. 10. Iss. 5. PP. 988‒999. DOI:10.1109/72.788640

25. Eswaramoorthy S., Sivakumaran N., Sekaran S. Grey wolf optimization-based parameter selection for support vector machines // Compel: International journal for computation and mathematics in electrical and electronic engineering. 2016, Vol. 35. Iss. 5. PP. 1513‒1523.

26. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. Training LSSVM with GWO for price forecasting // Proceedings of the International Conference on Informatics, Electronics & Vision (ICIEV, Fukuoka, Japan, 15‒18 June 2015). IEEE, 2015. DOI:10.1109/ICIEV.2015.7334054

27. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. LS-SVM hyperparameters optimization based on GWO algorithm for time series forecasting // Proceedings of the 4th International Conference on Software Engineering and Computer Systems (ICSECS, Kuantan, Malaysia, 19‒21 August 2015). IEEE, 2015. PP. 183–188. DOI:10.1109/ICSECS.2015.7333107

28. Kumar V., Chhabra J.K., Kumar D. Grey Wolf Algorithm-Based Clustering Technique // Journal of Intelligent Systems. 2017. Vol. 26. Iss. 1. PP. 153‒168. DOI:10.1515/jisys-2014-0137

29. Zhang S., Zhou Y. Grey Wolf Optimizer Based on Powell Local Optimization Method for Clustering Analysis // Discrete Dynamics in Nature and Society. 2015. Vol. 1. P. 481360. DOI:10.1155/2015/481360

30. Dao T.K., Shieh C.S., Nguyen T.T., Wang H.Y. Enhanced Diversity Herds Grey Wolf Optimizer for Optimal Area Coverage in Wireless Sensor Networks // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 174‒182. DOI:10.1007/978-3-319-48490-7_21

31. Волков А.Н. Динамические туманные вычисления и бессерверная архитектура: на пути к зеленым ИКТ // Труды учебных заведений связи. 2024. Т. 10. № 3. С. 24‒34. DOI:10.31854/1813-324X-2024-10-3-24-34. EDN:QOELMJ

32. Abdullah H.M., Kumar A.S., Ahmed A.A., Mosleh M.A. Hybrid optimization based on spectrum aware opportunistic routing for cognitive radio ad hoc networks // Informatics and Automation. 2023. Vol. 22. Iss. 4. PP. 880‒905. DOI:10.15622/ia.22.4.7. EDN:VPRGZW

33. Li S.X., Wang, J.S. Dynamic Modeling of Steam Condenser and Design of PI Controller Based on Grey Wolf Optimizer // Mathematical Problems in Engineering. 2015. Vol. 1. P. 120975. DOI:10.1155/2015/120975

34. Yadav S., Verma S.K., Nagar S.K. Optimized PID Controller for Magnetic Levitation System // IFAC-PapersOnLine. 2016. Vol. 49. Iss. 1. PP. 778‒782. DOI:10.1016/j.ifacol.2016.03.151

35. Wong L.I., Sulaiman M.H., Mohamed M.R., Hong M.S. Grey Wolf Optimizer for Solving Economic Dispatch Problems // Proceedings of the International Conference on Power and Energy (PECon, Kuching, Malaysia, 01‒03 December 2014). IEEE, 2014. PP. 150–154. DOI:10.1109/PECON.2014.7062431

36. Song H.M., Sulaiman M.H., Mohamed M.R. An Application of Grey Wolf Optimizer for Solving Combined Economic Emission Dispatch Problems // International Review on Modelling and Simulations. 2014. Vol. 7. Iss. 5. PP. 838–844. DOI:10.15866/iremos.v7i5.2799

37. Tsai P.W., Dao T.K. Robot Path Planning Optimization Based on Multiobjective Grey Wolf Optimizer // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 166–173. DOI:10.1007/978-3-319-48490-7_20

38. Zhang S., Zhou Y., Li Z., Pan W. Grey wolf optimizer for unmanned combat aerial vehicle path planning // Advances in Engineering Software. 2016. PP. 121‒136. DOI:10.1016/j.advengsoft.2016.05.015

39. Lu C., Xiao S., Li X., Gao L. An effective multi-objective discrete grey wolf optimizer for a real-world scheduling problem in welding production // Advances in Engineering Software. 2016. Vol. 99. PP. 161‒176. DOI:10.1016/j.advengsoft. 2016.06.004

40. Mittal N., Singh U., Sohi B.S. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 4598. DOI:10.1155/2016/7950348