2025 №3(68)

Содержание

1. Алеева В. Н., Сапожников А. С. Эффективная реализация алгоритмов обучения нейронных сетей с помощью Q-детерминанта.

2. Рахмани Д., Байбара Б. В., Тетов С. Г. Уязвимости больших языковых моделей: анализ и методы защиты.

3. Малышкин В. Э., Перепелкин В. А., Нуштаев Ю.Ю. Уменьшение накладных расходов на вызов модулей в автоматически конструируемых программах на основе концепции активных знаний.

4. Бобохонов А., Хурамов Л., Рашидов А. Выявление кожных заболеваний по изображениям с использованием методов машинного обучения и глубокого обучения.

5. Юртин A. А. Метод прогнозирования ошибки времени обучения нейросетевых моделей восстановления многомерных временных рядов.

В. Н. Алеева, А. С. Сапожников

Южно-Уральский государственный университет (НИУ) 454080, Челябинск, Россия

ЭФФЕКТИВНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ С ПОМОЩЬЮ КОНЦЕПЦИИ Q-ДЕТЕРМИНАНТА

УДК 004.021, 004.032.24, 004.051, 004.272

В статье впервые рассматривается эффективная реализация с помощью концепции Q-детерминанта алгоритмов обучения нейронных сетей. Для эффективной реализации алгоритмов применяется метод проектирования Q-эффективных программ, использующих ресурс параллелизма реализуемых ими алгоритмов полностью. Применение метода показано на примере алгоритмов, выполняющих часто используемые методы стохастического градиентного спуска и обратного распространения ошибки. Для этих алгоритмов разработаны Q-эффективные программы для общей и распределенной памяти параллельных вычислительных систем. С помощью вычислительных экспериментов выполнена оценка ускорения и эффективности разработанных программ. Вычислительные эксперименты проводились на суперкомпьютере «Торнадо» Южно-Уральского государственного университета.
Ключевые слова: обучение нейронных сетей, метод стохастического градиентного спуска, метод обратного распространения ошибки, Q-детерминант алгоритма, Q-эффективная реализация алгоритма, Q-эффективная программа.

Список литературы: 

1. Алеева В.Н. Анализ параллельных численных алгоритмов. Препринт № 590. Новосибирск: ВЦ СО АН СССР, 1985. 23 с.

2. Valentina Aleeva, Rifkhat Aleev. Investigation and Implementation of Parallelism Resources of Numerical Algorithms // ACM Transactions on Parallel Computing. 2023. Vol. 10. N 2, Articlenumber 8. P. 1–64. DOI: 10.1145/3583755.

3. Ершов Ю.Л., Палютин Е. А. Математическая логика. М.: Наука, 1987. 336 с.

4. Aleeva V.N. Improving Parallel Computing Efficiency // Proceedings — 2020 Global Smart Industry Conference, GloSIC 2020. IEEE. 2020. P. 113–120. Article number 9267828. DOI: 10.1109/GloSIC50886.2020.9267828.

5. Aleeva V. Designing a Parallel Programs on the Base of the Conception of Q-Determinant// Supercomputing. RuSCDays 2018. Communications in Computer and Information Science. 2019.V. 965. P. 565–577. DOI: 10.1007/978-3-030-05807-4_48.

6. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2018. 652 с.

7. Nielsen M. A. Neural Networks and Deep Learning [Электронный ресурс]: http://neuralnetworksanddeeplearning.com/chap2.html. Дата обращения: 11.02.2025.

8. Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. СПб.: Питер, 2018.480 с.

9. Суперкомпьютер «Торнадо ЮУрГУ». [Электронный ресурс]: http://supercomputer.susu.ru/computers/tornado/. Дата обращения: 11.02.2025.

10. Открытая энциклопедия свойств алгоритмов. [Электронный ресурс]: https://algowikiproject.org/ru. Дата обращения: 11.02.2025.

Библиографическая ссылка: http://problem-info.sscc.ru/ru/node/128#1

Д. Рахмани, Б. В. Байбара, С. Г. Тетов

Московский Технический Университет Связи и Информатики, 111024, Москва, Россия

УЯЗВИМОСТИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ: АНАЛИЗ И МЕТОДЫ ЗАЩИТЫ

УДК 004.89:004.056

В статье рассматриваются ключевые уязвимости, связанные с использованием больших языковых моделей (LLM) в корпоративной среде. В последние годы LLM находят широкое применение в различных сферах, включая клиентскую поддержку, маркетинг, анализ данных и автоматизацию бизнес-процессов. Однако их интеграция сопровождается значительными рисками для информационной безопасности, включая утечки конфиденциальных данных, компрометацию систем и генерацию вредоносного контента.
В работе анализируются три наиболее критические уязвимости: промпт-инъекции, атаки на цепочку поставок и отравление данных. Для каждой из них приведены формальные модели, примеры эксплуатации и возможные стратегии защиты. Особое внимание уделяется методам предотвращения атак, включая валидацию пользовательского ввода, контроль зависимостей и мониторинг аномалий в поведении модели.
Исследование показывает, что, несмотря на активное развитие механизмов защиты, уязвимости в LLM остаются серьезной угрозой, требующей дальнейшего изучения и разработки новых методов противодействия.
Ключевые слова: LLM, искусственный интеллект, промпт-инъекция, атака на цепочку поставок, отравление данных.

Список литературы:

1. Large Language Model Statistics And Numbers (2025) // springsapps [Электрон. Рес.]: https://springsapps.com/knowledge/large-language-model-statistics-and-nu... (дата обращения: 09.04.2025).

2. HiddenLayer AI Threat Landscape Report Reveals AI Breaches on the Rise; Security Gaps & Unclear Ownership Afflict Teams// PR Newswire [Электрон. Рес.]: https://www.prnewswire.com/news-releases/hiddenlayer-ai-threat-landscape-report-reveals-ai-breaches-on-therise-security-gaps-\/-unclear-ownership-afflict-teams-302390746.html (дата обращения: 09.04.2025).

3. Large language model // wikipedia [Электрон. Рес.]: https://en.wikipedia.org/wiki/Large\_language\_model (дата обращения: 09.04.2025).

4. What are large language models (LLMs)? // ibm.com [Электрон. Рес.]: https://www.ibm.com/think/topics/large-language-models (дата обращения: 09.04.2025).

5. LLM в бизнесе: варианты использования больших языковых моделей // napoleonit [Электрон. Рес.]: https://napoleonit.ru/blog/llm-v-biznese-varianty-ispolzovaniya-bolshihy... (дата обращения: 09.04.2025).

6. Обзор по LLM // habr [Электрон. Рес.]: https://habr.com/ru/companies/tensor/articles/790984/ (дата обращения: 09.04.2025).

7. Understanding Encoder And Decoder LLMs // Ahead of AI [Электрон. Рес.]: https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder (дата обращения: 09.04.2025).

8. OWASP Top 10 for LLM Applications 2025 // OWASP [Электрон. Рес.]: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/ (дата обращения: 09.04.2025).

9. Universal and Transferable Adversarial Attacks on Aligned Language Models // arXiv [Электрон. Рес.]: https://arxiv.org/abs/2307.15043 (дата обращения:09.04.2025).

10. Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices // arXiv [Электрон. Рес.]: https://arxiv.org/abs/2403.12503(дата обращения: 09.04.2025).

11. Knowledge Return Oriented Prompting (KROP) // arXiv [Электрон. Рес.]: https://arxiv. org/abs/2406.11880 (дата обращения: 09.04.2025).

12. From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy // arXiv [Электрон. Рес.]: https://arxiv.org/abs/2307.00691 (дата обращения: 09.04.2025).

13. ATLAS Matrix // MITRE ATLAS [Электрон. Рес.]: https://atlas.mitre.org/matrices/ATLAS (дата обращения: 09.04.2025).

14. Безопасность приложений больших языковых моделей (LLM, GenAI) // habr [Электрон. Рес.]: https://habr.com/ru/articles/843434/ (дата обращения: 09.04.2025).

15. Large Language Model Supply Chain: Open Problems From the Security Perspective // arXiv [Электрон. Рес.]: https://arxiv.org/pdf/2411.01604 (дата обращения: 09.04.2025).

16. Use of Obfuscated Beacons in “pymafka” Supply Chain Attack Signals a New Trend in macOS Attack TTPs // SentinelLabs [Электрон. Рес.]: https://www.sentinelone.com/labs/useof-obfuscated-beacons-in-pymafka-sup... (дата обращения: 09.04.2025).

17. New “pymafka” malicious package drops Cobalt Strike on macOS, Windows, Linux // sonatype [Электрон. Рес.]: https://www.sonatype.com/blog/new-pymafka-malicious-packagedrops-cobalt-... (дата обращения: 09.04.2025).

18. Google представила SLSA, решение для борьбы с атаками на supply chain // habr [Электрон. Рес.]: https://habr.com/ru/news/564140/ (дата обращения: 09.04.2025).

19. Machine Learning Security against Data Poisoning: Are We There Yet? // arXiv [Электрон. Рес.]: https://arxiv.org/abs/2204.05986 (дата обращения: 09.04.2025).

20. Never a dill moment: Exploiting machine learning pickle files // arXiv [Электрон. Рес.]: https://blog.trailofbits.com/2021/03/15/never-a-dill-moment-exploiting-machinelearning- pickle-files/ (дата обращения: 09.04.2025)

21. pickle // python docs [Электрон. Рес.]: https://docs.python.org/3/library/pickle.html. (дата обращения: 09.04.2025).

Библиографическая ссылка: http://problem-info.sscc.ru/ru/node/128#2

В. Э. Малышкин, В. А. Перепелкин, Ю.Ю. Нуштаев*,**, ***

*Институт вычислительной математики и математической геофизики СО РАН, 630090, Новосибирск, Россия
**Новосибирский национальный исследовательский государственный университет, 630090, Новосибирск, Россия
***Новосибирский государственный технический университет, 630073, Новосибирск, Россия

УМЕНЬШЕНИЕ НАКЛАДНЫХ РАСХОДОВ НА ВЫЗОВ МОДУЛЕЙ В АВТОМАТИЧЕСКИ КОНСТРУИРУЕМЫХ ПРОГРАММАХ НА ОСНОВЕ КОНЦЕПЦИИ АКТИВНЫХ ЗНАНИЙ

УДК 004.4'242

Одной из проблем, возникающих при автоматическом конструировании параллельных программ, является проблема уменьшения «межмодульного трения» — накладных расходов на взаимодействие структурных элементов конструируемой программы (вызов подпрограмм, передачу аргументов, создание необходимого исполнительного окружения и т. п.). Эти накладные расходы в конструируемой программе существенно влияют на ее эффективность (время выполнения, расход памяти, нагрузка на сеть и т. п.). Возможности системы автоматического конструирования программ во многом зависят от модели вычислений, лежащей в основе ее входного языка. В статье этот вопрос рассматривается с позиций концепции активных знаний — методологии автоматизации конструирования программ в конкретных предметных областях. В частности, на примере задачи обработки сейсмических данных показывается, как на основе концепции активных знаний могут быть уменьшены накладные расходы на вызов модулей и автоматически реализованы такие техники оптимизации конструируемой программы как «монолитизация» — объединение нескольких структурных элементов программы в один с соответствующим снижением накладных расходов — за счет наличия формального описания свойств структурных элементов программы и машинно-ориентированного описания особенностей предметной области в виде базы активных знаний.
Ключевые слова: параллельное программирование, активные знания, системы автоматического конструирования программ, вычислительные модели, сейсмические сигналы.

Список литературы:

1. Kale L. V., Krishnan S. Charm++ a portable concurrent object oriented system based on C++ // Proceedings of the eighth annual conference on Object-oriented programming systems, languages, and applications. 1993. С. 91–108.

2. Charm++. Parallel Computer Network [Электронный ресурс]: http://charmplusplus.org/ (дата обращения: 01.05.2025).

3. OpenCL [Электронный ресурс]: https://www.khronos.org/opencl/ (дата обращения: 01.05.2025).

4. Coarray Fortran [Электронный ресурс] : [сайт]. URL: http://caf.rice.edu (дата обращения: 01.05.2025).

5. Reid J. Coarrays in the next fortran standard // ACM SIGPLAN Fortran Forum. New York, NY, USA ACM, 2010. Т. 29. № 2. С. 10–27.

6. DVM — система разработки параллельных программ [Электронный ресурс]: http://dvmsystem.org/ru/about/ (дата обращения: 01.05.2025).

7. В. А. Бахтин [и др.]. Расширение DVM-модели параллельного программирования для кластеров с гетерогенными узлами // Вестник Южно-Уральского университета. Челябинск: Издательский центрЮУрГУ, 2012. Серия: Математическое моделирование и программирование. № 18(277). Выпуск 12. C. 82–92.

8. Kataev N., Kolganov A. The experience of using DVM and SAPFOR systems in semi automatic parallelization of an application for 3D modeling in geophysics // The Journal of Supercomputing. 2019. Т. 75. № 12. С. 7833–7843.

9. Малышкин В. Э., Перепелкин В. А. Построение баз активных знаний для автоматического конструирования решений прикладных задач на основе системы LuNA // Параллельные вычислительные технологии — XVIII всероссийская научная конференция с международным участием, ПаВТ’2024, г. Челябинск, 2–4 апреля 2024 г. Короткие статьи и описания плакатов. Челябинск: Издательский центр ЮУрГУ, 2024. С. 57–68.

10. Victor Malyshkin. Active Knowledge, LuNA and Literacy for Oncoming Centuries. In Essays Dedicated to Pierpaolo Degano on Programming Languages with Applications to Biology and Security. V. 9465. Springer-Verlag, Berlin, Heidelberg, 2015. P. 292–303.

11. Синтез параллельных программ и систем на вычислительных моделях / В. А. Вальковский, В. Э. Малышкин; Отв. ред. В. Е. Котов; АН СССР, Сиб. отд-ние, ВЦ. Новосибирск: Наука. Сиб. отд-ние , 1988. 126 с.

12. Выродов А. Ю. и др. Принципы организации программно-аналитической системы для параллельной обработки сейсмических данных // Вестник СибГУТИ. 2024. Т. 18. № 2. С. 57–68.

13. Ragan-Kelley J. et al. Halide: a language and compiler for optimizing parallelism, locality, and recomputation in image processing pipelines // Acm Sigplan Notices. 2013. Т. 48. № 6. С. 519–530.

14. PLUTO [Электронный ресурс]: https://pluto-compiler.sourceforge.net/ (дата обращения: 01.03.2025).

15. Bondhugula U. et al. Automatic transformations for communication-minimized parallelization and locality optimization in the polyhedral model // Compiler Construction: 17th International Conference, CC 2008, Held as Part of the Joint European Conferences on Theory and Practice of Software, ETAPS 2008, Budapest, Hungary, March 29-April 6, 2008. Proceedings 17. Springer Berlin Heidelberg, 2008. С. 132–146.

16. Bondhugula U. et al. A practical automatic polyhedral parallelizer and locality optimizer // Proceedings of the 29th ACM SIGPLAN Conference on Programming Language Design and Implementation. 2008. С. 101–113.

17. Polyhedral Compilation [Электронный ресурс]: http://polyhedral.info/ (дата обращения: 01.03.2025).

18. Malyshkin V. E., Perepelkin V. A. LuNA fragmented programming system, main functions and peculiarities of run-time subsystem // International Conference on Parallel Computing Technologies. Berlin, Heidelberg Springer Berlin Heidelberg, 2011. С. 53–61.

19. Малышкин В. Э., Перепелкин В. А. Определение понятия программы // .Проблемы информатики., 2024, № 2, С. 16–31.

20. CUDA Graphs [Электронный ресурс]: https://developer.nvidia.com/blog/cuda-graphs/ (дата обращения: 01.05.2025).

21. NVIDIA. cuFFT Library [Электронный ресурс]: https://docs.nvidia.com/cuda/cufft/index.html (дата обращения: 01.05.2025).

22. OpenMP [Электронный ресурс]: http://www.openmp.org/ (дата обращения: 01.03.2025).

23. NVIDIA CUDA [Электронный ресурс]: https://developer.nvidia.com/cuda-toolkit (дата обращения: 01.05.2025).

24. Malyshkin V. Active Knowledge, LuNA and Literacy for Oncoming Centuries // In Essays Dedicated to Pierpaolo Degano on Programming Languages with Applications to Biology and Security. V. 9465. Springer-Verlag, Berlin, Heidelberg, 2015. С. 292–303.

Библиографическая ссылка: http://problem-info.sscc.ru/ru/node/128#3

А. Бобохонов, Л. Хурамов, А. Рашидов

Самаркандский государственный университет им. Ш. Рашидова Самарканд, Узбекистан

ВЫЯВЛЕНИЕ КОЖНЫХ ЗАБОЛЕВАНИЙ ПО ИЗОБРАЖЕНИЯМ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ И ГЛУБОКОГО ОБУЧЕНИЯ

УДК 004.9

В настоящее время одним из важнейших методов, требующих изучения, является классификация кожных заболеваний на основе автоматизированных систем, работающих с медицинскими изображениями, полученными с поверхности пораженной кожи. Кожные заболевания представляют собой глобальную проблему здравоохранения: их распространённость ежегодно увеличивается, создавая серьезную угрозу жизни и здоровью миллионов людей. Ранняя диагностика играет ключевую роль в предотвращении прогрессирования болезни и ее осложнений. Сегодня ведется большое количество исследований, направленных на выявление кожных заболеваний на начальных стадиях, и предлагаются различные решения. Одним из наиболее перспективных подходов, предложенных учёными, является использование интеллектуальных систем для классификации заболеваний по медицинским изображениям. В данной работе были проанализированы методы, модели и алгоритмы автоматической классификации кожных заболеваний на основе машинного обучения (ML) и глубокого обучения (DL). Также были изучены методы предварительной обработки медицинских изображений, позволяющие повысить точность и скорость работы моделей. В ходе анализа сопоставлены результаты предыдущих исследований и оценена точность предложенных в них моделей, а также подготовлены сравнительные таблицы для использования в будущих научных работах. Цель исследования — восполнить существующий пробел в области применения ML и DL для классификации кожных заболеваний. Полученные выводы помогут исследователям разрабатывать более эффективные решения, выявлять текущие проблемы и учитывать новейшие достижения в данной сфере.
Ключевые слова: кожные заболевания, медицинские изображения, предварительная обработка изображений, сегментация, классификация, машинное обучение, глубокое обучение.

Список литературы:

1. Burden of skin disease. [Electron. Res.]: https://www.aad.org/member/clinical-quality/clinical-care/bsd.

2. Skin conditions by the numbers. [Electron. Res.]: https://www.aad.org/media/stats-numbers.

3. Rahman Attar et al. Reliable Detection of Eczema Areas for Fully Automated Assessment of Eczema Severity from Digital Camera Images. [Electron. Res.]: https://doi.org/10.1016/j.xjidi. 2023.100213.

4. Elisabeth V. Goessinger et al. Image-Based AI in Psoriasis Assessment: The Beginning of a New Diagnostic Era? // AJCD 2024. [Electron. Res.]: https://doi.org/10.1007/s40257-024-00883-y.

5. Kimberley Yu, BA et al. “Machine Learning Applications in the Evaluation and Management of Psoriasis: A Systematic Review” 2020, DOI: 10.1177/2475530320950267.

6. Cort’es Verd’u R. et al. Prevalence of systemic lupus erythematosus in Spain: Higher than previously reported in other countries // Rheumatology. 2020, N 59, P. 2556–2562.

7. Iciar Usategui et al. Systemic Lupus Erythematosus: How Machine Learning Can Help Distinguish between Infections and Flares // Bioengineering. 2024, N 11(1), 90; [Electron. Res.]: https://doi.org/10.3390/bioengineering11010090.

8. Basal Cell Carcinoma Treatment in India. [Electron. Res.]: https://bit.ly/3Ybz4Aj.

9. Squamous cell carcinoma of the skin. [Electron. Res.]: https://mayocl.in/4f5yhbd.

10. Bhagyasri M., et al. Study on machine learning and deep learning methods for cancer detection // J. Image Process AI . 2018. Vol. 4.

11. Kuldeep Vayadande et al. Innovative approaches for skin disease identification in machine learning: A comprehensive study // Oral Oncology Reports. June 2024. Volume 10, 100365.

12. Nisar H., et al. Automatic segmentation and classification of eczema skin lesions using supervised learning, 2020; 10.1109/ICOS50156.2020.9293657.

13. Jagdish M., et al. Advance study of skin diseases detection using image processing methods // NVEO 2022, Vol. 9, N 1, [Electron. Res.]: https://www.cabidigitallibrary.org/doi/full/10.5555/20220157042.

14. AlDera S. A., Othman M. T. B. A Model for Classification and Diagnosis of Skin Disease using Machine Learning and Image Processing Techniques // IJACSA. 2022. Vol. 13, N 5.

15. Qays Hatem Mustafa. Skin lesion classification system using a K nearest neighbor algorithm // HVCI, Biomedicine, and Art. 2022. 5:7. [Electron. Res.]: https://doi.org/10.1186/s42492-022-00103-6.

16. Souza Jhonatan et al. Automatic Detection of Lupus Butterfly Malar Rash Based on Transfer Learning. [Electron. Res.]: https://sol.sbc.org.br/index.php/wvc/article/download/13499/13347/.

17. Bandyopadhyay Samir et al. Machine Learning and Deep Learning Integration for Skin Diseases Prediction // IJETT ISSN. 11–18, February, 2022. Vol. 70. Issue 2. P. 2231–5381.

18. Laura K Ferris et al. Computer-aided classification of melanocytic lesions using dermoscopic images // J. Am Acad Dermatol. Nov. 2015; 73(5):769-76.

19. What is Normalization in Machine Learning? A Comprehensive Guide to Data Rescaling. [Electron. Res.]: https://www.datacamp.com/tutorial/normalization-in-machine-learning.

20. Normalization: The First Step in Image Prep. [Electron. Res.]: https://www.linkedin.com/pulse/normalization-first-step-image-preprocess....

21. Manoj Diwakar, Manoj Kumar. A review on CT image noise and its denoising // Biomedical Signal Processing and Control. 2018. N 42. P. 73–88.

22. Patil R. et al. Medical Image Denoising Techniques: A Review. 2022. Volume 4, Issue 1.

23. Edge Detection in Image Proc.: An Introduction. [Electron. Res.]: https://blog.roboflow.com/edge-detection/.

24. Lakshmanan B. et al. Stain removal through color normalization of haematoxylin and eosin images: a review // Journal of Physics: Conference Series. 2019. 1362.

25. Different Morphological Operations in Image Processing. [Electron. Res.]: https://www.geeksforgeeks.org/different-morphological-operations-in-imag....

26. Zhe Zhu. Change detection using landsat time series: A review of frequencies, preprocessing, algorithms, and applications // ISPRS 2017. [Electron. Res.]: https://doi.org/10.1016/j.isprsjprs.2017.06.013.

27. Mostafiz Ahammed, Md. et al. A machine learning approach for skin disease detection and classification using image segmentation, HA. [Electron. Res.]: https://doi.org/10.1016/j.health.2022.100122.

28. Krishna M., Monika, N. et al. Skin cancer detection and classification using machine learning.2020. Volume 33, Part 7. [Electron. Res.]: https://doi.org/10.1016/j.matpr.2020.07.366.

29. Vidya M., et. al. Skin Cancer Detection using Machine Learning Techniques // 2020 IEEE (CONECCT) 10.1109/CONECCT50063.2020.9198489.

30. Maurya R et al. Skin cancer detection through attention guided dual autoencoder approach with ELM // Sci. Rep. 2024. 14(1):17785. [Electron. Res.]: https://doi.org/10.1038/s41598-024-68749-1.

31. Keerthana D et al. Hybrid convolutional neural networks with SVM classifier for classification of skin cancer // Biomed. 2023. [Electron. Res.]: https://doi.org/10.1016/j.bea.2022.100069.

32. Shuchi Bhadula, et al. Machine Learning Algorithms based Skin Disease Detection // IJITEE. 2019. Vol. 9 Iss. 2. [Electron. Res.]: https://www.researchgate.net/publication/341371302_MLSDD.

33. Hameed N., et al. A Computer-Aided diagnosis system for classifying prominent skin lesions using machine learning. 2019, DOI: 10.1109/CEEC.2018.8674183.

34. Koklu M. et al. Skin Lesion Classification using Machine Learning Algorithms // Int. J. Intell. Syst. Appl. Eng., 2017. Vol. 4, N 5, P. 285–289, DOI: 10.18201/ijisae.2017534420.

35. Chen Yin et al. Non-invasive prediction of the chronic degree of lupus nephropathy based on ultrasound radiomics // Sage Journals Home. 2023. Volume 33, Issue 2.

36. Parvathaneni Naga Srinivasu et al. Classification of Skin Disease Using Deep Learning Neural Networks with MobileNet V2 and LSTM // Sensors (Basel). 2021 Apr 18; 21(8):2852.

37. Yaseliani Mohammad et al. Diagnostic clinical decision support based on deep learning and knowledge-based systems for psoriasis: From diagnosis to treatment options // Computers & Industrial Engineering. January 2024, Vol. 187, 109754.

38. Jothimani Subramani et al. Gene-Based Predictive Modelling for Enhanced Detection of SLE Using CNN-Based DL Algorithm // Diagnostics, 2024. Vol. 14, Iss. 13.

39. Syed Inthiyaz et al. Skin disease detection using deep learning // Advances in Engineering Software. January 2023. Vol. 175.

40. Himanshu K. Gajera et al. A comprehensive analysis of dermoscopy images for melanoma detection via deep CNN features // BSPC. January 2023. Vol. 79, Part 2.

41. Reza Ahmadi Mehr, Ali Ameri. Skin Cancer Detection Based on Deep Learning // Journal of Biomedical Physics and Engineering. December 2022. Vol. 12, Iss. 6, 55, P. 559–568.

42. Jahin Alam Md. et al. S2C-DeLeNet: A parameter transfer based segmentation-classification integration for detecting skin cancer lesions from dermoscopic images // Computers in Biology and Medicine. November 2022, Vol. 150.

43. Hammad Mohamed et al. Enhanced Deep Learning Approach for Accurate Eczema and Psoriasis Skin Detection // Sensors. 2023, 23, 7295. [Electron. Res.]: https://doi.org/10.3390/s23167295.

44. Rai H. M. et al. Computational Intelligence Transforming Healthcare 4.0: Innovations in Medical Image Analysis through AI and IoT Integration // DDDSSIHC. 2025. Chap.3, P. 15, CRC Press. [Electron. Res.]: https://doi.org/10.1201/9781003507505.

45. Bobokhonov A., Xuramov L., Rashidov A. Tibbiy tasvirlar asosida teri kasalliklarini samarali tasniflash usullari // Digital Transformation and AI, 3(3), 128–139 [Electron. Res.]: https://dtai.tsue.uz/index.php/dtai/article/view/v3i319.

Библиографическая ссылка: http://problem-info.sscc.ru/ru/node/128#4

A. А. Юртин

Южно-Уральский государственный университет (НИУ) 454080, Челябинск, Россия

МЕТОД ПРОГНОЗИРОВАНИЯ ОШИБКИ ВРЕМЕНИ ОБУЧЕНИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ВОССТАНОВЛЕНИЯ МНОГОМЕРНЫХ ВРЕМЕННЫХ РЯДОВ

УДК 04.032.26, 004.048

В статье представлен нейросетевой метод tsGAP2, предназначенный для прогнозирования ошибки и времени обучения нейросетевых моделей восстановления пропущенных значений в многомерных временных рядах. Входными данными метода является нейросетевая модель, представленная в виде ориентированного ациклического графа, в которой узлы соответствуют слоям, а дуги — связи между ними. Метод предполагает использование трех компонентов: Автоэнкодера, который преобразует графовое представление модели в компактное векторное, Энкодера, кодирующего гиперпараметры и характеристики вычислительного устройства, и Агрегатора, объединяющего векторные представления и формирующего прогноз. Обучение нейросетевой модели tsGAP2 осуществляется с использованием составной ошибки, представляющей собой взвешенную сумму нескольких компонент. Каждая компонента оценивает различные аспекты выхода модели tsGAP2, включая корректность декодированной из векторного представления нейросетевой модели, прогноз ошибки и времени ее обучения. Для исследования было сформировано пространство поиска, включающее 200 различных архитектур. Во время экспериментов было выполнено 12 000 запусков обучения на временных рядах из различных предметных областей. Результаты экспериментов показывают, что предложенный метод обеспечивает высокую точность прогнозирования ошибки целевой модели: средняя ошибка по мере SMAPE составляет 4.4 %, что значительно превосходит существующие альтернативные подходы, демонстрирующие ошибку в среднем на уровне 27.6 %. Средняя ошибка прогноза времени составила 8.8 %, что значительно превосходит существующие альтернативные подходы, демонстрирующие ошибку, равную 61.6 %.
Ключевые сֿлова: временные ряды, восстановление пропущенных значений, нейросетевые модели, автоэнкодер, графовые нейронные сети, механизм внимания, время обучения, ошибка, поиск архитектуры нейросетей.

Список литературы:

1. Aydin S. Time series analysis and some applications in medical research // Journal of Mathematics and Statistics Studies. 2022. V. 3. N 2. P. 31–36. DOI: 10.32996/JMSS.

2. Voevodin V. V., Stefanov K. S. Development of a portable software solution for monitoring and analyzing the performance of supercomputer applications // Numerical Methods and Programming. 2023. V. 24. P. 24–36. DOI: 10.26089/NumMet.v24r103.

3. Kumar S., Tiwari P., Zymbler M. L. Internet of Things is a revolutionary approach for future technology enhancement: a review // Journal of Big Data. 2019. V. 6. Art. 111. DOI: 10.1186/S40537-019-0268-2.

4. Gromov V. A., Lukyanchenko P. P., Beschastnov Yu. N., Tomashchuk K. K. Time Series Structure Analysis of the Number of Law Cases // Proceedings in Cybernetics. 2022. N 4 (48). P. 37–48.

5. Kazijevs M., Samad M. D. Deep imputation of missing values in time series health data: A review with benchmarking // J. Biomed. Informatics. 2023. V. 144. P. 104440. DOI: 10.1016/J.JBI.2023.104440.

6. Elsken T., Metzen J. H., Hutter F. Neural Architecture Search: A Survey // J. Mach. Learn. Res. 2019. V. 20. N 55. P. 1–21. [Electron. res.]: https://jmlr.org/papers/v20/18-598.html.

7. Wozniak A. P., Milczarek M., Wozniak J. MLOps Components, Tools, Process, and Metrics: A Systematic Literature Review // IEEE Access. 2025. V. 13. P. 22166–22175. DOI: 10.1109/ACCESS.2025.3534990.

8. Weights & Biases: Machine learning experiment tracking, dataset versioning, and model management. [El. Res.]: https://wandb.ai/. Access date: 2025-06-11.

9. Bergstra J., Bengio Y. Random search for hyper-parameter optimization // J. Mach. Learn. Res. 2012. V. 13. P. 281–305.

10. Dong X., Yang Y. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search // 8th Int. Conf. on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26–30, 2020. [Electron. res.]: https://openreview.net/forum?id=HJxyZkBKDr.

11. Ding Y., Huang Z., Shou X., Guo Y., Sun Y., Gao J. Architecture-Aware Learning Curve Extrapolation via Graph Ordinary Differential Equation // AAAI-25, Sponsored by the Association for the Advancement of Artificial Intelligence, Feb. 25 — Mar. 4, 2025, Philadelphia, PA, USA / ed. by T. Walsh, J. Shah, Z. Kolter. AAAI Press, 2025. P. 16289–16297. DOI: 10.1609/AAAI.V39I15.33789.

12. timeseries Graph Attention Performance Predict. [El. Res.]: https://gitverse.ru/yurtinaa/tsGAP2. Access date: 2025-05-03.

13. Gawlikowski J., Tassi C. R. N., Ali M., Lee J., Humt M., Feng J., Kruspe A., Triebel R., Jung P., Roscher R., Shahzad M., Yang W., Bamler R., Zhu X. X. A survey of uncertainty in deep neural networks // Artif. Intell. Rev. 2023. V. 56. N 1. P. 1513–1589. ISSN: 1573–7462. DOI: 10.1007/s10462-023-10562-9.

14. Zela A., Siems J. N., Zimmer L., Lukasik J., Keuper M., Hutter F. Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks // The Tenth Int. Conf. on Learning Representations, ICLR 2022, Virtual Event, April 25–29, 2022. [Electron. res.]: https://openreview.net/forum?id=OnpFa95RVqs.

15. Titsias M. Variational Learning of Inducing Variables in Sparse Gaussian Processes // Proc. of the Twelfth Int. Conf. on Artificial Intelligence and Statistics. / ed. by D. van Dyk, M. Welling. Hilton Clearwater Beach Resort, Clearwater Beach, Florida, USA: PMLR, 16–18 Apr. 2009. V. 5. P. 567–574. [Electron. res.]: https://proceedings.mlr.press/v5/titsias09a.html.

16. Ying C., Klein A., Christiansen E., Real E., Murphy K., Hutter F. NAS-Bench-101: Towards Reproducible Neural Architecture Search // Proc. of the 36th Int. Conf. on Machine Learning, ICML 2019, June 9–15, Long Beach, California, USA / ed. by K. Chaudhuri, R. Salakhutdinov. PMLR, 2019. V. 97. P. 7105–7114. [Electron. res.]: http://proceedings.mlr.press/v97/ying19a.html.

17. White C., Neiswanger W., Savani Y. BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search // Thirty-Fifth AAAI Conf. on Artificial Intelligence, AAAI 2021, IAAI 2021, EAAI 2021, Virtual Event, Feb. 2–9, 2021. AAAI Press, 2021. P. 10293–10301. DOI: 10.1609/AAAI.V35I12.17233.

18. White C., Zela A., Ru R., Liu Y., Hutter F. How powerful are performance predictors in neural architecture search? // Adv. Neural Inf. Process. Syst. 2021. V. 34. P. 28454–28469.

19. Snoek J., Rippel O., Swersky K., Kiros R., Satish N., Sundaram N., Patwary M., Prabhat, Adams R. P. Scalable Bayesian Optimization Using Deep Neural Networks // Proc. of the 32nd Int. Conf. on Machine Learning (ICML). Lille, France: PMLR, 2015. V. 37. P. 2171–2180.

20. Springenberg J. T., Klein A., Falkner S., Hutter F. Bayesian Optimization with Robust Bayesian Neural Networks // Adv. Neural Inf. Process. Syst / ed. by D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, R. Garnett. V. 29.

21. Wu X., Zhang D., Guo C., He C., Yang B., Jensen C. S. AutoCTS: Automated Correlated Time Series Forecasting // Proc. VLDB Endow. 2021. V. 15. N 4. P. 971–983. DOI: 10.14778/3503585.3503604.

22. Wang C., Chen X., Wu C., Wang H. AutoTS: Automatic Time Series Forecasting Model Design Based on Two-Stage Pruning // arXiv preprint: abs/2203.14169. DOI: 10.48550/arXiv.2203.14169.

23. Velickovic P., Cucurull G., Casanova A., Romero A., Li‘o P., Bengio Y. Graph Attention Networks // 6th Int. Conf. on Learning Representations, ICLR 2018, Vancouver, Canada, April 30 — May 3, 2018. 2018. [Electron. res.]: https://openreview.net/forum?id=rJXMpikCZ.

24. Clevert D., Unterthiner T., Hochreiter S. Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) // 4th Int. Conf. on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2–4, 2016 / ed. by Y. Bengio, Y. LeCun. 2016. [Electron. res.]: http://arxiv.org/abs/1511.07289.

25. Hochreiter S. The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions // Int. J. Uncertain. Fuzziness Knowl. Based Syst. 1998. V. 6. N 2. P. 107–116. DOI: 10.1142/S0218488598000094.

26. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA. IEEE Computer Society. 2016. P. 770–778. DOI: 10.1109/CVPR.2016.90.

27. Srivastava N., Hinton G. E., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting // J. Mach. Learn. Res. 2014. V. 15. N 1. P. 1929–1958. DOI: 10.5555/2627435.2670313.

28. Mao A., Mohri M., Zhong Y. Cross-Entropy Loss Functions: Theoretical Analysis and Applications // Proc. of the 40th Int. Conf. on Machine Learning / ed. by A. Krause. 2023. V. 202. P. 23803–23828.

29. Huber P. J. Robust Estimation of a Location Parameter // Breakthroughs in Statistics: Methodology and Distribution / ed. by S. Kotz, N. L. Johnson. Springer New York. 1992. P. 492–518. ISBN: 978-1-4612-4380-9. DOI: 10.1007/978-1-4612-4380-9_35.

30. Bilenko R. V., Dolganina N.Yu., Ivanova E. V., Rekachinsky A. I. High-performance Computing Resources of South Ural State University // Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2022. V. 11. N1. P. 15–30. DOI: 10.14529/cmse220102.

31. BundesAmt Fur Umwelt — Swiss Federal Office for the Environment. [El. Res.]: https://www.hydrodaten.admin.ch/. Access date: 2025-05-03.

32. Trindade A., “Electricity Load Diagrams 2011–2014,” UCI Machine Learning Repository (2015) [El. Res.]: https://doi.org/10.24432/C58C86. Access date: 2023-05-03.

33. Lozano A. C., Li H., Niculescu-Mizil A., Liu Y., Perlich C., Hosking J. R. M., Abe N. Spatialtemporal causal modeling for climate change attribution // Proc. of the 15th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, Paris, France, June 28 — July 1, 2009 / ed. by J. F. Elder IV, F. Fogelman-Souli’e, P. A. Flach, M. J. Zaki. — ACM, 2009. P. 587–596. DOI: 10.1145/1557019.1557086.

34. Laňa I., Olabarrieta I., V’elez M., Del Ser J. On the imputation of missing data for road traffic forecasting: New insights and novel techniques // Transp. Res. Part C: Emerg. Technol. 2018. V. 90. P. 18–33. DOI: 10.1016/j.trc.2018.02.021.

35. Sheppy M., Beach A., Pless S. NREL RSF Measured Data 2011. [El. Res.]: https://data.openei.org/submissions/358. Access date: 2023-09-03.

36. Snytnikov A. V., Ezrokh Yu. S. Solving Vlasov Equation with Neural Networks // Lobachevskii Journal of Mathematics. 2024. V. 45. P. 3416–3423.

Библиографическая ссылка: http://problem-info.sscc.ru/ru/node/128#5