ketendoКлиническая и экспериментальная тиреоидологияClinical and experimental thyroidology1995-54722310-3787Endocrinology Research Centre10.14341/ket12757ketendo-12757Research ArticleОригинальные исследованияOriginal StudiesИсследование применения нейросетевых моделей в классификации узлов щитовидной железы по категориям EU-TIRADS для персонализации ультразвуковой диагностики щитовидной железыInvestigation of neural network models application in EU-TIRADS thyroid nodules classification for personalization of thyroid gland ultrasound diagnostichttps://orcid.org/0009-0004-0764-8165ЦыгулеваК. В.TsygulevaK. V.

Цыгулева Ксения Владимировна 

Москва

Kseniya V. Tsyguleva 

 

k151201@yandex.ruhttps://orcid.org/0009-0005-8718-8468ЛожкинИ. А.LozhkinI. A.

Ложкин Илья Александрович 

Москва

 Ilya A. Lozhkin 

 Moscow 

ilya.lojckin@yandex.ruhttps://orcid.org/0009-0008-0952-2944КоролевД. В.KorolevD. V.

Королев Денис Вячеславович 

Москва

Denis V. Korolev 

 Moscow 

newmancu@gmail.comhttps://orcid.org/0000-0002-0566-7379ЗайцевК. С.ZajcevK. S.

Зайцев Константин Сергеевич, д.т.н.

Москва

Konstantin S. Zajtsev, PhD 

 Moscow 

KSZajtsev@mephi.ruДунаевМ. Е.DunaevM. E.

 Дунаев Максим Евгеньевич 

Москва

Maxim E. Dunaev 

Moscow 

max.dunaev@mail.ruhttps://orcid.org/0000-0002-1129-7220ГармашА. А.GarmashA. A.

Гармаш Александр Александрович, к.т.н. 

Москва

Alexandr A. Garmash, PhD 

 Moscow 

AAGarmash@mephi.ruhttps://orcid.org/0009-0003-8035-676XМанаевА. В.ManaevA. V.

Манаев Алмаз Вадимович 

Москва

 Almaz V. Manaev 

 Moscow 

a.manaew2016@yandex.ruhttps://orcid.org/0000-0001-6059-2827ЗахароваС. М.ZaharovaS. M.

Захарова Светлана Михайловна, к.м.н. 

Москва

Svetlana M. Zakharova, MD, PhD 

 Moscow 

smzakharova@mail.ruhttps://orcid.org/0000-0001-5592-4727ТрухинА. А.TrukhinA. A.

Трухин Алексей Андреевич, к.т.н.

117036 Москва, ул. Дм. Ульянова, д. 11, к. 2

Alexey A. Trukhin, PhD 

11 bld 2, Dm. Ulyanova street, 117036 Moscow, Russia 

Alexey.trukhin12@gmail.comhttps://orcid.org/0000-0002-8520-8702ТрошинаЕ. А.TroshinaE. A.

Трошина Екатерина Анатольевна, д.м.н., профессор, член-корр. РАН 

Москва

Ekaterina A. Troshina, MD, PhD, Professor 

 Moscow 

troshina@inbox.ruНациональный исследовательский ядерный университет «МИФИ»РоссияNational Research Nuclear University «MEPhI» (Moscow Engineering Physics Institute)Russian FederationНациональный исследовательский ядерный университет «МИФИ»РоссияNational Research Nuclear University «MEPhI» (Moscow Engineering Physics Institute); Endocrinology Research CentreRussian FederationНациональный медицинский исследовательский центр эндокринологииРоссияEndocrinology Research CentreRussian FederationНациональный исследовательский ядерный университет «МИФИ»; Национальный медицинский исследовательский центр эндокринологииРоссияNational Research Nuclear University «MEPhI» (Moscow Engineering Physics Institute); Endocrinology Research CentreRussian Federation202312092023191411Copyright © Цыгулева К.В., Ложкин И.А., Королев Д.В., Зайцев К.С., Дунаев М.Е., Гармаш А.А., Манаев А.В., Захарова С.М., Трухин А.А., Трошина Е.А., 20232023Цыгулева К.В., Ложкин И.А., Королев Д.В., Зайцев К.С., Дунаев М.Е., Гармаш А.А., Манаев А.В., Захарова С.М., Трухин А.А., Трошина Е.А.Tsyguleva K.V., Lozhkin I.A., Korolev D.V., Zajcev K.S., Dunaev M.E., Garmash A.A., Manaev A.V., Zaharova S.M., Trukhin A.A., Troshina E.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.cet-endojournals.ru/jour/article/view/12757

ОБОСНОВАНИЕ. Известно, что около 69% всех узлов щитовидной железы, подвергшихся хирургическому лечению, представляют собой доброкачественные образования, а до 75% пациентов с промежуточным цитологическим заключением подвергаются ненужному хирургическому вмешательству. Это позволяет предположить, что повышение качества дифференциальной диагностики узловых образований позволит избежать избыточных экономических затрат для системы здравоохранения. В связи с этим встал вопрос о привлечении технологий искусственного интеллекта в диагностические алгоритмы классификации узловых образований щитовидной железы.ЦЕЛЬ. Повышение эффективности автоматической классификации узловых образований щитовидной железы на ультразвуковых изображениях за счет использования набора нейросетевых моделей.МАТЕРИАЛЫ И МЕТОДЫ. В работе использовались ультразвуковые изображения узловых образований щитовидной железы, доступные в открытых источниках и полученные при помощи 3 ультразвуковых аппаратов ГНЦ РФ ФГБУ «НМИЦ эндокринологии» Минздрава России в рамках реализации проекта №22-15-00135 гранта Российского научного фонда. В работе исследована гипотеза о том, что объем обучающей выборки не может быть увеличен за счет повторения схожих изображений из ультразвуковой кинопетли одного пациента, а только благодаря расширению датасета новыми уникальными экземплярами других пациентов и/или данными процесса аугментации.РЕЗУЛЬТАТЫ. В результате предложена нейросетевая модель EfficientNet-B6 для решения задачи классификации по EU-TIRADS узловых образований щитовидной железы по ее ультразвуковым изображениям.ЗАКЛЮЧЕНИЕ. Полученные результаты позволяют продвинуться в вопросах использования методов искусственного интеллекта для персонализированной медицины при заболеваниях щитовидной железы.

SUBSTANTIATION. It is known that about 69% of all thyroid nodules undergoing surgical treatment are benign formations, and up to 75% of patients with an intermediate cytological conclusion undergo unnecessary surgical intervention. This suggests that improving the quality of differential diagnosis of nodular formations will avoid excessive economic costs for the healthcare system. In this regard, AI technologies in diagnostic algorithms for the classification of thyroid nodules were involved.AIM. Improving the efficiency of automatic classification of thyroid nodules on ultrasound images by using a set of neural network models.MATERIALS AND METHODS. We used ultrasound images of thyroid nodules available in open sources and obtained with the help of 3 ultrasound devices of Endocrinology Research Centre as part of Project № 22-15-00135 of the grant of the Russian Science Foundation. This article check the hypothesis that the size of the training set cannot be increased by repeating similar images from the ultrasound cine loop of one patient, but only by expanding the dataset with new unique specimens of other patients and/or data from the augmentation process.RESULTS. As a result, a neural network model EfficientNet-B6 was proposed to solve the problem of EU-TIRADS classification of thyroid nodules based on ultrasound images of the thyroid gland.CONCLUSION. The results obtained allow us to advance in the use of artificial intelligence methods for personalized medicine in thyroid diseases.

персонализированная медицинащитовидная железаультразвуковая визуализацияобнаружениесегментацияклассификация EU-TIRADSнейронные сетимашинное обучениеpersonalized medicinethyroid glandultrasound examinationdetectionsegmentationEU-TIRADS classificationneural networksmachine learningМатериал подготовлен по гранту Российского научного фонда в рамках реализации проекта №22-15-00135 «Научное обоснование, разработка и внедрение новых технологий диагностики коморбидных йододефицитных и аутоиммунных заболеваний щитовидной железы с использованием возможностей искусственного интеллекта».ReferencesBrockwell PJ, Davis RA. Introduction to time series and forecasting. New York: Springer; 2016.Brockwell PJ, Davis RA. Introduction to time series and forecasting. New York: Springer; 2016.Aldweesh A, Derhab A, Emam AZ. Deep learning approaches for anomaly-based intrusion detection systems: A survey, taxonomy, and open issues. Knowledge-Based Syst. 2020;(189):105124. doi: https://doi.org/10.1016/j.knosys.2019.105124Aldweesh A, Derhab A, Emam AZ. Deep learning approaches for anomaly-based intrusion detection systems: A survey, taxonomy, and open issues. Knowledge-Based Syst. 2020;(189):105124. doi: https://doi.org/10.1016/j.knosys.2019.105124Chen J, You H, Li K. A review of thyroid gland segmentation and thyroid nodule segmentation methods for medical ultrasound images. Comput Methods Programs Biomed. 2020;(185):105329. doi: https://doi.org/10.1016/j.cmpb.2020.105329Chen J, You H, Li K. A review of thyroid gland segmentation and thyroid nodule segmentation methods for medical ultrasound images. Comput Methods Programs Biomed. 2020;(185):105329. doi: https://doi.org/10.1016/j.cmpb.2020.105329Deng P, Han X, Wei X, Chang L. Automatic classification of thyroid nodules in ultrasound images using a multi-task attention network guided by clinical knowledge. Comput Biol Med. 2022;(150):106172. doi: https://doi.org/10.1016/j.compbiomed.2022.106172Deng P, Han X, Wei X, Chang L. Automatic classification of thyroid nodules in ultrasound images using a multi-task attention network guided by clinical knowledge. Comput Biol Med. 2022;(150):106172. doi: https://doi.org/10.1016/j.compbiomed.2022.106172Zhang X, Lee VC, Rong J, et al. Deep convolutional neural networks in thyroid disease detection: A multi-classification comparison by ultrasonography and computed tomography. Comput Methods Programs Biomed. 2022;(220):106823. doi: https://doi.org/10.1016/j.cmpb.2022.106823Zhang X, Lee VC, Rong J, et al. Deep convolutional neural networks in thyroid disease detection: A multi-classification comparison by ultrasonography and computed tomography. Comput Methods Programs Biomed. 2022;(220):106823. doi: https://doi.org/10.1016/j.cmpb.2022.106823Sharifi Y, Bakhshali MA, Dehghani T, et al. Deep learning on ultrasound images of thyroid nodules. Biocybern Biomed Eng. 2021;41(2):636-655. doi: https://doi.org/10.1016/j.bbe.2021.02.008Sharifi Y, Bakhshali MA, Dehghani T, et al. Deep learning on ultrasound images of thyroid nodules. Biocybern Biomed Eng. 2021;41(2):636-655. doi: https://doi.org/10.1016/j.bbe.2021.02.008Tessler FN, Middleton WD, Grant EG. Thyroid Imaging Reporting and Data System (TI-RADS): A user’s guide. Radiology. 2018;287(1):29-36. doi: https://doi.org/10.1148/radiol.2017171240Tessler FN, Middleton WD, Grant EG. Thyroid Imaging Reporting and Data System (TI-RADS): A user’s guide. Radiology. 2018;287(1):29-36. doi: https://doi.org/10.1148/radiol.2017171240Redmon J, Divvala S, Girshick R, et al. You only look once: unified, realtime object detection. Nucl Instruments Methods Phys Res Sect A Accel Spectrometers, Detect Assoc Equip. 2015 [cited 15.08.2023]. Available from: http://arxiv.org/abs/1506.02640Redmon J, Divvala S, Girshick R, et al. You only look once: unified, realtime object detection. Nucl Instruments Methods Phys Res Sect A Accel Spectrometers, Detect Assoc Equip. 2015 [cited 15.08.2023]. Available from: http://arxiv.org/abs/1506.02640Chen LC, Papandreou G, Kokkinos I, et al. Rethinking Atrous Convolution for Semantic Image Segmentation Liang-Chieh. IEEE Trans Pattern Anal Mach Intell. 2018 [cited 15.08.2023]. Available from: http://arxiv.org/abs/1706.05587Chen LC, Papandreou G, Kokkinos I, et al. Rethinking Atrous Convolution for Semantic Image Segmentation Liang-Chieh. IEEE Trans Pattern Anal Mach Intell. 2018 [cited 15.08.2023]. Available from: http://arxiv.org/abs/1706.05587Maharana K, Mondal S, Nemade B. A review: Data pre-processing and data augmentation techniques. Glob Transitions Proc. 2022;3(1):91-99. doi: https://doi.org/10.1016/j.gltp.2022.04.020Maharana K, Mondal S, Nemade B. A review: Data pre-processing and data augmentation techniques. Glob Transitions Proc. 2022;3(1):91-99. doi: https://doi.org/10.1016/j.gltp.2022.04.020Nalepa J, Marcinkiewicz M, Kawulok M. Data augmentation for braintumor segmentation: A review. Front Comput Neurosci. 2019;(13). doi: https://doi.org/10.3389/fncom.2019.00083Nalepa J, Marcinkiewicz M, Kawulok M. Data augmentation for braintumor segmentation: A review. Front Comput Neurosci. 2019;(13). doi: https://doi.org/10.3389/fncom.2019.00083Chlap P, Min H, Vandenberg N, et al. A review of medical image data augmentation techniques for deep learning applications. J Med Imaging Radiat Oncol. 2021;65(5):545-563. doi: https://doi.org/10.1111/1754-9485.13261Chlap P, Min H, Vandenberg N, et al. A review of medical image data augmentation techniques for deep learning applications. J Med Imaging Radiat Oncol. 2021;65(5):545-563. doi: https://doi.org/10.1111/1754-9485.13261Hoar D, Lee PQ, Guida A, et al. Combined transfer learning and testtime augmentation improves convolutional neural network-based semantic segmentation of prostate cancer from multi-parametric MR images. Comput Methods Programs Biomed. 2021;(210):106375. doi: https://doi.org/10.1016/j.cmpb.2021.106375Hoar D, Lee PQ, Guida A, et al. Combined transfer learning and testtime augmentation improves convolutional neural network-based semantic segmentation of prostate cancer from multi-parametric MR images. Comput Methods Programs Biomed. 2021;(210):106375. doi: https://doi.org/10.1016/j.cmpb.2021.106375Image Test Time Augmentation with PyTorch [Internet]. TTAch [cited 01.03.2023]. Available from: https://github.com/qubvel/ttachImage Test Time Augmentation with PyTorch [Internet]. TTAch [cited 01.03.2023]. Available from: https://github.com/qubvel/ttachDocumentation of the imgaug library for image augmentation [Internet] [cited 01.03.2023]. Available from: https://imgaug.readthedocs.io/en/latest/, freeDocumentation of the imgaug library for image augmentation [Internet] [cited 01.03.2023]. Available from: https://imgaug.readthedocs.io/en/latest/, freeHussain Z, Gimenez F, Yi D, Rubin D. Differential data augmentation techniques for medical imaging classification tasks. AMIA . Annu Symp proceedings AMIA Symp. 2017. P. 979-984.Hussain Z, Gimenez F, Yi D, Rubin D. Differential data augmentation techniques for medical imaging classification tasks. AMIA . Annu Symp proceedings AMIA Symp. 2017. P. 979-984.Chen Y, Yang X-H, Wei Z, et al. Generative Adversarial Networks in Medical Image augmentation: A review. Comput Biol Med. 2022;144:105382. doi: https://doi.org/10.1016/j.compbiomed.2022.105382Chen Y, Yang X-H, Wei Z, et al. Generative Adversarial Networks in Medical Image augmentation: A review. Comput Biol Med. 2022;144:105382. doi: https://doi.org/10.1016/j.compbiomed.2022.105382Shi G, Wang J, Qiang Y, et al. Knowledge-guided synthetic medical image adversarial augmentation for ultrasonography thyroid nodule classification. Comput Methods Programs Biomed. 2020;(196):105611. doi: https://doi.org/10.1016/j.cmpb.2020.105611Shi G, Wang J, Qiang Y, et al. Knowledge-guided synthetic medical image adversarial augmentation for ultrasonography thyroid nodule classification. Comput Methods Programs Biomed. 2020;(196):105611. doi: https://doi.org/10.1016/j.cmpb.2020.105611Neurohive [Internet]. ResNet (34, 50, 101): «остаточные» CNN для классификации изображений. Доступно по: https://neurohive.io/ru/vidy-nejrosetej/resnet-34-50-101/. Ссылка активна на 01.03.2023.Neurohive [Internet]. ResNet (34, 50, 101): «остаточные» CNN для классификации изображений. Доступно по: https://neurohive.io/ru/vidy-nejrosetej/resnet-34-50-101/. Ссылка активна на 01.03.2023.ResNet [Internet]. PyTorch Documentation [cited 01.03.2023]. Available from: https://pytorch.org/vision/stable/models/resnet.htmlResNet [Internet]. PyTorch Documentation [cited 01.03.2023]. Available from: https://pytorch.org/vision/stable/models/resnet.htmlTan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks. In: 36th International Conference on Machine Learning, ICML 2019; 2019.Tan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks. In: 36th International Conference on Machine Learning, ICML 2019; 2019.EfficientNet [Internet]. PyTorch Documentation [cited 01.03.2023]. Available from: https://pytorch.org/vision/stable/models/efficientnet.htmlEfficientNet [Internet]. PyTorch Documentation [cited 01.03.2023]. Available from: https://pytorch.org/vision/stable/models/efficientnet.htmlLudwig M, Ludwig B, Mikuła A, et al. The use of artificial intelligence in the diagnosis and classification of thyroid nodules: An update. Cancers (Basel). 2023;15(3):708. doi: https://doi.org/10.3390/cancers15030708Ludwig M, Ludwig B, Mikuła A, et al. The use of artificial intelligence in the diagnosis and classification of thyroid nodules: An update. Cancers (Basel). 2023;15(3):708. doi: https://doi.org/10.3390/cancers15030708

The authors declare that there are no conflicts of interest present.