Казахстанские ученые создают иммерсивные решения для школ, больниц и музеев

Чаще всего мы сталкиваемся с виртуальной (VR), дополненной (AR) или смешанной реальностью (MR) в компьютерных играх. Однако область применения этих технологий выходит далеко за пределы геймдева. Ученые по всему миру регулярно используют иммерсивные технологии в медицине, военной подготовке, кино и других сферах. Казахстан не исключение. В 2020 году в Международном университете информационных технологий (МУИТ) в Алматы открылась Лаборатория смешанной реальности (Mixed Reality Lab) – одна из первых организаций в Казахстане, которая начала научную деятельность в данном направлении. Сейчас в портфолио Mixed Reality Lab несколько успешных проектов для медуниверситетов, музеев и других учреждений страны, передает Liter.kz со ссылкой на digitalbusiness.

Digital Business пообщался с Даной Цой, Жигером Болатовым, Мадиной Ипалаковой и Евгенией Дайнеко – ключевыми сотрудниками лаборатории. Узнали, с чего началась история Mixed Reality Lab, над какими проектами команда работает последние несколько лет и кто финансирует исследования. Также поговорили о том, с какими проблемами сталкиваются ученые в процессе работы, где в обычной жизни можно эффективно применять технологии виртуальной и дополненной реальности и как сделать их более доступными в Казахстане.

“Решили создать тренажер для обучения студентов-хирургов”

– С чего началась история создания лаборатории?

Евгения: – В Казахстане существует система грантового финансирования от Министерства науки и высшего образования. Около 12-13 лет назад вместе с коллегой подали заявку на получение гранта для создания виртуальных лабораторий для изучения физики. Начали с обычной 2D-платформы, где студент мог на компьютере, почти как в игре, проводить физические эксперименты. На тот момент в Алматы не было ничего подобного. К этому проекту присоединился Жигер, а в 2015 году в команду пришла Дана.

Дана:– Во время учебы на бакалавриате Евгения Александровна предложила мне и еще нескольким ребятам поучаствовать в проекте. Нас освобождали от рутинных задач, поэтому с удовольствием согласилась. В этот момент начался виток развития VR-технологий: купили первые очки Oculus Rift S. После выигрывали еще несколько грантов и приобретали дополнительное оборудование.

В 2020 году, когда команда выросла, а девайсы перестали помещаться в один шкаф, образовалась лаборатория смешной реальности.

– Сейчас вы реализуете проекты в самых разных сферах, в том числе и в медицинской. Расскажите о них подробнее.

Дана: – Изначально хотели сделать инструмент для визуализации сердечных сосудов в нормальном состоянии и в патологическом. Например, при фибрилляции предсердий (распространенное нарушение ритма, характеризующееся хаотичным, очень быстрым сокращением предсердий и нерегулярным желудочковым ритмом – прим. Digital Business) или инфаркте миокарда. Выбрали это направление, так как сердечно-сосудистые заболевания – одна из главных причин смерти во всем мире, а данная операция довольно популярная. Холестерин заполняет стенки артерий, из-за этого кровь плохо циркулирует, и человек себя плохо чувствует. Это может привести к инфаркту миокарда и другим заболеваниям.

Жигер: – Создали визуализацию сердечных сосудов в нормальном и патологическом состояниях, а затем решили создать тренажер для обучения студентов-хирургов по выполнению популярных манипуляций. Оказалось, что будущие врачи не имеют доступа к подобным тренажерам: они либо присутствуют на операциях, которые проводят более опытные хирурги, либо изучают визуальный материал, а практикуются на живых людях. Чтобы это исправить, разработали тренажер по стентированию коронарных артерий (малоинвазивная операция по установке стента (металлического каркаса) в суженный сосуд для восстановления нормального кровотока – прим. Digital Business).

– Как работает тренажер?

Дана: – Он позволяет человеку запомнить последовательность выполнения операции. Правда, физического отклика, когда человек ощущает, как инструмент проходит через материал, пока нет. Это возможно реализовать, нужно просто больше времени.

– Сколько времени ушло на реализацию текущей версии?

Дана: – Проект изначально был частью моей магистерской диссертации — тогда удалось реализовать лишь небольшую его часть. Позже выиграли грант на продолжение работы, и трудились над тренажером еще три года. Помимо визуализации в виртуальной реальности, команда Жигера занималась математическим моделированием процессов.

Жигер: – Изучали, как движется кровь в разных условиях, как меняется ее состав, плотность и скорость в зависимости от состояния организма. В итоге получили симуляцию движения крови в артериях, основанную на математической модели. Одной из самых сложных задач стало моделирование пульсации кровотока, так как сердце выбрасывает кровь импульсами.

Проект оказался сложным сразу в нескольких аспектах: математические расчеты, реалистичная визуализация в VR и ограниченные вычислительные возможности устройств. В рамках грантового финансирования работа над проектом завершена, но мы продолжаем совершенствовать разработку.

“Хотели сделать музей более интересным для молодежи”

– Параллельно с медицинскими проектами вы также сотрудничаете с Музеем им. Кастеева. Что делаете для них?

Мадина: – Изначально хотели сделать музей более интересным для молодежи с помощью искусственного интеллекта и машинного обучения. Обратились к сотрудникам музея, и, получив их одобрение, начали работу. Разделили все экспонаты на 51 категорию, создали свой датасет и обучили систему распознавать предметы. Было множество попыток, ведь многие артефакты имеют уникальную форму, а некоторые находятся за стеклом – нужно было обучить программу отличать отражения от реальных вещей. В итоге удалось достичь высокой точности распознавания.

Создали мобильное приложение для посетителей музея. Сейчас в нем можно навести камеру на экспонат и прочитать информацию об авторе и о работе. Также можно посмотреть на 3D-модели некоторых экспонатов, в основном это скульптуры. Оцифровкой занимался музей, нам лишь предоставили материалы.

Жигер: Однако это только начало работы. В планах расширять функционал: добавить виртуального гида, который позволит составлять индивидуальную экскурсию по музею. Кроме того, хотим сделать озвучку с описанием экспонатов для слабовидящих людей. Еще хотим добавить элементы геймификации. Например, создать квест по поиску экспонатов музея или тематический квиз.

– Сервис уже работает?

Жигер: – Музей долгое время был закрыт на реконструкцию, однако после возобновления работы хотим протестировать систему на практике. Приложение находится на этапе рассмотрения и вскоре должно появиться в PlayMarket и AppStore.

“На профильных конференциях зачастую оказываемся единственными, кто представляет Казахстан”

– Сейчас вы развиваете две концепции: Meta University и Meta Hospital. Расскажите о них подробнее.

Мадина: – Meta University – концепция, при которой мы движемся к полноценному иммерсивному обучению. С помощью разработок нашей лаборатории стремимся внедрять технологии смешанной реальности в учебный процесс каждого студента: создаем онлайн-курсы, виртуальные тренажеры, симуляторы и т.д. Параллельно формируем базу научных знаний, благодаря которой все нововведения опираются на фундаментальные исследования и научные статьи, написанные нашими сотрудниками.

Meta Hospital подразумевает применение всех наших наработок в медицинской сфере. Например, наши коллеги создали дыхательную маску для восстановления после COVID-19 и других заболеваний и решили добавить в нее разработку элементы виртуальной реальности. Вместо скучных инструкций пациент выполняет упражнения в игровой форме: надувает виртуальный шарик, набирает баллы, проходит уровни. Это повышает мотивацию и снижает ощущение рутины.

В перспективе такие решения можно дополнить сбором данных — измерением пульса, отслеживанием ритма сердца и других параметров, чтобы врач мог дистанционно контролировать процесс восстановления. При этом технология не обязательно должна ограничиваться VR-очками: те же упражнения можно реализовать через планшет, смартфон или даже видеоформат с элементами геймификации. Главное сделать процесс понятным, интересным и мотивирующим для пациента.

– Как еще можно применять иммерсивные технологии в обычной жизни?

Евгения: – У иммерсивных технологий есть три главных направления – виртуальная, дополненная и смешанная реальности. Все в идеале стремится к смешанной реальности, когда мы в реальном физическом пространстве можем взаимодействовать с виртуальными объектами.

При этом сферы применения таких технологий самые разные: медицина, маркетинг, киноиндустрия и т.д. Можно визуализировать структуру ДНК и «погрузиться» внутрь молекулы или пройти, например, симуляцию бурения горных пород без риска для здоровья и дорогостоящих ошибок. Это особенно важно для промышленности: молодые специалисты часто не допускаются к оборудованию из-за отсутствия опыта, а промахи стоят слишком дорого.

Большое преимущество иммерсивных технологий в том, что в виртуальном пространстве можно протестировать нетипичные случаи, которые сложно встретить на практике. Например, то же самое стентирование: бывают случаи, когда у пациента заболевание протекает по редкому сценарию – и к этому тоже можно подготовиться.

– Как вы оцениваете уровень развития иммерсивных технологий в нашей стране?

Евгения: – Казахстан отстает по технологическому уровню развития в сравнении с Китаем, Южной Кореей, Японией и другими странами. Когда ездим на профильные конференции, зачастую оказываемся единственными, кто представляет Казахстан. Но у нас есть люди, которые могут двигать направление вперед, а, значит, есть потенциал. А в Атласе профессий специализации, связанные с VR и AR, обозначены как одни из самых востребованных в 2025-2027 годах.

При этом технологии становятся доступнее. Если раньше VR-очки нужно было заказывать из других стран и долго ждать доставки, то сейчас можно купить их в Алматы. И стоят они гораздо дешевле, чем пару лет назад. Также появляется много компаний, которые используют VR- технологии в коммерческих целях, и все больше людей узнают про это направление.

– Что необходимо предпринять, чтобы ускорить развитие иммерсивных технологий в Казахстане?

Евгения: – Конечно, хотелось бы, чтобы в Казахстане появлялись собственные производства устройств. Сейчас в основном работаем на западном оборудовании. Развитие локального производства усилило бы нашу независимость и компетенции.

Также важно не бояться внедрять новые методы, особенно в образовании. Сейчас растет поколение альфа, для которого классические форматы обучения могут быть не столь эффективны. Однако в этом деле важно сохранять научный подход. Сначала исследования, тестирование и лишь потом масштабирование. Это требует времени, но тогда результаты становятся более предсказуемыми и эффективными. Важно не только ускоряться, но и сохранять качество, особенно когда речь идет о работе с людьми.

– Какие планы по развитию лаборатории ставите на ближайший год?

Евгения: – Защищать дипломные, магистерские работы и диссертации со студентами, которые уже работают с нами. Привлекать новых ребят и развивать различные проекты.

И, конечно, планируем работать с бизнесом и решать реальные задачи компаний. Часто ездим на конференции и видим, что за рубежом многие индустриальные компании сотрудничают с университетами. Хочется, чтобы и в нашей стране такого взаимодействия было больше.