Как использовать нейросеть для работы с историческими документами

Искусственный интеллект сегодня используют и для работы с историческими документами. Выпускник ВШЭ Максим Еремеев разработал модель, которая помогает восстанавливать утраченные фрагменты берестяных грамот.

«Вечерняя Москва» выяснила, как современные технологии дают ученым возможность заглянуть в прошлое и способны ли нейросети совершать открытия вместе с человеком.

Берестяные грамоты спустя сотни лет после создания обычно доходят до исследователей поврежденными: часть текста оказывается утрачена, а отдельные слова и фразы приходится восстанавливать по сохранившимся фрагментам. Помочь ученым в этой работе теперь может искусственный интеллект.

В 2026 году выпускник бакалаврской программы «Фундаментальная и компьютерная лингвистика» НИУ ВШЭ Максим Еремеев посвятил дипломную работу автоматической реконструкции исторических текстов. Под руководством Ильи Макарова он разработал модель, которая анализирует уже распознанный текст берестяной грамоты и предлагает варианты утраченных символов. Кроме того, система способна определить вероятный диалект и период создания документа.

Интерес к берестяным грамотам у Максима появился еще в начале учебы. После первого курса он отправился в Новгородскую археологическую экспедицию. Позже знания в области компьютерной лингвистики и искусственного интеллекта позволили объединить два увлечения.

— В самом начале учебы я выбрал направление по древнерусской филологии, которое оказалось очень интересным. После первого курса меня взяли в Новгородскую экспедицию: там мы участвовали в раскопках и вместе разбирали грамоты. Так появилось понимание, что на практике представляет собой эта наука, и укрепился уже существовавший интерес. По мере изучения дисциплин, посвященных искусственному интеллекту, возникла мысль, что современные технологии было бы полезно применить для обработки и анализа берестяных грамот. Одному из направлений — автоматической реконструкции текстов — я и посвятил дипломную работу. Сейчас мы продолжаем заниматься реконструкцией, но беремся и за другие задачи, взаимодействуем со специалистами из разных областей. Наша цель — создать инструмент, способный работать с историческими документами на разных уровнях, — рассказал Максим Еремеев.

Сейчас модель не рассматривает фотографию грамоты и не пытается самостоятельно распознать начертанные на бересте буквы. Она получает уже переведенный специалистами в текстовый вид материал и анализирует контекст вокруг утраченного участка.

— Модель выдает варианты пропущенных символов или их последовательностей на основании сохранившегося контекста вокруг лакуны (недостающий элемент в тексте. — «ВМ»). Кроме того, она может предположить, на каком диалекте написан текст и к какому временному периоду относится берестяная грамота. Распознавание букв непосредственно со снимков — отдельная задача, которой занимаются наши коллеги и я в том числе, — пояснил Максим Еремеев.

Для обучения и проверки системы исследователи используют материалы из открытых источников. Сейчас точность определения одного пропущенного символа составляет около 35 процентов. Однако правильный вариант попадает в первую пятерку предложений нейросети примерно в 70 процентах случаев. В качестве эталона используются реконструкции, выполненные профессиональными лингвистами.

— На первый взгляд, результат в 35 процентов может показаться скромным, однако необходимо учитывать специфику языка исторических источников. Кроме того, мы рассматриваем модель именно как помощника специалиста: она должна предлагать эксперту идеи, а не принимать решение вместо него, — объяснил Еремеев. — Скорость зависит от размера утраченного фрагмента, но обычно обработка занимает десятки секунд.

Эта разработка — не единственный пример применения искусственного интеллекта при работе с историческими источниками. Сегодня цифровые технологии используют для распознавания рукописных документов, анализа больших массивов текстов, поиска закономерностей и восстановления некоторых утраченных фрагментов текста.

Так, специалисты Института географии РАН совместно с технологическими разработчиками внедрили нейросеть для определения видов диатомовых водорослей по микрофотографиям.

Диатомовые водоросли — одноклеточные организмы, кремниевые панцири которых способны сохраняться в донных отложениях на протяжении тысяч лет. Изучая их видовой состав на разной глубине, специалисты могут судить о том, какой была окружающая среда в прошлом, в том числе восстанавливать историю водоемов и изменения климата. До появления нового инструмента такой анализ проводился преимущественно вручную.

Разработчики продолжают обучать систему на новых изображениях. В перспективе применение технологии может сократить диатомовый анализ одной колонки отложений с нескольких лет до нескольких месяцев.

Ученые считают, что благодаря обработке большого количества данных ИИ сможет облегчить работу таких сфер, как культурная, ИТ, экономическая и других.

История

Первая древнерусская берестяная грамота была обнаружена только 26 июля 1951 года во время археологических раскопок в Великом Новгороде. На Неревском раскопе участница экспедиции Нина Акулова заметила между плахами древней мостовой свернутый кусок бересты, на котором проступали буквы.

ПРЯМАЯ РЕЧЬ

Андрей Раевский, ИТ-специалист:

— Искусственный интеллект полезен прежде всего там, где специалисту приходится анализировать огромный массив однотипных данных. Машина может выполнить первичную обработку значительно быстрее человека, найти закономерности и предложить несколько вариантов. При этом говорить о замене ученого ИИ неправильно. Алгоритм может ошибаться, а полученный результат необходимо проверять.

Искусственный интеллект — часть нашей жизни. Нейросети быстро объясняют сложное, составляют планы и находят ответы на все вопросы. Специалист Московской службы психологической помощи населению Департамента труда и соцзащиты населения Александр Овчинников рассказал, как нейросети влияют на мышление и что поможет сохранить навык самостоятельного анализа информации.