Quo vadis, NLP?
Исследователи AIRI и Сколтеха представили Drift Inspector, систему для анализа научных трендов. С ее помощью уже обработали почти 118 тысяч статей с конференций по машинному обучению, компьютерному зрению и обработке естественного языка за 2018–2026 годы. Из их аннотаций система извлекла около 570 тысяч утверждений о научных результатах.
В аннотации авторы обычно рассказывают не только о своих результатах, но и о том, зачем понадобилось исследование и что было известно до него. Drift Inspector с помощью языковой модели выделяет утверждения о вкладе самой работы, а затем объединяет близкие по смыслу результаты в темы. Это позволяет учитывать разные формулировки одной идеи и отличать результат исследования от простого упоминания темы.
Затем система подсчитывает, какая доля статей за каждый год содержит хотя бы один результат по каждой из тем. Например, в выборке из 4488 работ конференции EMNLP за 2020–2025 годы доля статей о моделях, работающих с текстом и изображениями, выросла с 4,3% до 13,4%, а об ИИ-агентах с 0,4% до 4,1%. При этом доля работ по машинному переводу снизилась с 6,3% до 1,9%, а по диалоговым системам с 8% до 3,9%.
Это результаты для одной конференции, и они не означают, что исследователи забросили классические задачи. Картина зависит и от площадки: например, на ACL сильнее заметен интерес к большим языковым моделям, а на COLING по-прежнему больше внимания уделяют традиционным задачам обработки языка.
У системы есть и ограничения. Она работает с аннотациями, в которых могут отсутствовать детали исследования, а языковая модель может ошибиться при извлечении утверждений. Для проверки качества трое авторов вручную оценили 136 полученных утверждений и 44 специально добавленных некорректных примера. На более крупных выборках качество проверял ИИ-судья.
Демо доступно в браузере, а исходный код опубликован на GitHub. В системе можно выбрать конференцию, проследить за отдельной темой и открыть статьи, на которых основан график.
@anti_agi
92 просмотра в MAX