Семинар 3. Visual Question Answering | Алексей Ковалев, Александр Корчемный

Осенницй цикл семинаров 2021 Центра Когнитивного Моделирования МФТИ.
Проводится еженедельно по четвергам в 17.00.

Программа семинаров: https://cogmodel.mipt.ru/seminars-aut...

Семинар №3 от 30.09.2021.
Visual Question Answering: Применение сценариев и способ их извлечения из текста | Алексей Ковалев, Александр Корчемный

В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ.

Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер. Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов.

В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов.

На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA.

Слайды: tba

Магистратура и аспирантура по ИИ и робототехнике с повышенной стипендией: https://cogmodel.mipt.ru/applicants
Группа ВК: https://vk.com/cogmodel
Телеграм: https://t.me/cogmodel


Наши семинары открытые - приглашаем принять участие всех желающих. Если у вас есть тема, котоая укладывается в наши направления, пишите по нашим контактам - мы рады расширению сообщества и включим ваш доклад в программу!