ParaPhraser.ru

Создание русскоязычного корпуса для перефразирования



Привет, Гость!

Мы собираем корпус для перефразирования и строим с его помощью систему, распознающую похожие по смыслу предложения. В данный момент предложения автоматически извлекаются из заголовков новостей, которые ежедневно публикуются в интернете, но чтобы собрать качественный корпус, необходимо правильно обучить систему.

Имея такой корпус, можно строить статистические модели для автоматического перефразирования. Это, в свою очередь, упростило бы решение таких задач в области автоматической обработки текста как извлечение информации, машинный перевод, информационный поиск, синонимизация текста и т.д.

ParaPhraser API

В течении нескольких месяцев мы занимались разработкой API для перефразирования отдельных слов и фраз с сохранением их первоначального смысла. Сегодня всем желающим доступна для тестирования альфа-версия API с подробной документацией и примерами использования на языке Python.

Последние запросы пользователей:

  • ;кот смотрит в стену
  • как твои дела
  • как твои дела
  • как твои дела
  • тамбовский волк тебе товарищ

Поиск парафраз в реальном мире

В настоящее время запущен новостной агрегатор, задачей которого является сбор новостных заголовков в режиме реального времени из социальной сети ВКонтакте и поиск соответствующим им заголовков на официальных страницах информационных агенств. На базе собранных данных на странице загрузок доступен соответствующий корпус.

Парафразы как данные для обучения

На базе собранного корпуса в рамках конференции AINL 2016, посвященной искусственному интеллекту и естественным языкам, была проведена дорожка по распознаванию парафраз, в которой участникам предлагалось установить класс соответствия двух предложений. Списки участвовавших команд и результаты дорожки размещены на нашей странице.

Стать участником

Всех желающих мы приглашаем присоединиться к нам и внести свой вклад в создание корпуса

Приступить

Тестировать API

Примите участие в тестировании нового сервиса для русского и английского языков

Тестировать

Скачать корпус

Вы можете свободно cкачать корпус и использовать его в своих проектах

Скачать

Рассказать о нас

Вы можете помочь проекту, поделившись ссылкой на наш ресурс с вашими друзьями