Функционирует при финансовой поддержке Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации

Новости

04/08/2017

Переводчик Facebook полностью перешел на ИИ

 

Ежедневно социальная сеть делает автоматический перевод 4,5 млрд постов.

 

star-wars-c-3po-sixth-scale-feature-21711

 

Facebook усовершенствовал систему автоматического перевода с иностранных языков. Теперь она полностью работает на основе нейронной сети. Если раньше система переводила отдельные слова или сочетания, то теперь она сначала анализирует предложение полностью.

«Создание переводов высокого качества для 2 млрд людей ежедневно — сложная задача. Нам нужно одновременно учитывать контекст, сленг, опечатки, аббревиатуры и суть, поэтому мы переключили все наши системы с машинных переводов, основанных на отдельных фразах, на нейронные сети», — говорится в блоге Facebook.  В компании отметили, что ежедневно в социальной сети производится 4,5 млрд переводов по 2 тысячам направлений.

 

Facebook использует особый метод машинного обучения под названием «Долгая краткосрочная память» (Long short-term memory, LSTM). Это разновидность архитектуры рекуррентых нейронных сетей (Recurrent Neural Networks, RNN). Они отличаются тем, что содержат обратные связи и позволяют сохранять информацию. В жизни мы анализируем все происходящее, основываясь на предыдущем опыте. Мы не начинаем каждый раз думать с «чистого листа», у нас уже есть запас знаний. Обычные нейронные сети не обладают этой функцией, а RNN способны сохранять информацию.
 

В примере на сайте турецкая фраза переведена на английский. В первом случае система выдала нечто вроде «Их, Измира почему вы сказали нет, мы не ожидали, что они поймут». 

20273931_1565950253456397_4591107382708273152_n

Новая система выдала: «Мы не надеемся, что они поймут, почему Измир сказал нет». 20483598_124176098203702_6336092654509490176_n

Если у термина нет словарного перевода, система поставит на этом месте «заполнитель». Сеть будет искать перевод этого слова в чем-то вроде внутреннего словаря, который создается на основе обучающих данных Facebook, после чего неизвестный термин будет заменен. Например, «спс» будет заменено на «спасибо» и переведено на нужный язык.


https://therunet.com/news/28701