Google объявила о новом амбициозном проекте по разработке единой языковой модели ИИ, которая поддерживает «1000 самых распространенных языков в мире».
The Verge сообщает: в качестве первого шага к этой цели компания представляет модель искусственного интеллекта, обученную более чем 400 языкам, которую она описывает как «самый большой языковой охват среди моделей речи на сегодняшний день».
«Инициатива 1000 языков» Google не сосредоточена на какой-либо конкретной функциональности, а вместо этого направлена на создание единой системы с огромным объемом знаний по языкам мира.
В беседе с The Verge Зубин Гахрамани, вице-президент по исследованиям в Google AI, сказал, что компания считает, что создание модели такого размера облегчит перенос различных функций ИИ на языки, которые плохо представлены в онлайн-пространствах и наборах данных для обучения ИИ ( также известный как «языки с низким ресурсом»).
«Имея единую модель, которая подвергается воздействию и обучению на многих разных языках, мы получаем гораздо более высокую производительность на наших языках с низким уровнем ресурсов», — говорит Гахрамани.
«Мы получаем 1000 языков не путем построения 1000 различных моделей. Языки подобны организмам, они произошли друг от друга и имеют определенное сходство. И мы можем найти довольно впечатляющие достижения в том, что мы называем обучением с нуля», когда мы включаем данные из нового языка в наш.
Однако доступ к данным является проблемой при обучении на таком количестве языков, и Google заявляет, что для поддержки работы над моделью на 1000 языков она будет финансировать сбор данных для языков с низким уровнем ресурсов, включая аудиозаписи и письменные тексты.
Компания говорит, что у нее нет прямых планов относительно того, где применять функциональность этой модели — только она ожидает, что она будет широко использоваться в продуктах Google, от Google Translate до субтитров YouTube и многого другого.
«Одна из действительно интересных особенностей больших языковых моделей и языковых исследований в целом заключается в том, что они могут решать множество различных задач», — говорит Гахрамани.
«Одна и та же языковая модель может преобразовывать команды для робота в код, решать математические задачи, выполнять перевод. Что действительно интересно в языковых моделях, так это то, что они становятся хранилищами большого количества знаний, и, исследуя их по-разному, вы можете получить разные полезные функции».
…
Google собралась развивать языковые модели искусственного интеллекта
Google объявила о новом амбициозном проекте по разработке единой языковой модели ИИ, которая поддерживает «1000 самых распространенных языков в мире».
The Verge сообщает: в качестве первого шага к этой цели компания представляет модель искусственного интеллекта, обученную более чем 400 языкам, которую она описывает как «самый большой языковой охват среди моделей речи на сегодняшний день».
«Инициатива 1000 языков» Google не сосредоточена на какой-либо конкретной функциональности, а вместо этого направлена на создание единой системы с огромным объемом знаний по языкам мира.
В беседе с The Verge Зубин Гахрамани, вице-президент по исследованиям в Google AI, сказал, что компания считает, что создание модели такого размера облегчит перенос различных функций ИИ на языки, которые плохо представлены в онлайн-пространствах и наборах данных для обучения ИИ ( также известный как «языки с низким ресурсом»).
«Имея единую модель, которая подвергается воздействию и обучению на многих разных языках, мы получаем гораздо более высокую производительность на наших языках с низким уровнем ресурсов», — говорит Гахрамани.
«Мы получаем 1000 языков не путем построения 1000 различных моделей. Языки подобны организмам, они произошли друг от друга и имеют определенное сходство. И мы можем найти довольно впечатляющие достижения в том, что мы называем обучением с нуля», когда мы включаем данные из нового языка в наш.
Однако доступ к данным является проблемой при обучении на таком количестве языков, и Google заявляет, что для поддержки работы над моделью на 1000 языков она будет финансировать сбор данных для языков с низким уровнем ресурсов, включая аудиозаписи и письменные тексты.
Компания говорит, что у нее нет прямых планов относительно того, где применять функциональность этой модели — только она ожидает, что она будет широко использоваться в продуктах Google, от Google Translate до субтитров YouTube и многого другого.
«Одна из действительно интересных особенностей больших языковых моделей и языковых исследований в целом заключается в том, что они могут решать множество различных задач», — говорит Гахрамани.
«Одна и та же языковая модель может преобразовывать команды для робота в код, решать математические задачи, выполнять перевод. Что действительно интересно в языковых моделях, так это то, что они становятся хранилищами большого количества знаний, и, исследуя их по-разному, вы можете получить разные полезные функции».
Tags: GoogleИскусственный интеллект