Facebook desenvolve novo sistema de tradução baseado em IA

0
10


O Facebook criou um novo formato de inteligncia artificial para traduo. Para quem no sabe, as tradues na plataforma passam do idioma nativo para o ingls, para somente depois serem passadas para outra lngua. O novo sistema deve reduzir este caminho, tornando possvel a traduo entre dois idiomas sem a necessidade de incluir o ingls neste processo.

A rede social realiza aproximadamente 20 bilhes de tradues todos os dias apenas para o seu feed de notcias. Toda a ao feita por meio de um conjunto de dados massivo e amplamente disponvel para tradues para o ingls. Mas desta forma, perde-se preciso na verso geral e todo o procedimento fica mais complexo.

Reprodu

Facebook est lanando um novo mtodo de traduo que utiliza de IA. Crditos: Alexandra Popova/Shutterstock

Por isso, com o apelidado de M2M-100, o Facebook acredita ter desenvolvido o primeiro modelo de traduo automtica multilngue (MMT, na sigla em ingls). O sistema pode traduzir diretamente para frente e para trs entre um conjunto de 7,5 bilhes de frasesem 100 idiomas. A equipe de pesquisa do app afirma que treinou um modelo de traduo universal com mais de 15 bilhes de parmetros “que captura informaes de idiomas relacionados e reflete um script mais diversificado de idiomas e morfologia”.

Mtodo

Para que este sistema de traduo fosse possvel, a plataforma coletou uma grande quantidade de dados disponveis publicamente ao redor de todo o mundo utilizando de diversas tcnicas.Angela Fan, pesquisadora associada do Facebook, explica que este trabalho j em partes realizado cotidianamente pela empresa. “Muito disso realmente baseado no trabalho que temos feito por muitos anos em pesquisas no Facebook, que so como todas as diferentes peas de Lego que juntamos para construir o sistema hoje”, afirmou Angela.

De incio, a empresa rastreou pginas em toda a web com o objetivo de coletar exemplos de textos. Os idiomas foram identificados com o FastText, que se resume a um sistema de classificao de texto que a prpria rede social desenvolveu. “Basicamente, analisa alguns testes e tenta decidir em que idioma est escrito. Ento, dividimos um monte de textos da web em todos esses idiomas diferentes e, em seguida, nosso objetivo identificar frases que seriam tradues”, explicou a pesquisadora.

Depois da coleta, a nova IA contou com o aprimoramento do sistema “Laser”. “Ele l frases, pega o texto e cria uma representao matemtica desse texto, de forma que frases com o mesmo significado sejam mapeadas para o mesmo pensamento”, disse Angela.“Ento, se eu tiver uma frase em chins e francs, e eles estiverem dizendo a mesma coisa, eles vo se sobrepor – como um diagrama de Venn – a rea de sobreposio o tipo de texto que pensamos ser frases alinhadas”, destacou.

Reprodu

Objetivo traduzir idiomas diretamente um para o outro sem que seja necessrio passar pelo ingls. Crditos: Pathdoc/Shutterstock

Para os idiomas que no possuem grande volume de textos disponveis na internet, a equipe de pesquisadores do Facebook recorreu a dados monolngues, que so apenas dados escritos em um nico idioma. “Ento, se meu objetivo traduzir do chins para o francs, mas por alguma razo, no obtenho boa qualidade, ento vou tentar melhorar isso tomando textos de dados monolngues em francs.E o que fao treinar o reverso do sistema: vou do francs para o chins.Pego todo o meu francs, por exemplo, da Wikipedia e traduzo para o chins”, exemplificou a pesquisadora de IA.

A partir deste momento, so gerados dados “sintticos” pela mquina.“Ento, criei este chins sinttico com base no meu francs retro traduzido e vou adicion-lo novamente ao modelo avanado.Ento, em vez de ir do chins para o francs, eu tenho chins mais meu chins sinttico suplementado, todos indo para o francs. E, porque isso adiciona um monte de novos exemplos – tanto do lado da entrada quanto do lado da sada – o modelo ser muito mais forte”, ressaltou.

Cabe ainda lembrar que a plataforma est lanando o conjunto de dados, o modelo, o treinamento e as configuraes de avaliao como cdigo aberto para que outros pesquisadores ajudem a impulsionar a tecnologia. “Eu pessoalmente identifico muitas reas nas quais podemos precisar melhorar para as linguagens de recursos muito baixos. Para as lnguas africanas, somos muito bons em suali e afrikaans, poderamos melhorar muito em lnguas como o zulu, e essas lnguas tm desafios de pesquisa adicionais que precisamos enfrentar”, concluiu Angela.

A empresa tambm planeja continuar desenvolvendo o sistema de inteligncia artificial de forma independente e, eventualmente, aplicar o recurso em suas operaes dirias.

Via: Engadget





Source link

LEAVE A REPLY

Please enter your comment!
Please enter your name here