A Apple emprega tecnologia inovadora para treinar modelos de IA comparando dados sintéticos com e-mails reais, aprimorando a qualidade da saída de texto com incorporações e ferramentas de privacidade.

Apesar da expectativa em torno do recurso Siri Personalizada, a Apple anunciou que seu lançamento seria adiado para o próximo ano, após o lançamento do iOS 18.4. No entanto, o feedback dos funcionários sugere otimismo dentro da empresa quanto à possibilidade de o recurso ser lançado ainda este ano. Insights recentes revelam como a Apple está aprimorando seus processos de treinamento em IA, principalmente por meio do desenvolvimento do Apple Intelligence.

Métodos de treinamento inovadores: como a Apple utiliza dados sintéticos, mantendo a privacidade do usuário

Diante do atraso da Siri Personalizada, uma reportagem da Bloomberg esclarece a estratégia da Apple para treinar seus sistemas de IA. A reportagem faz referência a um blog da divisão de Machine Learning Research da Apple, que discute o uso de dados sintéticos para treinar modelos de IA.

Historicamente, os críticos notaram que a Apple tem ficado atrás de seus concorrentes no campo da IA. O uso não convencional de dados sintéticos pela empresa apresentou certos desafios. Por exemplo, o método tem dificuldades para interpretar tendências de forma eficaz, necessárias para ferramentas que exigem resumos abrangentes ou comunicação articulada, como a elaboração de e-mails longos.

Reconhecendo esses desafios, a Apple introduziu uma abordagem inovadora que permite a comparação de dados sintéticos com e-mails reais de usuários, garantindo o respeito à privacidade do usuário. Esse processo visa aprimorar a eficácia dos modelos de IA para melhores recursos de comunicação.

Para aprimorar nossos modelos, precisamos gerar um conjunto de muitos e-mails que abordem os tópicos mais comuns nas mensagens. Para selecionar um conjunto representativo de e-mails sintéticos, começamos criando um grande conjunto de mensagens sintéticas sobre diversos tópicos. Por exemplo, podemos criar uma mensagem sintética: “Você gostaria de jogar tênis amanhã às 11h30?”

Isso é feito sem qualquer conhecimento dos e-mails individuais dos usuários. Em seguida, derivamos uma representação, chamada de incorporação, de cada mensagem sintética que captura algumas das principais dimensões da mensagem, como idioma, tópico e tamanho. Essas incorporações são então enviadas para um pequeno número de dispositivos de usuários que optaram pelo Device Analytics.

Os dispositivos participantes selecionam uma pequena amostra de e-mails recentes de usuários e computam seus embeddings. Cada dispositivo então decide qual dos embeddings sintéticos está mais próximo dessas amostras. Usando privacidade diferencial, a Apple pode então aprender os embeddings sintéticos selecionados com mais frequência em todos os dispositivos, sem saber qual embedding sintético foi selecionado em qualquer dispositivo específico.

Esses embeddings sintéticos selecionados com mais frequência podem ser usados para gerar dados de treinamento ou teste, ou podemos executar etapas adicionais de curadoria para refinar ainda mais o conjunto de dados. Por exemplo, se a mensagem sobre jogar tênis estiver entre os principais embeddings, uma mensagem semelhante, substituindo “tênis” por “futebol” ou outro esporte, pode ser gerada e adicionada ao conjunto para a próxima rodada de curadoria (veja a Figura 1).Esse processo nos permite aprimorar os tópicos e a linguagem de nossos e-mails sintéticos, o que nos ajuda a treinar nossos modelos para criar melhores saídas de texto em recursos como resumos de e-mail, protegendo ao mesmo tempo a privacidade.

Embora a Apple reconheça as limitações de sua abordagem atual, a nova tecnologia promete proporcionar uma melhor compreensão das tendências dos usuários sem infringir direitos de privacidade ou coletar informações confidenciais. De acordo com a Bloomberg, espera-se que essa funcionalidade aprimorada seja incluída nas próximas versões beta do iOS 18.5 e do macOS 15.5. Para mais detalhes, você pode explorar a publicação completa da Apple sobre o assunto.

Fonte e Imagens