Participando do MWC 2024, um Qualcomm reforçou seu compromisso na ampla adoção de Inteligência Artificial e anunciou o Qualcomm AI Hub, biblioteca que concentrará Grandes Modelos de Linguagem (LLMs) que já foram otimizados para rodar em plataformas Snapdragon, facilitam a implementação desses modelos em celulares e notebooks. A gigante também aproveitou a oportunidade para demonstrar pela primeira vez modelos multimodais sendo executados localmente por um smartphone.
Os investimentos da Qualcomm em IA têm crescido nos últimos anos, com saltos significativos de desempenho da Unidade Neural de Processamento (NPU) usado na linha Snapdragon e o lançamento de diversos recursos de Programas para garantir o bom aproveitamento desse hardware. Nesse ponto, os esforços mais recentes da marca envolveram o Qualcomm AI Stack, um conjunto de modelos de IA otimizados para os chips da empresa.
Continua após a publicidade
Neste ano, especialmente com o crescimento de soluções mais complexas, a gigante dá um novo passo na forma do Qualcomm AI Hub, grande biblioteca que reúne modelos de IA tradicionais e de IA generativa otimizados para Snapdragon em uma central que promete facilitar sua implementação. Segundo a apresentação divulgada, o fluxo de trabalho seria simples, consistindo em três etapas: a seleção do modelo desejado, a seleção do dispositivo ao qual o aplicativo será destinado (smartphone, PC, etc) e a implantação no aplicativo.
Já no lançamento, mais de 75 modelos estarão disponíveis, incluindo códigos em TensorFlow, PyTorch e ONNX preparados para geração de imagens, geração de texto, segmentação de imagens, super resolução, aprimoramentos de captura em baixa luminosidade e compreensão de linguagem natural. Conforme explicado pela companhia, com as otimizações para chips Snapdragon, seria possível obter desempenho de inferência até quatro vezes maior em comparação aos formatos não otimizados.
Outro ponto interessante é que esses modelos não estariam restritos ao Qualcomm AI Hub — também será possível ter acesso a eles pelo GitHub, ou ainda por meio de repositórios no Hugging Face. Ao que parece, o maior diferencial da biblioteca proprietária da Qualcomm é agilizar a integração da IA nos aplicativos ao mostrar as melhores opções disponíveis de acordo com os dispositivos escolhidos pelo desenvolvedor.
Continua após a publicidade
Qualcomm mostra modelos multimodais no celular
Aproveitando a oportunidade, a Qualcomm realizou duas previsões inéditas de IA generativa em smartphones, que complementam o exemplo com a Llama da meta feito durante o Snapdragon Summit em outubro passado. Esta seria a primeira vez que um Grande Modelo Multimodal (LMM) — os modelos que podem receber e interpretar dados de texto, áudio e imagem simultaneamente — seria demonstrado em um celular.
A primeira delas trabalha com o LLaVA (Large Language and Vision Assistant), modelo de código aberto com cerca de 7 bilhões de parâmetros desenvolvidos ao longo do tempo de pesquisa da Microsoft em parceria com as Universidades de Columbia e de Wisconsin-Madison. Como o nome sugere, a solução tem a intenção de ser um assistente virtual que trabalha com comandos e respostas baseadas em textos, sons e imagens.
Continua após a publicidade
Curiosamente, a Qualcomm não divulgou a taxa de tokens (o número de termos gerados amplamente usados para medir a velocidade de execução da IA), nem qual processador foi usado, mas a marca garante que uma experiência responsiva foi obtida. A característica mais importante é a execução do modelo no dispositivo, localmente, sem ser preciso acessar a nuvem, o que garantiria maior segurança e privacidade aos usuários.
O segundo teste mostra o Stable Diffusion, modelo de geração de imagens a partir de texto, rodando com Low Rank Adaptation, ou LoRA, ferramenta que permite ao usuário fazer ajustes nos resultados a cada treinamento da IA. Essa funcionalidade também é inédita nos telefones, e seria um passo importante para turbinar o uso de IA em smartphones, oferecendo mais eficiência e a possibilidade de personalizar os modelos.