O big data ficou grande demais. Agora, uma equipe de pesquisa com estatísticos da Cornell desenvolveu um método de representação de dados inspirado na mecânica quântica que lida com grandes conjuntos de dados de forma mais eficiente do que os métodos tradicionais, simplificando-os e filtrando ruídos.
Esse método pode estimular a inovação em áreas ricas em dados, mas estatisticamente intimidadoras, como assistência médica e epigenética, onde os métodos tradicionais de dados até agora se mostraram insuficientes.
O artigo foi publicado na revista Scientific Reports .
“Físicos e cientistas aliados desenvolveram ferramentas baseadas em mecânica quântica que oferecem representações matemáticas concisas de dados complexos”, disse Martin Wells, o Professor Charles A. Alexander de Ciências Estatísticas na Cornell Ann S. Bowers College of Computing and Information Science e na ILR School. Ele é coautor de “Estimativa Robusta da Dimensão Intrínseca de Conjuntos de Dados com Aprendizado de Máquina de Cognição Quântica”.
“Estamos pegando emprestado e usando a estrutura matemática da mecânica quântica para entender a estrutura dos dados”, disse Wells.
Antes de transformar dados em inovação ou avanços médicos, os cientistas de dados devem primeiro ter uma noção da complexidade dos dados. Para fazer isso, acadêmicos — particularmente aqueles que trabalham em áreas como análise de rede e ciências da saúde — tradicionalmente recorrem a uma técnica chamada estimativa de dimensão intrínseca, que ajuda os cientistas de dados a obter a essência de um conjunto de dados massivo sem analisar todos os detalhes. O problema é que a estimativa de dimensão intrínseca pode ser prejudicada por ruído e complexidade, e os dados do mundo real geralmente são ambos, disseram os pesquisadores.
“Quando você usa essas técnicas de estimativa de dimensão intrínseca, elas frequentemente dão a resposta errada por uma margem bem grande, e elas discordam umas das outras”, disse Luca Candelori, autor principal e diretor de pesquisa na Qognitive, uma startup de inteligência artificial. “É muito difícil aplicá-las em conjuntos de dados reais e obter uma estimativa real.”
O modelo alimentado por IA da equipe representa uma versão finamente ajustada da técnica de estimativa de dimensão intrínseca, tornando-a mais precisa, menos suscetível a ruído e, portanto, mais adequada para lidar com os conjuntos de dados complicados de hoje. Em testes de dados do mundo real e conjuntos de dados artificiais, que foram intencionalmente tornados mais ruidosos, o modelo da equipe manteve estimativas consistentes, disseram os pesquisadores.
O método da equipe é baseado em “aprendizado de máquina de cognição quântica”, uma abordagem para treinamento de IA desenvolvida pela Qognitive que é baseada nas formas flexíveis e diferenciadas de pensar dos humanos, e não na teoria de probabilidade tradicional, como é a prática padrão hoje. Usar esses métodos tradicionais para treinar ferramentas de última geração, como grandes modelos de linguagem, custa muito e consome muita energia, disse Candelori.
“Grande parte da motivação para desenvolver o aprendizado de máquina de cognição quântica é tentar encontrar uma maneira mais econômica de representar dados e a distribuição de dados”, disse Candelori.
Os pesquisadores observam que, embora o aprendizado de máquina de cognição quântica use matemática quântica, ele não requer hardware de computação quântica poderoso e caro; ele pode ser executado em laptops comuns.
“Este aspecto quântico é um divisor de águas”, disse Wells. “Ele fornece acesso a ferramentas matemáticas e estatísticas que não estavam disponíveis há apenas três anos.”
Junto com Candelori e Wells, os autores do artigo são: Cameron Hogan, doutorando na área de estatística; Alexander Abanov, professor do Departamento de Física e Astronomia da Universidade Stony Brook; Mengjia Xu, professora assistente de ciência de dados no Instituto de Tecnologia de Nova Jersey; e Kharen Musaelian, Jeffrey Berger, Vahagn Kirakosyan, Ryan Samson, James Smith e Dario Villani, todos da Qognitive.
Mais informações: Luca Candelori et al, Estimativa robusta da dimensão intrínseca de conjuntos de dados com aprendizado de máquina de cognição quântica, Scientific Reports (2025). DOI: 10.1038/s41598-025-91676-8
Informações do periódico: Scientific Reports
Fornecido pela
Universidade Cornell
Tradução: https://phys.org/news/2025-04-quantum-statistical-approach-quiets-big.html
No responses yet