Unleashing real-time analytics: A comparative study of in-memory computing vs. traditional disk-based systems

Английский. The article presents a comprehensive study evaluating the performance differences between in-memory computing (IMC) and traditional disk-based database systems, specifically focusing on Redis and PostgreSQL. Given the escalating demands for real-time data analytics across various sectors, the research delves into the comparative efficiency of these two data management paradigms in processing large datasets. Utilizing a synthetic dataset of 23.6 million records, we orchestrated a series of data manipulation tasks, including aggregation, table joins, and filtering operations, to simulate real-world data analytics scenarios. The experiment, conducted on a high-performance computing setup, revealed that Redis significantly outperformed PostgreSQL in all tested operations, showcasing the inherent advantages of IMC in terms of speed and efficiency. Data aggregation tasks saw Redis completing the process up to ten times faster than PostgreSQL. Similarly, table joining, and data filtering tasks were executed more swiftly on Redis, emphasizing IMC's potential to facilitate instantaneous data analytics. These findings underscore the pivotal role of IMC technologies like Redis in empowering organizations to harness real-time insights from big data, a critical capability in today's fast-paced business environment. The study further discusses the implications of adopting IMC over traditional systems, considering aspects such as cost, integration challenges, and the importance of skill development for IT teams. Concluding with strategic recommendations, the article advocates for a nuanced approach to incorporating IMC technologies, highlighting their transformative potential while acknowledging the need for balanced investment and operational planning.

португальский. Este artigo apresenta um estudo abrangente destinado a avaliar as diferenças de desempenho entre a computação em memória (IMC) e os sistemas tradicionais de banco de dados baseados em disco, focando especificamente no Redis e no PostgreSQL. Dada a crescente demanda por análises de dados em tempo real em vários setores, a pesquisa investiga a eficiência comparativa desses dois paradigmas de gestão de dados no processamento de grandes conjuntos de dados. Utilizando um conjunto de dados sintético de 23.6 milhões de registros, orquestramos uma série de tarefas de manipulação de dados, incluindo agregação, junção de tabelas e operações de filtragem, para simular cenários reais de análise de dados. O experimento, conduzido em uma configuração de computação de alto desempenho, revelou que o Redis superou significativamente o PostgreSQL em todas as operações testadas, destacando as vantagens inerentes da IMC em termos de velocidade e eficiência. As tarefas de agregação de dados viram o Redis completar o processo até dez vezes mais rápido que o PostgreSQL. Da mesma forma, as tarefas de junção de tabelas e filtragem de dados foram executadas mais rapidamente no Redis, enfatizando o potencial da IMC para facilitar análises de dados instantâneas. Essas descobertas sublinham o papel crucial das tecnologias de IMC, como o Redis, em capacitar organizações a aproveitar insights em tempo real de grandes dados, uma capacidade crítica no ambiente de negócios acelerado de hoje. O estudo discute ainda as implicações da adoção da IMC sobre os sistemas tradicionais, considerando aspectos como custo, desafios de integração e a importância do desenvolvimento de habilidades para equipes de TI. Concluindo com recomendações estratégicas, o artigo defende uma abordagem matizada para incorporar tecnologias de IMC, destacando seu potencial transformador enquanto reconhece a necessidade de um investimento e planejamento operacional equilibrados.