Defesa de Tese de Doutorado do Programa de Pós-graduação em Ciência da Computação.
Título: A EVALUATION OF LOAD BALANCING TECHNIQUES FOR WORKLOADS WITH HIGH PROCESSING TIME VARIABILITY
Aluno: João Vitor Bernarti Severo
Orientador: Dr. Luiz Gustavo Leao Fernandes
Banca Examinadora: Dr. Claudio Schepke (LEA/UNIPAMPA), Dr. Dalvan Jair Griebler (PPGCC/PUCRS)
Data: 29 de maio de 2025
Local: Videoconferência
Horário: 16h
RESUMO: Pipelines de enriquecimento de dados [33] frequentemente apresentam alta variabilidade nos tempos de processamento por registro, o que pode levar a desequilíbrios de carga em sistemas de processamento de fluxo. Este trabalho explora como o agendador estático padrão de atribuição de slots do Apache Flink [1] lida com essa variabilidade. Implementamos uma carga de trabalho de enriquecimento de dados em “formato de U” dentro do DSPBench [26] – onde metade das tarefas de enriquecimento são concluídas em menos de 250 ms e o restante em aproximadamente 10 segundos – e demonstramos que o agendamento round-robin do Flink induz gargalos, backpressure [29] e um colapso na vazão. Para analisar esse comportamento, desenvolvemos um protótipo Python que simula a atribuição de tarefas aos slots do Flink e reproduz a degradação de desempenho observada. Com base nessas observações, propomos um escalonador que utiliza work-stealing com dual-pool que segrega tarefas “rápidas” e “lentas” em pools separados e permite que trabalhadores rápidos ociosos roubem o tarefas do pool lento, aliviando assim o backpressure. As contribuições desta tese são: (1) uma carga de trabalho em forma de U de alta variância para DSPBench [26], (2) um protótipo simulando o comportamento de escalonamento do Flink e (3)um algoritmo que utiliza work-stealing com dual-pool que fornece até 36 rec/s (melhoria de ? 12×) na vazão sem modificar o núcleo de execução do Flink.
