Improving Benchmark Result Validation in the Renaissance Benchmark Suite

Abstract

Benchmarkování je podstatnou součástí vývoje nových optimalizací pro kompilátory. Důležitou součástí každého benchmarku je jeho validace. Pomocí validace zajišťujeme, že benchmark při každém spuštění vykoná stejné výpočty, což umožňuje porovnávat jed- notlivé výsledky daného benchmarku mezi sebou. Renaissance je jednou z mnoha bench- markovacích sad zaměřujících se na Java Virtual Machine. Jelikož je tato sada poměrně nová, ne všechny její benchmarky obsahují dostatečnou validaci. V této práci jsme ana- lyzovali stav validace jednotlivých benchmarků a následně jsme vybrali šest benchmarků s nedostatečnou nebo chybějící validací, u kterých jsme stabilizovali výpočet a přidali novou, dostatečně silnou validaci. Tím jsme zajistili lepší využitelnost těchto benchmarků a poukázali na nutné změny, které je ještě potřeba v sadě Renaissance v budoucnu provést.

Benchmarking is an important aspect of compiler development. A critical part of each benchmark is its validation. Validation ensures that each benchmark run will perform the same computation, allowing us to compare benchmark results with each other. Re- naissance is one of many benchmark suites aimed at the Java Virtual Machine. Since this benchmarking suite is relatively new, not all of its benchmarks contain sufficient validation. In this paper, we analyzed the state of validation of all benchmarks and then selected six benchmarks with insufficient or missing validation. For these benchmarks, we stabilized the computation and added new, sufficient validation. By doing so, we ensured better usability of these benchmarks and highlighted the necessary changes that still need to be made in the Renaissance benchmark suite in the future.