Distributed Deep Reinforcement Learning for Learn-to-optimize

Abstract

In the context of increasingly complex applications, e.g., robust performance tuning in Integrated Circuit Design, conventional optimization methods have difficulties in achieving satisfactory results while keeping to a limited time budget. Therefore, learning optimization algorithms becomes more and more interesting, replacing the established way of hand-crafting or tweaking algorithms. Learned algorithms reduce the amount of assumptions and expert knowledge necessary to create state-of-the-art solvers by decreasing the need of hand-crafting heuristics and hyper-parameter tuning. First advancements using Reinforcement Learning have shown great success in outperforming typical zeroth- and first-order optimization algorithms, especially with respect to generalization capabilities. However, training still is very time consuming. Especially challenging is training models on functions with free parameters. Changing these parameters (that could represent, e.g., conditions in a real world example) affects the underlying objective function. Robust solutions therefore depend on thorough sampling, which tends to be the bottleneck considering time consumption. In this thesis we identified the runtime bottleneck of the Reinforcement Learning Algorithm and were able to decrease runtime drastically by distributing data collection. Additionally, we studied the effects of combining sampling strategies in regards to generalization capabilities of the learned algorithm.

Der Anstieg an Komplexität in modernen Anwendungen, z.B. die Leistungsoptimierung beim Entwurf integrierter Schaltungen, bereitet herkömmlichen Optimierungsalgorithmen Schwierigkeiten, zufriedenstellende Ergebnisse zu erzielen und gleichzeitig ein begrenztes Zeitbudget einzuhalten. Daher wird das Lernen von Optimierungsalgorithmen immer interessanter und ersetzt die etablierte Methode der manuellen Entwicklung und Optimierung dieser Algorithmen. Gelernte Algorithmen reduzieren die Menge an Annahmen und Expertise, die für die Entwicklung von hochmodernen Optimierern erforderlich sind, indem sie die Notwendigkeit der manuellen Erstellung von Heuristiken und der Abstimmung von Hyperparametern verringern. Erste Fortschritte beim Reinforcement Learning haben gezeigt, dass sie typische Optimierungsalgorithmen nullter und erster Ordnung lernen und bestehende Algorithmen übertreffen können, insbesondere in Bezug auf die Generalisierungsfähigkeit. Allerdings ist das Training immer noch sehr zeitaufwändig. Eine besondere Herausforderung ist das Training von Modellen auf Funktionen mit freien Parametern. Eine Änderung dieser Parameter (die beispielsweise Umweltfaktoren in einem realen Beispiel darstellen könnten) wirkt sich auf die zugrunde liegende Zielfunktion aus. Robuste Lösungen hängen daher vom gründlichen Sampeln ab, welches sich negativ auf den Zeitaufwand auswirkt. In dieser Arbeit haben wir das Laufzeit-Bottleneck des Reinforcement Learning Algorithmus identifiziert und waren in der Lage, die Laufzeit durch die Verteilung des Datensammelns drastisch zu reduzieren. Darüber hinaus haben wir die Auswirkung der Kombination von heterogenen Sampling-Strategien in Bezug auf die Generalisierungsfähigkeiten des gelernten Algorithmus untersucht.