Architectures of neural networks affect the training performance of artificial neural networks. For more consistent performance evaluation of training algorithms, hard-to-train benchmarking architectures should be used. This study introduces a benchmark neural network architecture, which is called pipe-like architecture, and presents training performance analyses for popular Neural Network Backpropagation Algorithms (NNBA) and well-known Metaheuristic Search Algorithms (MSA). The pipe-like neural architectures essentially resemble an elongated fraction of a deep neural network and form a narrowed long bottleneck for the learning process. Therefore, they can significantly complicate the training process by causing the gradient vanishing problems and large training delays in backward propagation of parameter updates throughout the elongated pipe-like network. The training difficulties of pipe-like architectures are theoretically demonstrated in this study by considering the upper bound of weight updates according to an aggregated one-neuron learning channels conjecture. These analyses also contribute to Baldi et al.'s learning channel theorem of neural networks in a practical aspect. The training experiments for popular NNBA and MSA algorithms were conducted on the pipe-like benchmark architecture by using a biological dataset. Moreover, a Normalized Overall Performance Scoring (NOPS) was performed for the criterion-based assessment of overall performance of training algorithms.
Artificial Neural Networks Network Architectures Training Performance Backpropagation Algorithms Metaheuristic Training
Sinir ağlarının mimarileri, yapay sinir ağlarının eğitim performansını etkiler. Eğitim algoritmalarının daha tutarlı performans değerlendirmesi için eğitimi zor kıyaslama mimarileri kullanılmalıdır. Bu çalışma, boru-benzeri mimari olarak adlandırılan bir referans sinir ağı mimarisini tanıtmakta ve popüler Sinir Ağı Geriyeyayılım Algoritmaları (SAGA) ve iyi bilinen Metasezgisel Arama Algoritmalarının (MAA) eğitim performansı analizlerini sunmaktadır. Boru-benzeri sinir mimarileri, temelde bir derin sinir ağının uzunlamasına bir kesitini temsil eder ve öğrenme süreci için bir daraltılmış uzun darboğaz oluşturur. Bu nedenle, uzun boru-benzeri ağ boyunca parametre güncellemelerinin geriye doğru yayılmasında gradyan kaybolma problemleri ve büyük eğitim gecikmelerine neden olarak eğitim sürecini önemli ölçüde zorlaştırır. Bu çalışmada boru-benzeri mimarilerin eğitim zorlukları birleştirilmiş tek-nöron öğrenme kanalları konjektörüne göre ağırlık güncellemelerinin üst sınırı dikkate alınarak teorik olarak gösterilmiştir. Bu analizler aynı zamanda Baldi ve arkadaşlarının sinir ağlarının öğrenme kanalı teoremine pratik açıdan da katkıda bulunmaktadır. Popüler NNBA ve MSA algoritmalarının eğitim deneyleri, bir biyolojik veri seti kullanılarak boru benzeri kıyaslama mimarisinde gerçekleştirmiştir. Ayrıca, eğitim algoritmalarının genel performansının ölçüt tabanlı değerlendirmesi için Normalleştirilmiş Genel Performans Puanlaması (NGPP) uygulanmıştır.
Yapay Sinir Ağları Ağ Mimarileri Eğitim Performansı Geriyeyayılım Algoritmaları Metasezgisel Eğitim
Primary Language | English |
---|---|
Subjects | Computer Software |
Journal Section | Research Articles |
Authors | |
Publication Date | December 30, 2022 |
Submission Date | April 17, 2022 |
Acceptance Date | July 15, 2022 |
Published in Issue | Year 2022 Volume: 10 Issue: 4 |