Während des Lern- oder Trainingsprozesses des neuronalen Netzes werden nicht nur die Gewichte der Synapsen verändert, sondern auch die Architektur des neuronalen Netzes, sogar auch nur zeitweise. Dies kann das Hinzufügen/Löschen/Stummschalten von Neuronen oder das Hinzufügen/Löschen/Stummschalten von Verbindungen zwischen den Neuronen beinhalten.
Wenn während des Trainingsprozesses deutlich wird, dass die Größe/Kapazität des neuronalen Netzes nicht ausreicht, können zusätzliche Neuronen oder Verbindungen zum Netz hinzugefügt werden, wonach das Training fortgesetzt werden kann. Wenn sich herausstellt, dass bestimmte Neuronen nicht verwendet werden oder keinen Einfluss haben, können sie entfernt werden (Pruning). Solche Änderungen können Teil einer Suche nach optimalen Architekturen sein [Neural Architecture Search]. Neuronen oder Verbindungen können auch zur Regularisierung [Dropout/Dropconnect] und zur Verbesserung der Generalisierungsfähigkeit des Netzes stummgeschaltet werden.