Verfahren, bei denen Merkmale des Modells des neuronalen Netzes selbst oder dessen Lernen/Training eine verteilte oder parallele Implementierung ermöglichen.
Typische Beispiele oder Merkmale solcher Lern- oder Trainingsverfahren: dezentralisiertes Lernen, kollaboratives Lernen, föderierte Mittelwertbildung [Federated Averaging, FedAvg], paralleler Gradientenaufstieg oder -abstieg, Downpour stochastischer Gradientenabstieg [Downpour Stochastic Gradient Descent, D-SGD], Subnetz-Training, DistBelief, Datenparallelität, Modellparallelität, Parameter Server, Modellreplikate, Datenfragmente [Data Shards], Cloud-basiertes Lernen, Client-/Server-basiertes Lernen, Edge Machine Learning, MapReduce für maschinelles Lernen.