endliche und durchführbare Beschreibung eines Verfahrens, in der einzelne Bestandteile als simultan ausführbar ausgewiesen sind.

Zur parallelen Abarbeitung solch simultan ausführbarer Teile (Prozesse) sind jeweils eigene Ressourcen (Prozessoren) erforderlich. Sind nicht genügend Ressourcen für die simultane Abarbeitung aller ausgewiesenen Prozesse vorhanden, gestatten die meisten parallelen Algorithmen auch die Nacheinander- bzw. ineinander verschränkte Ausführung von mehreren Prozessen auf ein und demselben Prozessor.

Parallele Berechnungen können synchron (alle Prozessoren werden gemeinsam gesteuert und arbeiten je einen Berechnungsschritt gleichzeitig ab) oder asynchron (die Prozessoren arbeiten unabhängig voneinander, evtl. auch unterschiedlich schnell) stattfinden. Prozesse können untereinander Daten austauschen, wozu die Konzepte des gemeinsamen Speichers (Speicherzellen, die von mehreren Prozessoren gelesen und geschrieben werden können) und des Nachrichtenaustauschs (Prozessoren sind durch ein Netzwerk von Datenkanälen verbunden, durch die Nachrichten ausgetauscht werden können) existieren.

Parallele Algorithmen gestatten für viele Probleme eine schnellere Bearbeitung als sequentielle Algorithmen. Die Beschleunigung hängt davon ab, wie viele verschiedene Teilprobleme simultan abarbeitbar sind, und wie viele Prozessoren zur tatsächlich simultanen Abarbeitung zur Verfügung stehen (Beschleunigungsfaktorbei Parallelisierung). Der Beschleunigung entgegen wirken Probleme der Koordination der parallelen Abarbeitung (z. B. Nachrichtenaustausch, Prozessorzuordnung zu Prozessen, Zugriff auf gemeinsam genutzten Speicher). Außerdem sind parallele Systeme normalerweise wesentlich komplexer als serielle Systeme und erfordern daher oft zusätzliche Maßnahmen zur Tolerierung von Ausfällen oder Fehlern in einzelnen Komponenten.