Paralleles Computing

Question 1

Welche Ziele verfolgt man mit Parallelisierung

Answer 1

• Aufgaben in kürzerer Zeit erledigen
• Algorithmen mit großem Speicherbedarf realisieren
• Redundanz/Fehlertoleranz
• Genauere Resultate in kürzerer (vertretbarer Zeit) erzielen (Komplexe Aufgabenstellungen)

Question 2

In welcher Beziehung stehen Algorithmus und Architektur zueinander

Answer 2

• Entwurf algorithmenspezifischer Hardware
• Performance Voraussagen für Algorithmen auf spezifischer Hardware
• Evaluierung paralleler Architekturen
• Parallele Maschinen entwerfen, die algorithmus- und systemzustandsunabhängig sind

Question 3

Womit befasst sich Rechnerarchitektur

Answer 3

Analyse, Bewertung, Entwurf und Synthese von Rechnern und Rechnerkomponenten

Question 4

Welche Teilbereiche werden in einer Rechnerarchitektur untersucht

Answer 4

Struktur: Anzahl von Prozessoren, Speichereinheiten, etc. –> Eigenschaften

Organisation: Steuerungsaspekte, Organisationsform von Caches

Implementierung: Möglichkeit der Realisierung einer spezifischen Architektur/ Probleme dabei, erzielbare Leistung

Question 5

Auf welchen drei Ebenen kann eine Rechnerarchitektur betrachtet werden?

Answer 5

Systemebene: Konfiguration von Prozessoren, Speichern, IO-Systemen

Befehlssatzebene: RISC, CISC, VLIW, Zusammenarbeit mit Betriebssystem und Compilern

Mikroarchitekturebene: Entscheidung über Prozessorimplementierung

Question 6

Beschreiben Sie den klassischen Universalrechner nach von Neumann

Answer 6

Rechenwerk + Speicherwerk + Leitwerk + E/A-Werk

• Unabhängigkeit (universelle Einsetzbarkeit) von Algorithmus
• Befehl laden -> Befehl entschlüsseln -> Befehl ausführen
• Adressen wie Daten behandelbar
• Programme zusammen mit Daten -> Speicherbelegung

Leistungsengpass durch einmaliges Vorkommen der zentralen Komponenten -> streng sequenzielle Abarbeitung

Question 7

Beschreiben Sie die Taxonomie nach Flynn

Answer 7

Aufteilung in Befehls (Steuerinformation Rechenwerk) und Datenstrom

4 Klassen: SISD, SIMD, MISD, MIMD

Question 8

Wie funktioniert ein SIMD-Rechner, wozu ist er geeignet?

Answer 8

Single Instruction Multiple Data

• Gleiche Operation auf mehrere Daten ausführen, synchrone Befehlsausführung auf unterschiedlichen Daten
• Bsp.: Illiac IV, MasPar M
• gut geeignet für Matrizen/Vektor-Operationen
  –> GPU, Bildbearbeitung

Question 9

Was verstehen Sie unter der MMX von Intel Prozessoren

Answer 9

Multimedia Extension:

Befehlswörter der Länge von bis zu 64 Bit, darin entweder 8 8-Byte op, 4 16-Byte op, etc.
- Möglichkeit mit einem Befehl zwei Pixelpaare mit RGB-Werten miteinander zu verrechnen

Question 10

Was verstehen Sie unter MISD

Answer 10

Multiple Instruction Single Data

–> spezieller Modus von MIMD (Prozessorpipelining)

Question 11

Woraus besteht ein einfaches Parallelrechnermodell

Answer 11

Processing Elements (PEs): mit eigenem lokalen Speicher
Memory Modules (MMs): gemeinsamer Speicher
Interconnection Structure (ICS): Verbindungsnetzwerk

Question 12

Definieren Sie paralleles Prozessorsystem

Answer 12

Menge von PEs und MMs, welche über ein Verbindungsnetzwerk verbunden sind und so kooperieren können, um gemeinsam Algorithmen zu lösen

Question 13

Definieren Sie paralleles Rechnersystem

Answer 13

Paralleles Prozessorsystem + Softwarekomponenten (Betriebssystem, Compiler, Bibliotheken)

Question 14

Wie ist die generelle Vorgehensweise zum Entwurf eines parallelen Algorithmus?

Answer 14

Ausgangspunkt: Sequenzieller Algorithmus

1. Zerlegung der Berechnung
   in parallel ausführbare Tasks (kleinste parallel ausführbare Einheit)
2. Bildung von Prozessen
   Zuweisung Tasks an Prozesse –> Scheduling (dynamisch/statisch)
3. Mapping von Prozessen auf Prozessoren
   gleichmäßige Verteilung Prozesse auf Prozessoren

Question 15

Auf welchen drei (Granularitäts-)Ebenen kann man Parallelität erzielen?

Answer 15

Instruktionsebene - feinkörnig
Schleifenebene - mittelkörnig
Prozedurebene - grobkörnig

Question 16

Was verstehen Sie unter einem Parallelen Programmiermodell?

Answer 16

• Sicht auf Prozessor-/Rechnersystem
• Unterstützung durch Programmiersprache, Laufzeitbibliothek

Kriterien:
- Parallelitätsebene
- Wie wird Parallelität spezifiziert
- Abarbeitung der parallelen Einheiten
- Informationsaustausch, Synchronisationsmöglichkeiten

Question 17

Was ist ein Prozess?

Answer 17

Codebereich + Datenbereich + Ausführungszustand

Question 18

Nennen Sie Formen der Prozessorganisation

Answer 18

Fork-Join-Konstrukt:
Parbeginn - Parend:
Master-Slave-Organisation:
Pipeline-Organisation
Baum-Struktur

Question 19

Was versteht man unter dem SPMD-Prinzip und in welchem Bezug steht es zu MPMD?

Answer 19

Single Programm Multiple Data
Alle Prozessoren haben gleichen Code
–> Unterscheidung der Ausführung über Prozessor-ID –> MPMD (Multiple Programm Multiple Data)

Question 20

Nennen Sie drei relevante Paradigmen der Parallelisierung

Answer 20

Compute-Aggregate-Broadcast
Geometrische Parallelisierung
Divide&Conquer

Question 21

Was verstehen Sie unter Distributed Computing und wie unterscheidet es sich von Parallel Computing

Answer 21

Parallel Computing: System organisatorisch abgeschlossen –> eine komplexe Maschine

Distributed Computing: Verbund mehrerer (heterogener) Systeme, schwache Bindung

Question 22

Was verstehen Sie unter Internet Computing

Answer 22

Nutzung CPU-Reserven von diversen über Internet verbundenen Computern zur Bearbeitung eines komplexen Problems

Bsp.: BOINC - Berkeley Open Infrastructure for Network Computing

Kriterien: Robustheit, Diversität (Client-Software verfügbar), Attraktivität

Question 23

Was verstehen Sie unter Grid Computing

Answer 23

Bearbeitung einer komplexen Problemstellung mit mehreren Rechnern über Bildung von dynamischen Nutzer-/Institutions- und Prozessorgruppen

• koordinierte Nutzung gemeinsamer Ressourcen
• koordinierte Lösung (kollaboratives Arbeiten)

Question 24

Was verstehen Sie unter Cluster Computing

Answer 24

Verbund von Rechnern zu einem Cluster, Verbunden über Gigabit-Ethernet, Nutzung lokaler verteilter Speicher)

• sehr kostengünstig (Verwendung ausrangierter PCs)
• TOP 500 Liste (75%)

Question 25

Welche Cluster-Dienste gibt es

Answer 25

Message-Passing-Bibliotheken: Ausführung von Programmen, Prozesserzeugung, Kommunikation von Prozessen, etc.

Batch-Systeme: Ausführen von Jobs auf dem Cluster

Cluster-Management-Systeme: Aufbau + Administration von Clustersystemen