Anleitung zum ECFS-Leistungstest
Grundlegende Richtlinie zur Maximierung der Leistung des Elastifile-Clusters.
Um das Leistungstool erun auszuführen, installieren Sie das folgende RPM in einem Centos7-Client:
elfs-tools-2.7.1.2-53085.fc219ee4f9c3.el7.centos.x86_64.rpm
Für Erun-Tests
- Verwenden Sie die gleiche Anzahl an Clients/Loadern/Maschinen wie ECFS-Knoten. Beispielsweise sollten 3 Knoten mit 3 errun-Clients/Loadern getestet werden.
- im erun-Befehl:
- Clients (nicht die Anzahl der Clients/Loader.Maschinen...) = Anzahl der Kerne / 2
- Dateien (Nr-Dateien) = Anzahl der Kerne
- Queue = sollte an die Latenzanforderungen angepasst werden:
- Latenz zu hoch -> Warteschlangengröße verringern
- Latenz zu niedrig -> Warteschlangengröße erhöhen.
- Wenn Sie einen neuen Erun-Test starten, verwenden Sie das Flag --initial-write-phase, um neue Daten zu erstellen. Dadurch wird zunächst der Arbeitssatz erstellt (nur Schreibvorgänge ausgeführt ...) und erst dann mit der angeforderten Arbeitslast gestartet.
- Sobald die Daten verfügbar sind und die Notwendigkeit besteht, einen neuen Test mit denselben Daten erneut durchzuführen und dabei andere Optionen zu verwenden (z. B. eine andere Warteschlangengröße oder ein anderes Lese-/Schreibverhältnis), verwenden Sie stattdessen --reuse-existing-files.
- erun-Beispiel, OLTP-Workload für 4 Kerne pro Knoten, Testen einer Blockgröße von 4 KB, 70/30:
- erun --profile io --data-payload --max-file-size 100M --clients 2 --nr-files 4 --queue-size 8 --readwrites 70 --min-io-size 4K --max- io-size 4K --duration 12000 --erun-dir `hostname` 10.99.0.2:dc/root --initial-write-phase
- Erun-Beispiel, BW-Tests für 4 Kerne pro Knoten, Testen einer Blockgröße von 64 KB, 70/30:
- erun --profile io --data-payload --max-file-size 100M --clients 2 --nr-files 4 --queue-size 4 --readwrites 70 --min-io-size 64K --max- io-size 64K --duration 12000 --erun-dir `hostname` 10.99.0.2:dc/root --io-alignment 32768 --initial-write-phase
Für jedes andere Testtool auf einem Linux-Rechner gilt die Faustregel
- Clients = halbe Anzahl der Clusterkerne. Das heißt, 3x Knoten mit 4x Kernen sollten mit 6x Clients getestet werden
- Gesamtzahl der Dateien = ebenso viele Clusterkerne. Das heißt, 3x Knoten mit 4x Kernen sollten mit 12x Clients getestet werden
- Erreichen der maximalen IOPS-Anzahl mit geringer Latenz (~2 ms) – unter Verwendung von 4K- oder 8K-Blockgrößen.
- Erreichen der maximalen BW, bei der die Latenz weniger entscheidend ist (kann ~ 10–20 ms betragen) – mit Blockgrößen von 32.000, 64.000 oder 256.000.
Die aktuellen Elastifile-Konfigurationen in GCP:
| ECFS-Konfigurationstyp | Cluster-Info |
|---|---|
| Persistente SSD-Festplatten – KLEIN | 4 Kerne, 32 GB RAM, 4 x 175 GB PD SSD |
| Persistente SSD-Festplatten – MITTEL | 4 Kerne, 42 GB RAM, 4 x 1 TB PD SSD |
| Persistente SSD-Festplatten – GROSS | 16 Kerne, 96 GB RAM, 4 x 5 TB PD SSD |
| Lokale SSD | 16 Kerne, 96 GB RAM, 8 x 375 GB lokale SSD |
| Standardpersistente Festplatten (nicht unter 2 ms, aufgrund von Standardlaufwerken.) | 4 Kerne, 64 GB RAM, 4 x 1 TB Standard-PD |
| MAX-Konfiguration – Lokale SSD |
Einige Beispiele für die erwarteten Leistungsergebnisse verschiedener GCP-Konfigurationen:
Maximale anhaltende IOPS (unter 2 ms)
| ECFS-Konfigurationstyp | IOPS lesen | Schreiben Sie IOPS | Gemischte Lese-/Schreib-IOPS (Verhältnis 70/30) | |||
| Pro System | Pro Knoten | Pro System | Pro Knoten | Pro System | Pro Knoten | |
| Persistente SSD-Festplatten – KLEIN – 3 Knoten | 40.000 | 13.000 | 10.000 | 3.300 | 20.000 | 6.600 |
| Persistente SSD-Festplatten – MITTEL – 3 Knoten | 40.000 | 13.000 | 10.000 | 3.300 | 20.000 | 6.600 |
| Persistente SSD-Festplatten – MITTEL – 3 Knoten – Einzelreplikation | 42.000 | 14.000 | 24.300 | 8.100 | 30.000 | 10.000 |
| Persistente SSD-Festplatten – GROSS – 3 Knoten | 74.000 | 24.000 | 19.000 | 6.300 | 45.000 | 15.000 |
| Persistente SSD-Festplatten – GROSS – 3 Knoten – Einzelreplikation | 74.000 | 24.000 | 52.000 | 17.300 | 64.000 | 21.300 |
| Lokale SSD – 3 Knoten | 178.000 | 59.000 | 51.000 | 17.000 | 105.000 | 35.000 |
| Persistente Standardfestplatten (nicht unter 2 ms, aufgrund von Standardlaufwerken) – 6 Knoten | 18.000 | 3.000 | 11.500 | 1.900 | 14.000 | 2.300 |
| MAX-Konfiguration – Lokale SSD | ||||||
Maximaler Dauerdurchsatz (MB/s)
| ECFS-Konfigurationstyp | Lesedurchsatz (MB/s) | Schreibdurchsatz (MB/s) | |||
| Pro System | Pro Knoten | Pro System | Pro Knoten | ||
| Persistente SSD-Festplatten – KLEIN – 3 Knoten | 4 Kerne, 32 GB RAM, 4 x 175 GB PD SSD | 700 | 233 | 200 | 66 |
| Persistente SSD-Festplatten – MITTEL – 3 Knoten | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | 700 | 233 | 200 | 66 |
| Persistente SSD-Festplatten – MITTEL – 3 Knoten – Einzelreplikation | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | 1100 | 366 | 395 | 131 |
| Persistente SSD-Festplatten – GROSS – 3 Knoten | 16 Kerne, 96 GB RAM, 4 x 5 TB PD SSD | 1.700 | 566 | 330 | 110 |
| Persistente SSD-Festplatten – GROSS – 3 Knoten – Einzelreplikation | 16 Kerne, 96 GB RAM, 4 x 5 TB PD SSD | 2000 | 666 | 910 | 303 |
| Lokale SSD – 3 Knoten | 16 Kerne, 96 GB RAM, 8 x 375 GB lokale SSD | 3.500 | 1167 | 1.100 | 367 |
| Persistente Standardfestplatten – 6 Knoten – Standard | 4 Kerne, 64 GB RAM, 4 x 1 TB Standard-PD | 470 | 80 | 218 | 36 |
| Persistente Standardfestplatten – 3 Knoten | 4 Kerne, 64 GB RAM, 4 x 1 TB Standard-PD | 240 | 80 | 112 | 37 |
| Persistente Standardfestplatten – 6 Knoten | 4 Kerne, 64 GB RAM, 4 x 3 TB Standard-PD | 500 | 83 | 280 | 45 |
| Persistente Standardfestplatten – 3 Knoten | 4 Kerne, 64 GB RAM, 4 x 3 TB Standard-PD | 242 | 80 | 150 | 50 |
| Persistente Standardfestplatten – 3 Knoten | 4 Kerne, 32 GB RAM, 4 x 175 GB Standard-PD | 75 | 25 | 50 | 17 |
| MAX-Konfiguration – Lokale SSD | |||||
Single-Client-Vergleichstests:
| Centos 7 mit NFS (Erun) | ||||||||||||||||||||
| Test (100 MB Dateien...) | ECFS-Konfigurationstyp | IOPS lesen | Schreiben Sie IOPS | 70/30 IOPS | Lesedurchsatz (MB/s) | Schreibdurchsatz (MB/s) | ||||||||||||||
| Cluster | Latenz-ms | Pro Knoten | Pro Kunde | Cluster | Latenz-ms | Pro Knoten | Pro Kunde | Cluster | Latenz-ms | Pro Knoten | Pro Kunde | Cluster | Pro Knoten | Pro Kunde | Cluster | Pro Knoten | Pro Kunde | |||
| 1 Client, 1 Verbindung, 4 Dateien | Persistente SSD-Festplatten – MITTEL – 3 Knoten | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | ||||||||||||||||||
| 1 Client, 6 Verbindungen, 4 Dateien | Persistente SSD-Festplatten – MITTEL – 3 Knoten | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | ||||||||||||||||||
| 1 Client, 1 Verbindung, 1 Dateien | Persistente SSD-Festplatten – MITTEL – 3 Knoten | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | ||||||||||||||||||
| 1 Client, 6 Verbindungen, 1 Dateien | Persistente SSD-Festplatten – MITTEL – 3 Knoten | 4 Kerne, 56 GB RAM, 4 x 1 TB PD SSD | ||||||||||||||||||
| 1 Client, 1 Verbindung, 20 Dateien | Lokale SSD – 3 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 23500 | 1.7 | 7833 | 9300 | 1.9 | 3100 | 12300 | 1.7 | 4100 | 1000 | 333 | 665 | 222 | |||||
| 1 Client, 1 Verbindung, 1 Dateien | Lokale SSD – 3 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 14600 | 1.7 | 4867 | 5700 | 1.9 | 1900 | 13500 | 1.9 | 4500 | 1300 | 433 | 240 | 80 | |||||
| 1 Client, 30 Verbindungen, 20 Dateien | Lokale SSD – 3 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 180000 | 2.6 | 60000 | 60000 | 2.7 | 20000 | 113000 | 2.7 | 37667 | 1600 | 533 | 770 | 257 | |||||
| 1 Client, 30 Verbindungen, 1 Dateien | Lokale SSD – 3 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 194000 | 2.3 | 64667 | 62000 | 2.6 | 20667 | 117000 | 2.6 | 39000 | 1600 | 533 | 810 | 270 | |||||
| Windows 2016R2 mit NFS-Diensten (Latenz von der GUI...) | ||||||||||||||||||||
| 1 Client, 1 Knoten, 20 Dateien | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 24000 | 2.1 | 6000 | 24000 | 16500 | 2.8 | 4125 | 16500 | 20000 | 2.2 | 5000 | 20000 | 875 | 218,75 | 875 | 320 | 80 | 320 |
| 1 Client, 1 Knoten, 1 Dateien | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 17000 | 1.8 | 4250 | 17000 | 4500 | 1.9 | 1125 | 4500 | 12000 | 1.9 | 3000 | 12000 | 950 | 237,5 | 950 | 165 | 41,25 | 165 |
| 10 Clients, 1 Knoten, jeweils 20 Dateien | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 95000 | 3 | 23750 | 9500 | 47000 | 2.9 | 11750 | 4700 | 70000 | 2.8 | 17500 | 7000 | 1800 | 450 | 180 | 680 | 170 | 68 |
| 10 Clients, 1 Knoten, jeweils 1 Datei | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 91000 | 1.9 | 22750 | 9100 | 35000 | 2.3 | 8750 | 3500 | 60000 | 1.9 | 15000 | 6000 | 1800 | 450 | 180 | 670 | 167,5 | 67 |
| 10 Clients, 4 Knoten, 40 Clients, insgesamt jeweils 1 Datei | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ||||||||
| 10 Clients, 4 Knoten, 40 Clients, insgesamt jeweils 20 Dateien | Lokale SSD – 4 Knoten | 20 Kerne, 128 GB RAM, 8 x 375 GB lokale SSD | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ||||||||
No comments:
Post a Comment