imported>JanRei: JanRei verschob die Seite IT/Architektur und Hardware nach Archiv:2012/IT/Architektur und Hardware

2019-01-31T14:32:11Z

JanRei verschob die Seite IT/Architektur und Hardware nach Archiv:2012/IT/Architektur und Hardware

Neue Seite

Diese Übersicht betrifft die '''Bundes-IT''' und wurde 06/2012 nach vielen Mails und einer Telefonkonferenz zusammengestellt.
Aktuell laufen die Systeme "am Anschlag", es werden Lösungen benötigt, um den Service weiterhin halten zu können.

== Links zur Übersicht ==
* grobe Übersicht http://wiki.piratenpartei.de/IT/%C3%9Cberblick
* Munin Monitoring http://stats.piratenpartei.de/
* Mail-Monitoring http://mail.piratenpartei.de/cgi-bin/mailgraph.cgi

== grundsätzlicher Aufbau ==

=== Hardware ===
* 8 Applikations-Server, darauf virtualisierte Server
** Dell R310 (Intel Xeon X3430, 12GB RAM)
** Dell R510 (Intel Xeon E5620, 32GB RAM)
* 2 Storage-Systeme
** Dell R510 (Intel Xeon E5620, 48GB RAM) mit PERC-H700 Controller
** NFS auf 10x 500GB RAID6
** MySQL auf 2x 250GB RAID1

== Storage, Filesysteme ==
* Storage ist höchstredundant ausgelegt - aus Sicht des nutzenden Servers:
** gemounted als OCFS2 (Oracle Cluster-FS2)
** OCFS2 greift auf DRBD (http://www.drbd.org/) als Block-Device zu. DRBD bildet ein RAID1 über Netzwerk ab
** Hardware RAID-6
* NFS läuft dann als NFS-Mount gegen NFS-Server auf OCFS2 über DRBD gegen RAID6

=== Hardware Storage-Server ===
* PERC-H700 Controller mit
** 2x 250GB RAID1 für DB
** 10x 500GB RAID6 für Filesysteme

=== Probleme ===
* komplex!
** auch fehleranfällig
** benötigen viele I/Os
* schwierige Wartung
** bei Ausfall/Umbau müssen alle Admins für alle betroffenen Systeme beteiligt werden, um die wieder hochzufahren
** aktuell keine parallele Kapazität für Umbauten, Migrationen, u.ä.

=== Alternativen: Cluster-Filesysteme ===
* auch andere Cluster-FSe wurden ausprobiert
* alle bremsen ziemlich aus
* ZFS ist unter Linux eher nicht verfügbar (zu wenige BSD-Admins, Solaris fragliche Zukunft) - oder langsam (FUSE)
* Gluster-FS hat für Produktiv noch ein paar Macken (zerstört manchmal Dovecot-Cachefile)
* Erfahrungen mit Ceph o.ä. sind eher nicht vorhanden

=== Alternative: iSCSI-Storage-System ===
* 2 SAN-Storage
** System synchronisieren sich selbständig untereinander => DRBD unnötig, OCFS2 unnötig
** virtuelle Server können schnell aufgebaut werden
* vorgeschlagene Hardware:
** ein Pärchen Dell Equallogic PS6110XV SAN-Systeme
** zwei Gbit+10Gbit-Switches
** iSCSI-Offload-Karten
** ca. 55.000,- EUR

== Lastprobleme ==
Summary https://www.dropbox.com/sh/sksvf2ut6c46g1p/FrZ8wfIhIr/100k#f:Auslastung_IOPS.png

'''Wünsche:''' http://wiki.piratenpartei.de/IT/Wunschliste

'''Detail:''' http://wiki.piratenpartei.de/IT/Wunschliste/Detail

=== Lastproblem Mail ===
** Ziel Aufteilung : Postfix-Head + IMAP-Server + Mailman (die jeweils den anderen ersetzen können für Failover)
** MTA postfix
*** hohe I/O durch Queues, aber handlebar
** IMAP aktuell courier, demnächst dovecot (wg. Features und Performance)
*** Postfächer machen 30% der I/O
*** gerade laufen Tests, ob Mailbox oder Maildir besser sind
** Mails werden an Syncforum-Skript geschoben, das die Mail in passendes Forum postet => MySQL-Last

=== Lastproblem Piratenpad ===
* problematisch sind die "alten" Java-basierten EtherpadPro (die geschlossenen mit Anmeldung)
** die "neuen" Node.js-basierten Etherpad-Lite sind unproblematisch
** Proxies dicht: jede Session hat 6 laufend offene Verbindungen => Source-Ports auf Reverse-Proxies sind immer mal wieder "voll" (max. 65.000 Portnummern, also max. 10.000 gleichzeitige Pad-Nutzer)
** DNS-Verteilung durch Wildcard-Domain nichttrivial
* Pads offen verfügbar
** Unterscheidung Piraten-Pads vs. Fremdpads ist ohne die Inhalte zu bewerten derzeit nicht möglich
** mit Umstellung auf PiratenID zur Anmeldung ggfs. lösbar

=== Lastproblem MySQL-Datenbank ===
* erzeugt (zu) viele I/Os
** Forum - aber incl. Read-Zugriffe, die zu fast 100% aus dem Query-Cache kommen
** Wiki - Last durch extrem viele Schreibzugriffe
** Pad - das Java-basierte EtherpadPro schreibt aufgelaufene Änderungen alle 5 Minuten in DB => Lastspitzen
* Master-Slave Replikation
** ...über beide Server
** Slave für Read-Queries konfiguriert wo möglich
** Replikation derzeit nichtfunktional

== VPN-Endpunkt ==
* Bedarf
** IT + BuVo + SAGE = ca 150 Tunnel mit 4-8 Rechteklassen
** min. 25 RDP-Sitzungen mit je 2-4 Mbit => min. 100MBit/s VPN-Durchsatz
* aktuell:
** OpenVPN in Handarbeit
** VPN-Nutzung unter Windows benötigt Admin-Rechte
* Wünsche
** VPN mit LDAP
** AntiVirus für FTP
* Alternative SSH-Tunnel
** zur Administration von SSH-Keys keine Admin-Rechte nötig
** aber: SSH TCP-Forwarding nur schwer eingrenzbar
** vom Internet erreichbarer SSH-Port auf interne Systeme soll nicht sein, da Risiko
* angedacht war: Gateprotect VPA
** kaum bekanntes Firewallprodukt auf Debian-Basis
** proprietärer Windows-only VPN-Client auf Basis von IPSec (ohne NAT-T) oder OpenVPN
** kann für VPN kein LDAP, kein RADIUS
** für benötigte Funktion teuer
** Windows-Only Adminclient
* Alternative: PF-Sense
** http://www.pfsense.org/
** CD-Appliance auf Basis von FreeBSD + PF
*** IPSec
*** OpenVPN auch mit LDAP http://blog.stefcho.eu/?p=528
*** PPTP mit RADIUS
** Failover incl. Durchreichen einzelner Interfaces: wenn Master-eth0 kaputt ist und gleichzeitig Slave-eth1, dann funktioniert die Verbindung eth0-eth1 immer noch, da über Master-eth1+Heartbeat+Slave-eth0 umgeleitet
** Administration ausschließlich über Web-Oberfläche (Konsole + SSH-Shell verfügbar, aber nur für Installation nötig)
** fertige Hardware-Appliances verfügbar http://www.pfsense.org/index.php?option=com_content&task=view&id=44&Itemid=50
*** CD-Image herunterladen, auf vorhandem PC installieren (grob: 1 GHz für 100Mbit/s VPN)
* Alternative: Cisco ASA
** 5510 wahrsch. zu klein, also 5505?
** teurer
** CLI-admin
** proprietärer Client (?)
* Alternative: Juniper SRX
** nur CLI-admin (Weboberfläche praktisch unbenutzbar)

[[Kategorie:IT-Infrastruktur|Architektur und Hardware]]

Archiv:2012/IT/Architektur und Hardware - Versionsgeschichte

imported>JanRei: JanRei verschob die Seite IT/Architektur und Hardware nach Archiv:2012/IT/Architektur und Hardware