IT/Protokolle/2010-03-22 - Technik-Telko
- Einwahl via Mumble:
- Server: mumble.piratenpartei-nrw.de
- Raum: "Zweig der innerparteiliche Arbeit" -> "Bund" -> "da IT" -> "BundesIT Telko"
- Einwahl via Hessenasterisk:
- Festnetz: 069 175 36 743 (Sipgate)
- sip:500@sip.piratenpartei-hessen.de
- Raum: 9002#
- Uhrzeit: 2100 CET oder CEST
Als Gast bitte selber stummschalten, solange man nichts sagen möchte, um unnötige Hintergrundgeräusche zu reduzieren. Falls das eigene Telefon dafür keine Funktion bietet, ist dies auch mittels der Tastenkombination *1
möglich. Mit derselben kann man sich auch wieder auf laut stellen.
Ebenso sollte die Verwendung von Freisprechfunktionen vermieden werden, da diese Echos erzeugen.
Innerhalb der Konferenz kann man mit der *-Taste ein Menü abrufen. Die Menübefehle sind im Einzelnen:
- 1 schaltet das eigenen Mikrofon stumm oder wieder aktiv
- 4444448 stellt den eigenen Lautsprecher leiser
- 6666668 stellt den eigenen Lautsprecher lauter
- 7777778 dämpft das eigene Mikrofon
- 9999998 verstärkt das eigene Mikrofon
IT-Telko 22.3.2010
von 21:10 bis 0:11
Versammlungsort
HE:Telefonkonferenz (069 175 36 743), Raum 9002#
Anwesend
Bundes IT
- Jan Marten "jamasi" Simons
- Christoph "chrit" Löhr
- Stefanie "steffi" Schöllhammer
- Thorsten "bmstettin" Fröse
- Hanno "rince" Wagner
- Andreas "gecko" Gockel teilweise anwesend
- Peter "pita" Martischka
- Miles "sMesHer" Möller
- Silvan "silste" Stein ab 21:55
- Nikki "dyfa" Britz
- Sebastian "sebi" Mohr
- Rüdiger "rpr" Pretzlaff
- Jürgen "jpru" Unger
- Michael "ike" Vogel
- Florian "panky9" Pankerl
Sonstige
- Stefan "Trias" Ackermann
- Arvid
Abwesend
- Phillip "zyanklee" Scholz (der hat noch 3 Wochen Urlaub))
Ausfall 18.03/19.03.2010
- Virtuelle Maschinen liefen wegen vergangenem Ausfall noch auf LVM-Snapshots
- diese waren wegen knappen Speicherplatz klein gehalten und wurden periodisch überwacht
- der Server, auf dem wir die Instanzen aufteilen wollten, war bis Sonntag morgen in Reparatur
- Jamasi wollte ein Update der Wiki-Software machen (Do, 22:30?)
- dazu kopierte er das Wiki-Verzeichnis als Backup (8GB) im Snapshot (4GB), der dadurch überlief
- deswegen waren weder Schreib- noch Lese-Zugriffe auf den Snapshot möglich ( http://tldp.org/HOWTO/LVM-HOWTO/snapshotintro.html )
- Wir haben einen neuen Snapshot ab dem Zeitpunkt des Ausfalls erzeugt und diesen wieder von vServer nach KVM migriert. Dabei wurden bei den Diensten der Dateienbestand von vor einer Woche eingespielt. (Do, ca. 23:30)
- Forum war nicht betroffen, da keine Dateien verändert / eingespielt wurden
- Planet musste ein Fix erneut eingespielt werden
- Im Int-Wiki mussten Anpassungen wegen der Geschwindigkeit gemacht werden, allerdings wurden keine Dateien hochgeladen; kurzzeitiger Lese-Modus bis zur Klärung des Sachverhalts
- Im Bundes-Wiki mussten ebenfalls Anpassungen wegen der Geschwindigkeit gemacht werden, jedoch wurden ca. 300 Dateien hochgeladen; Lese-Modus bis auf weiteres.
- Rettungsoperation 1: Herunterladen der Dateien aus dem Netz aus dem Squid-Cache und nachträgliches Wiedereinpflegen via Dateisystem ins Wiki (Fr, 0:00-5:00) durch Jamasi
- Erstellen einer Liste fehlender Dateien durch Jamasi
- Rettungsoperation 2: Suchen einer Möglichkeit, auf den Datenbestand übergelaufener LVM-Snapshots zugreifen zu können (Fr, 0:00-6:30) durch Sebi
- Einlesen in den Quellcode bzgl LVM und Snapshots im Linux-Kernel ( http://tomoyo.sourceforge.jp/cgi-bin/lxr/source/drivers/md/dm-snap-persistent.c http://tomoyo.sourceforge.jp/cgi-bin/lxr/source/drivers/md/dm-exception-store.c http://tomoyo.sourceforge.jp/cgi-bin/lxr/source/drivers/md/dm-exception-store.h http://www.mjmwired.net/kernel/Documentation/device-mapper/snapshot.txt ) (Fr, -3:00) durch Sebi, Chrit und rpr
- Auffinden eines Tools ( http://markmail.org/message/7qdbp36tohasojuy "quick and dirty tool, Warnung vor Datenverlust beim Einsatz, unsupported, arbeitet am Kernel vorbei", etc.), welches unser Problem lösen könnte (Fr, -1:00)
- Analyse der Situation (Fr, -3:00)
- Analyse des Tools (Fr, -3:30)
- Anpassen des Tools (Fr, -4:00)
- Durchführung der Rettungsaktion auf weiteren LVM-Snapshot (Fr, 4:00-5:20)
- Anschliessender Filesystem-Check (ohne Journal wäre der heftig geworden, mit Journal war das relativ sauber) (Fr, 5:30-6:00)
- Einhängen des reparierten Snapshots und kopieren der fehlenden Dateien auf den neuen Snapshot (Fr, 6:00-6:30)
- Wiki auf Schreibmodus schalten (Fr, 6:30)
Vorsorgemaßnahmen:
- LVM-Snapshots zügig durch echte Volumes ersetzen
Piraten-Planet/-Mond
- Planet zusätzlich splitten (offiziell(blog.pp)/privat(piratenblogs.pp))
- Mond auf BY-IT läuft gut. (subdomain mond.pp dahin leiten?)
Unterstützung Sync/Moderation
- Gesucht: jemand mit Ahnung vom phpBB (mod-Erfahrung)
- Kandidaten: Yogi
- Steffi stellt Kontakt zwischen Michael und geeigneten Foren-Mods her.
- Synchronisation von Benutzerrechten (News/Forum) läuft, muss getestet werden.
Spendenaktion
- vom BuVo abgesegnet.
- kommt morgen aufs Piratenportal (Website)
- Interessante Hürden, den richtigen Ansprechpartner zu kriegen.
- dyfa lässt dann die Verbreitungsmaschinerie anlaufen...
- Umsetzung von dyfas Vorschlägen in dieser Bildform zum Erklären ins wiki. Muster: http://666kb.com/i/bhpsp9kivud19zapk.png
- Geldeingang und Verwendung wird im Wiki auf der Seite IT/Kostenplanung dokumentiert.
Forum
- Beschluss Beauftragung von letzter Woche erweitern
- zusätzliche kommissarische Mods
- Beschluss: Stefanie "steffi" Schöllhammer und Thorsten "bmstettin" Fröse können selbständig weitere Mods einsetzen.
- dafür:
- jamasi
- Rince
- dyfa
- jpru
- chrit
- sMesHer
- Sebi
- Panky9
- gecko
- dafür:
- Enthaltung:
- bmstettin
- pita
- Ike
- Steffi
- Enthaltung:
Wunschzettel LV Saarland
Backuplösung für LV Saarland
- Offsite-Backup für LV Saarland
- Datenvolumen: 4GB
- Storagetyp: IMAP-Folder; Maildir-Format; Funktionsaccounts (Schatzmeister et al.)
- Nur Backup, keinen weiteren Dienst der Bundes IT
- Nur auf die Festplatte, nicht in den externen Backupspace (100GB pro Server)
- tägliches Backup
- Retention Time: 1 Tag --> 1 Backup; vielleicht nett sein und ein Child
- Backup verschlüsseln ist nicht notwendig
- eigene KVM-Instanz, minimal RAM, minimal CPU, ein User Zugriff für rsync und das wars
- geplanter Backup-Space: 2GB System, 8 GB Daten (10GB gesamt)
- geplant von Saarland: Shell-Account, rsnapshot
- Ansprechpartner (Saarland): Jan Niklas Fingerle
- Welche Kosten für sie? / Kasten Bier
Subdomains für Saarland
- sl.piratenpartei.de
- saar.piratenpartei.de
- saarland.piratenpartei.de
- Ziel: Selbstverwaltung / Secondary
- Zonen per TSIG über DNS verwaltbar, Saarland stellt selber Secondary DNS
- Ansprechpartner (BundesIT):
- Andreas "gecko" Gockel
- Christoph "chrit" Löhr nach Einweisung
- Ansprechpartner (Saarland):
- Andreas "gecko" Gockel nimmt Kontakt mit Jan Niklas Fingerle auf um zu klären, wer (2 Personen) einen TSIG key erhalten soll und wie die IP des Secondary-DNS Servers sein soll
int-wiki
- jamasi hat bisher nichts neues von AlBern und Steffen gehört. Er fragt mal nach wegen NDA und so.
BSG-Wiki
- steht
- könnte als Template für weitere Wikis herhalten
- Besonderheit: PostgreSQL
IT-Policy
Nikki "dyfa" Britz hat nach den Anforderungen in der BuVo-Telko eine Rohfassung einer IT-Policy zusammengestellt. Diese muss noch ergänzt und überarbeitet werden: http://it.piratenpad.de/itpolicy (erster Entwurf [Alpha !!!], die zukünftige Releaseversion muß dann noch vom Vorstand beschlossen werden.)
- Dyfa arbeitet weiter dran
eMail-Adressen-Vergabe
Entwurf: http://it.piratenpad.de/17
(Ebenso eine Domain-Policy-Vergabe machen?)
Migrationen und Probleme
Testforum
- Im mom arbeitet Chrit in einem Testforum um die Umstellung auf eine eigene Box endgültig abzutesten.
- Last-Test steht noch aus.
Testwiki
- Im mom arbeitet Chrit in einem Testwiki um die Umstellung auf eine eigene Box endgültig abzutesten.
- Sebi hilft
Mailservermigration steht immer noch bevor
- Accounts sollen einzeln migriert werden, um Downtime zu vermeiden. Große Accounts über Nacht.
- Rüdiger "rpr" Pretzlaff hat dafür ein Script gebaut, was sich um eine saubere Migration kümmert.
- Da beide (alt/neu) aktuell auf einer Kiste liegen wird das ganze einfacher und schneller ablaufen. MX muss noch etwas die Config überarbeitet bekommen und dann getestet werden.
- geplant für kommendes Wochenende + Murphy und Murphy war da :)
DB-Web-2
- KVM will noch net so ganz.
- Sebi hilft, Rince auch wenn notwendig
- Replikation?
Squid
- Muss auch noch portiert werden
Ausfälle
- appa fällt uns alle 48h gegen 16:30 uhr aus; wir sollten herausfinden was um diese Uhrzeit loslegt
- Hardwareprobleme mit Blackpearl - Status:
- Gutschrift erhalten (1 Monat)
- mehrfache HDD-Wechsel
- Offizielle Stellungnahme von OVH wurde angefordert bzgl. Wartungsdauer, Reaktionsgeschwindigkeiten usw.
Drupal
- Jürgen "jpru" Unger im Moment Versuch upload-Problem zu reproduzieren bzw. der jetzt übermittelten Fehlermeldung auf den Grund zu gehen,
dafür im Moment Kontakt zu Daniel Flachshaar
- Einbindung vom Planet-Feed muss ich mir noch genauer anschauen (erstmal Funktionsweise verstehen...)
akt. Auslastung der Maschinen
| CPU | MEM | Blackpearl | 5 | 8 | Bounty | 16 | 17 | Revenge | 14 | 20 |
weiteres System mieten?
Auslastung der Systeme:
- revenge IO-mäßig ausgelastet
- bounty RAM-mäßig ausgelastet
- blackpearl muss noch neu gemacht werden, ist aber auch schon voll (geplant)
- => Keine Luft für NRW-Wahl und bei Ausfall von Systemen
- Beschluss
- weiteres System bestellen nach entsprechend positiver Stellungnahme von OVH.
- dafür:
- Rince (möglichst mit Stellungnahme auch mehr Geld einsparen)
- gecko
- jamasi
- Sebi
- bmstettin
Planung Rechenzentrums-System
- Parallel dazu noch eine Top-Down-Bedarfsanalyse erstellen (benötigte Ressourcen jetzt, in einem Jahr, in zwei Jahren
- http://it.piratenpad.de/server <-- Hardware-Zahlen (Intern)
- AixIT-Angebot bzgl. Dell-Servern berücksichtigen bzw. Details nachfragen
Monitoring MySQL via Nagios / Munin
- Wir sollten MySQL stärker monitoren: Genereller Healthcheck der mysql-server, aber und vor allem die Replikation
- das ganze via Nagios / Munin
- Munin möglichst schnell einrichten für alles, nagios dann andocken.
- Kann Rince machen; nur für MySQL oder auch für anderes?
Status
Piratenpad-Server
Aufbau:
- etherpad & mysql auf kvm instralliert
- squid-weiterleitung vom original Server zur kvm
- munin überwachung auf paddy.piratenpad.de
Bisherige Probleme:
- 2 Pads unbeschreibar (piratenradio)
- Export funktioniert nicht (wird dran gearbeitet)
- RAM etwas wenig (evtl. ein memleak?)
- zum Testen mal nachts (so um 5 Uhr) neu durchstarten
- Dyfa debuggt das mit Pita
- jpru kriegt ein Eis, wenn er das Dings in der DB findet. ;-)
Fragen:
- KK-Antrag
- Wer kann den DNS Server konfigurieren? (gecko)
- Todo: Zone konfigurieren auf Hidden Primary
- *.piratenpad.de auf 178.32.28.207
- www.piratenpad.de auf 84.38.67.57
- Todo: Unseren DNS-Betreiber informieren, dass da noch eine Domain kommt?
- Todo: KK Antrag stellen (dyfa/pita) Erstmal noch warten
- Wo soll ich da anfangen?
- Web Server
- Piwik und Startseite bisher auf persönlichem Server. Das auch mit übernehmen? (vlt krieg ich auch nen hack mit squid hin, dann wird keine eigene kvm benötigt)
- Kann mich der Nagios per Email benachrichtigen?
- Ja, rpr richtet das ein.
neue Features:
- Browser/IP anzeige abgeschaltet
- Google Analytics abgeschaltet &durch Pwikis ersetzt. Zur Fehlerbehandlung unrelavante Logs werden täglich gelöscht
- Farbtests. Bisher wurden Tests mit bis zu 32 Farben durchgeführt. Wird wohl bald ins produktive übernommen
Installationsserver
- läuft gut und wurde oft getestet.
- Produktivbetrieb
- Einzuweisen:
- jpru hat gut von seinem Meister gelernt und wird Andreas "gecko" Gockel und Hanno "rince" Wagner einweisen (oder seinem Meister)
- Doku wird dabei laufend weiter verbessert
- jpru hat da mal was zusammengestellt
Mitgliederverwaltung
- Dyfa hat jetzt eine Liste von Problemen im CiviCRM (muss sie immer noch niederschreiben)
- MySQL-Debugging in der MV-Instanz (Hanno "rince" Wagner, Nikki "dyfa" Britz)
- Dyfa wartet auf Instanz ("calico" tut grad was anderes...)
- Rince will andere MySQL-Version ausprobieren um lange Selects zu testen / optimieren ---> eigene Instanz bzw. Snapshot?
- erstmal offline mit dummy-daten testen
- Sebi hilft bei Verschlüsselung
Online-Mitgliedsantrag
- nix Neues, zu viel anderes zu tun
Anforderungsmanagement
- Demoformular (derzeit noch ohne Funktionalität) unter
http://www.addict.de/dyfa/piratendings/antrag.php
- Ergänzungen usw. bitte direkt an dyfa
- Liste möglicher Konfigurationen usw. kommt ins Wiki
- Ebenso die Vergaberichtlinien und "Einkaufshilfen" (Anleitung, welches das beste Package für welchen Zweck ist.)
- Splittung Mailinglistenantrag / sonstiger Antrag + ML Fragenkatalog steht noch aus
- wird dann als Mail ans OTRS geschickt.
Jabber
- FAI/puppet-Skripte müssen noch erstellt werden (Phillip "zyanklee" Scholz, Rüdiger "rpr" Pretzlaff)
- ist Backup aktiviert? Wird wieder eingerichtet. Teils erledigt, Teile noch in Arbeit.
- Datenbankbackup nun via mysql-slave auf neuer KVM-Instanz dbmirror
- Einrichtung auf dbmirror für den Betrieb mehrerer mysql-slaves für die Spiegelung mehrerer mysql-Instanzen durch in Vorbereitung (rpr). Danach sollen dann alle mysql-Instanzen dorthin gespiegelt werden.
Log-/Stat-Server
- leider nichts Neues (low prio)
- Mangels Resourcen geschoben, wird nach dem Abschalten der Notfalllösung erstellt.
- Dort soll dann auch die Auswertung der squidlogs sein
Server für die Hotelbuchung zum Bundesparteitag
- Chrit hat das System soweit fertig, wartet nur noch auf Freigabe
- LAMP 1CPU / 2GB / 6GB
- Wird nach der Freigabe neu ínstalliert und kann gegen Übergabe des SSH-Keys übergeben werden
- scamp muss noch NDA unterzeichnen.
Bewerbungen
Keine neuen Bewerber, trotz des Aufschreis nach dem letzten großen Ausfalls. Keine Meldungen trotz entsprechender Ankündigungen in Mailinglisten
Wir sollten die konkreten Stellen, wo man helfen kann, klarer benennen.
NDA/Datenschutzerklärung
- Erinnerung: NDA muss jeder unterschreiben und zur Bundesgeschäftsstelle schicken (möglichst bald).
- NDA: zu finden auf IT/Material
- Fax: 036601-945145-9 (Sipgate) (Telefon)
- noch nicht erledigt:
- AlBern
- scamp
Piraten-LDAP
- kein Fortschritt (wegen Forum und so) :-(
- OpenID dockt dann an LDAP an.
- Vorbereitungen zum Token-Versand mit BPT-Einladungen/Mitgliedsausweisen laufen.
- unklar: kommen die Karten für die Mitgliedsausweise rechtzeitig an?
- Ankündigung an die GenSeks: Alle Mitgliederdaten auf dem neuesten Stand halten! Über die Verwaltungs-Liste schicken (jamasi schickt via chrit-proxy)
- Berlin: planen auch OpenID, würden ggf. unterstützen.
- Kontakdaten von Berlin bitte zukommen lassen oder direkte Kontaktaufnahme durch Berlin Thorsten "bmstettin" Fröse
Domains
- RLP: nix Neues
Backups
- müssen nach der jetzt erfolgten Notfallmigration wieder weitgehend neu organisiert und aufgesetzt werden, ist in Arbeit
- Platznutzung auf FTP muß noch weiter optimiert werden
- Restore aus MySQL-Backup war beim letzten Ausfall erfolgreich.
- Zusätzlich: Replikation über MySQL-Slave für Backup bzw. Testzwecke
- Evtl. Xtrabackup von Percona anschauen
- Wir schauen es uns an und besonders in Hinsicht auf Recovery
- Laut einigen Entwicklern ist es besser logische Dumps (xtrabackup / mysqldump) zu machen als Snapshots (mylvmbackup)
Housing
Zeitplan:
- Geldsammlung für Hardware bis Mitte April
- Hardwarebestellung: Mitte April
- Umzug der Dienste ins RZ: Ende April/ Anfang Mai
Planung Asterisk
- http://it.piratenpad.de/Telkoserver (IT-intern, WIP)
- Testserver im Aufbau (test von tine 2.0)
- Asterisk läuft
- Meetme erweitert (Memcache-Anbindung) - läuft
- Etherpad-Anbindung
- geplant, mangels Arbeitsspeichers (braucht 2GB Ram) gerade Stillstand
- Erhöhung eingeplant
- geplant, mangels Arbeitsspeichers (braucht 2GB Ram) gerade Stillstand
- (Thorsten "bmstettin" Fröse, Miles "sMesHer" Möller)
forum.piratenpad.de
- Zugang zu forum.piratenpad.de wäre sinnvoll. Mit Pita und alter AG Forum abklären (in Forums-Telko?).
Registrar-Wechsel
- http://tecspace.net/domainpreisliste.html
- Denic-Mitglied ist Strato AG
- hat günstige Konditionen für Domains
- NS, MX, A, alles drin
- Jamasi schaut sich das mal an
- Webinterface macht keinen guten Eindruck, Datenschutzproblem
Weitere Alternativen sind willkommen:
- http://www.schlundtech.de/ Rahmenvertrag (habe damit eigentlich nur gute Erfahrung gemacht, ich auch.)
Strato Resseler Rahmenvertrag.
Schlundtech und Strato der Rahmenvertrag ist kostenlos, man bezahlt nur die reinen Domains. Mag gegenüber den anderen Anbietern ggf. teurer sein aber tecspace zeigt ja was dabei raus kommen kann.
Planung der nächsten sieben Tage
- Aufräumarbeiten
- Baden-Württemberg-Server (lizzy)==(Elisabeth Swan) auf revenge, end-ip auf .198 (sebi) Server ist da, fehlt: Mailconfig+DNS), Wordpress via Hand nachinstalliert
- Dokumentation der jeweils aufgesetzten Dienste (jeder, der was neu aufsetzt)
- Tickets abarbeiten
- munin aufsetzen macht Rince; auf allen kvm-instanzen hinzufügen
- Munin-Hauptserver auf Log-Server---> höhere Prio
- DB-Tuning (Hanno "rince" Wagner, Andreas "gecko" Gockel)
- Wiki-Tuning/migration/update z.B. SemanticMediaWiki (Jan Marten "jamasi" Simons)
- Hardware-Konzept / Spendenaktion starten! (Nikki "dyfa" Britz et al.)