Hallo liebe Leute und @wien.rocks User*innen!
Willkommen in der nächsten Ausgabe unserer Informationsreihe zu @wien.rocks!
Wie bereits seit langem angekündigt ziehen wir @wien.rocks auf eine neue Infrastruktur um - und jetzt haben wir endlich einen Termin!
Kommenden Sonntag, den 12.02.2023, um 15:00h geht es los!*
Alle notwendigen Hardwarekkomponenten sind nun eingetroffen und installiert, Mastodon läuft bereits am neuen Openshift Cluster, der Migrationsplan ist geschrieben, die einzelnen Schritte auch schon größtenteils abgetestet, und wir scharren schon alle in den Startlöchern und sind frohen Mutes, das alles klappt!
Wenn wir dann am Sonntag mit der Migration starten, wird @wien.rocks während den Migrationsschritten, die wie durchführen müssen, für ca. eine Stunde offline gehen. Dabei passiert in etwa folgendes:
- Abschaltung der Services/Komponenten der bestehende Mastodon Installation - Beginn der Downtime
- Inkrementelle, finale Datenübernahme
- Aktivieren der neuen Datenbank (wird bereits repliziert, wir brechen nur die Spiegelung)
- Aktualisierung auf Mastodon 4.x
- Anpassen der DNS Einträge
- Go-live neue Infrastruktur - Ende der Downtime
Während der Umstellung werden wir hier parallel ein Announcement pflegen, in dem wir über den Fortschritt der Migration informieren und euch, so gut es neben der Durchführung der ganzen Tasks geht, auf dem laufenden halten.
Der einzige Punkt, den wir nur bis zu einem gewissen Grad beeinflussen können, ist die Geschwindigkeit, mit der die Änderung der IP von @wien.rocks im globalen DNS propagiert. Wir werden zwar schon vorab die Zeit herabsetzen, die unsere Einträge gecached werden können ("DNS TTL" - "time to live"), aber ob die DNS-Betreiber das so übernehmen steht auf einem anderen Blatt.
Sollte wider erwarten etwas grundlegend schief laufen, dann haben wir auch einen back-out Plan und würden die alte Infrastruktur wieder aktivieren. Als maximalen Zeitraum für die Migration haben wir fünf Stunden festgelegt - sollten wir es bis 20:00h nicht schaffen, die Instanz auf der neuen Infrastruktur voll funktionsfähig zu bekommen, dann geht es zurück auf die alte Installation.
* Ein kleines Hintertürchen müssen wir uns allerdings noch offenhalten, denn einen großen Vorbereitungstask haben wir noch vor uns. Aktuell betreiben wir nämlich einen alten Storage mit ca. 25TB an Daten und auch einigen VMs, für den wir erst soeben ein neues Ersatzgerät bekommen haben. Dieser neue Storage wird dann auch für wien.rocks als Unterbau dienen. Wir müssen allerdings noch die ganzen Bestandsdaten übernehmen und noch einige abschließende Arbeiten an der Hardware und der Verkabelung durchführen. Wenn das alles wie geplant klappt, dann wird am Sonntag migriert.
Viele Grüße, drückt uns die Daumen und bis demnächst,
@b2c
PS: Falls ihr Fragen dazu habt kontaktiert uns gerne auf @wien.rocks:
Neue Infra - Rackansicht
oben: Storage
unten: Bladechassis
Hallo liebe Leute und @wien.rocks User*innen!
Willkommen in der nächsten Ausgabe unserer Informationsreihe zu @wien.rocks!
Diesmal wollen wir die zukünftige Infrastruktur etwas detaillierter präsentieren. Der Plan ist ja, von der bestehenden Installation, die alle Komponenten, die zum Betrieb einer Mastodon-Instanz notwendig sind, monolithisch auf einem Server vereint, zu einer skalierenden Platform zu migrieren.
Der "Umzug" ist daher nicht so trivial, wie man denken möchte - es genügt nicht, die bestehende Installation einfach auf einen stärkeren Server zu "kopieren", weil Mastodon so nicht skaliert[1][2][3][4][5][6]. Das Hauptproblem ist hier die technologische Basis, auf der Mastodon basiert, nämlich Ruby bzw. die Ruby Virtual Machine, in der der ganze Applikationsstack läuft.
Stattdessen gilt es, alle zu skalierenden Komponenten zu isolieren und in einer Form zu betreiben, die sich horizontal skalieren lassen. Bei Mastodon sind das in erster Linie:
- Sidekiq Job Queues ("Middleware")
- Puma Web frontend worker ("Webserver")
Diese sind für die Präsentation der Webinhalte sowie der Abarbeitung von jeder Art von Nutzerinteraktion (Posten, Bildupload, etc.) zuständig.
Dankenswerterweise veröffentlichen die Programmierer von Mastodon sogenannte Applikationscontainer, die sich dann auf beliebigen Containerplattformen (cloud sowohl als on-premise) in Betrieb nehmen lassen. Wir haben uns hier für OpenShift (bzw. die frei verfügbare Variante OKD) entschieden, und dieses auf unserer neuen Infrastruktur in Betrieb genommen.
Infrastrukturlayout - Hardware
Als Basis dient ein sogenanntes "Bladechassis", das modular um Server erweitert werden kann, falls notwendig. Alle Komponenten wie z. B. Netzteile, Festplatten, Netzwerkmodule etc. sind hier redundant ausgeführt, um auch im Falle einer notwendigen Hardwarewartung einen unterbrechungsfreien Betrieb zu gewährleisten. Das Netzwerk ist zwischen allen Komponenten mit 10GbE-Komponenten verbunden, um Flaschenhälse bei der Bandbreite zu eliminieren.
Als Storage kommt ein ebenso redundant ausgelegtes Enterprise Storagesystem eines namhaften Anbieters zum Einsatz, das Datensicherheit und Verfügbarkeit garantiert.
Infrastrukturlayout - Software und vertikale Integration
Hier noch ein Überblick über die einzelnen Softwarekomponenten der Mastodon-Instanz @wien.rocks und deren Integration:
Viele Grüße und bis demnächst,
@b2c
PS: Falls ihr Fragen dazu habt kontaktiert uns gerne auf @wien.rocks:
Zitate
- [1] https://github.com/hachyderm/community
- [2] https://medium.com/@kris-nova/hachyderm-infrastructure-74f518bc7472
- [3] https://leah.is/posts/scaling-the-mastodon/
- [4] https://hazelweakly.me/blog/scaling-mastodon/
- [5] https://github.com/mperham/sidekiq/wiki/Using-Redis#multiple-redis-instances
- [6] https://gist.github.com/Gargron/aa9341a49dc91d5a721019d9e0c9fd11