expliki - Blog

Es hat zwar sehr sehr lange gedauert, bis Hostpoint ihr Performanceproblem gelöst hat, die Lösung aber ist dafür um so beeindruckender.

In den letzten Monaten war die Performance von Hostpoint eigentlich gar nicht mehr akzeptabel: Dynamische Webseiten wie MediaWiki, Gallery2 oder Joomla waren kaum zu betreiben, da die Ladezeiten extrem lange waren. Es gab regelrechte Stunden andauernde Phasen, in denen man auf einen Seitenaufbau weit über 45s warten musste. Am Ende war es so schlimm, dass z.B. der GoogleBot aufgrund der langen Ladezeiten Timeouts meldete und die Seiten nicht mehr crawlte.

Die Loadwerte der Server waren sehr hoch, siehe Diagramm (ab ca. Mitte Mai neue Lösung, bitte anklicken für bessere Auflösung):
Weitere Diagramme hier.

Obwohl Hostpoint von einer selbst entwickelten Lösung spricht, wurde nun wohl eine abgewandelte Version von FastCGI eingeführt. Dies hat zu einer verhältnismässig extremen Performancesteigerung geführt, welche sich meiner Meinung nach sehen lassen kann.

Die Zeit vor der Änderung hat viele Nerven gekostet. Die neue Lösung kam spät (für sehr viele zu spät), aber sie ist soweit gelungen. An dieser Stelle möchte ich deshalb trotzdem ein Lob an Hostpoint aussprechen - nach all dem Tadel.

Heute wurde das expliki Forum von phpBB Version 3.0.0 RC7 auf 3.0.0 release upgedated.

An dieser Stelle mal ein Lob an Hostpoint - der Wechsel zu Open-Xchange ist sicherlich ein Schritt nach vorne und bringt einen Mehrwert! Ich kenne Open-Xchange bereits aus eigener Erfahrung und kann es nur empfehlen.

Nachtrag: Natürlich ändert die neue Webmail-Suite nichts an den anderen Problemen

Nachtrag2: Vermutlich durch die Tatsache bedingt, dass Open-Xchange intentiv Ajax benutzt, läuft dieses offensichtlich z.B. nicht mit dem Safari Browser, siehe bei MacMacken.

Heute Morgen haben sich mal wieder sämtliche Hostpointdomains verabschiedet. Nichtmal mehr die die Hostpoint Hauptdomain www.hostpoint.ch war erreichbar. Ob dies mit der in der Nacht zuvor durchgeführten Mailservermigration zusammenhängt ist Spekulation, liegt aber nahe. Man konnte/kann feststellen, dass der Mailabruf (angeblich aufgrund hoher Last) sehr sehr langsam vonstatten ging/geht. Musste ein Cluster neu gestartet werden? Der mySQL-Cluster war auf jeden Fall nicht mehr erreichbar. Man weiss es nicht. Ärgerlich - einmal mehr!

Nun wurde also auch der Server migriert, auf welchem expliki.org liegt. Man hat ja schon so einiges gehört über das neue Control Panel (welches anscheinend von Hostpoint selbst entwickelt wurde) und das meiste war nicht so gut - von wegen jetzt ist alles noch langsamer und das Control Panel sei unübersichtlich etc.

Mein erstes Fazit fällt aber etwas anders - positiver aus. Nach den ersten Stunden nach der Migration habe ich nicht das Gefühl, dass irgenetwas langsamer wurde als vorher (ich sags mal so: alles ist immer noch gleich langsam), subjektiv glaube ich aber sogar einen klitzekleinen Performance-Zuwachs erkennen zu können - aber erst mal abwarten und schauen wie sich alles entwickelt. Sicherlich kann eine endgültige Aussage sowieso erst nach der Beendigung der Migration Sinn machen.

Bezüglich des Control Panels bin ich positiv überrascht - mir gefällts eigentlich ganz gut. Ich finde es auch anders als andere ganz übersichtlich. Mit Mailman gibts immer noch Probleme, aber das liegt an Mailman selbst und nicht am Control Panel.

Apache wurde ja auch auf die 2er Version migriert. MinSpareServer und die anderen Parameter sind nun anders als vorher so konfiguriert, dass immer so um die 150 apache Prozesse laufen (default?). Bei den mysql Preozessen sind es dafür ein paar weniger, siehe unten.

Übrigens: Die Downzeit für die Migration betrug nur etwa 15min - das ist ja auch nicht schlecht. Schade nur, dass es sonst manchmal Stunden dauert, bis überhaupt jemand auf tote Server reagiert. Alles in allem eine gelungene Migration, wenigstens auf server44.

MediaWiki wurde für expliki von Version 1.9.4 auf 1.11.0 geupdatet…

Schon wieder war Server44 von Hostpoint (also der Server auf dem expliki.org gehostet wird) 4h nicht erreichtbar! Ich war und bin immer noch wütend darüber.

Offensichtlich braucht es bei Hostpoint am Wochenende mindestens 2h und 13min bis sich ein Admin endlich um einen nicht mehr reagierenden Server kümmert. Dann braucht es nochmals etwa 2h bis ein Problem, das man meiner Meinung nach in 2min hätte lösen können, behoben wird.

Der Server war down (apache und mysql deamon reagierten nicht mehr) ab 18:00:

Um 20:13 loggte sich das erste mal ein Admin ein:

@server44 [~]$ last | grep root
root ttyp2 85.0.135.52 Sun Sep 16 21:14 - 21:20 (00:06)
root ttyp0 80.219.56.191 Sun Sep 16 20:13 - crash (00:12)
root ttyp2 80.218.133.207 Fri Sep 14 15:13 - 15:18 (00:04)
root ttyp1 80.218.133.207 Fri Sep 14 14:21 - 15:17 (00:55)

12min später crashte der Server und nach dem Neustart lief immer noch nichts. Der nächste Admin bemühte sich erst etwa eine Stunde später wieder und loggte sich für schmale 6min ein. Der Server lief aber immer noch nicht! Ein kurzes hinsehen auf die laufenden Prozesse offenbarte klar das Problem: Dutzende apache und mysql Prozesse ein und desselben Users (den Namen möchte ich hier nicht nennen) brachten den Server an die Limits:

@server44 [/var/log/domlogs]$ ps -U username | wc -l
72

Ein einfaches:

mv /home/username/public-html /home/username/block_public-html

hätte meiner Meinung nach gereicht um das Problem zu lösen. Wieso man dazu 4h braucht ist mir schleierhaft und macht mich wütend.

Unvermögen, Faulheit oder schlichte Verarschung der Kunden? Bitte klärt mich auf liebe Hostpointleute!

Hostpoint verursacht bei mir ein ambivalentes Verhalten - Ambivalenz, ein Hauptsymptom der Schizophrenie Auf der einen Seite mag ich Hostpoint, es gibt da ein paar wirklich gute Leute und aus technischer Sicht gefällt mir Hostpoint auch. Auf der anderen Seite wird man als Kunde von Hostpoint als dumm verkauft. Die Statusmeldungsseite ist ein Witz und kein Byte wert. Das Problem liegt glaub ich nicht an den Leuten selbst, sondern an der Arbeitsmoral.

Als Kunde von Hostpoint sollte man schon eine ganz gehörige Portion Toleranz mit sich bringen!

Ein Newsletterservice befindet sich im Alphastadium. Die ersten Tests sind sehr positiv verlaufen. Sinn macht ein solcher Dienst aber erst, wenn sich mehr User auf expliki registriert haben. Darum bleibt der Service, der mit Mailman realisiert wurde, noch inoffiziell.

Weiterhin habe ich eine Software auf dem Server installiert, die beliebige statistische Daten aufbereiten und grafisch darstellen kann. Das Tool nennt sich Cacti. Da ich dasselbe Tool schon für viele andere Servermonitoringaufgaben einsetze, kannte ich es schon aus vergangener Zeit.

Momentan werden erst ein paar wenige Daten überwacht. Über Skripte lese ich Daten alle 5 min aus der expliki-Wiki Datenbank aus und übergebe sie Cacti. Die Diagramme sind hier aufrufbar.

Um den fast halbstündlichen Spam-Bot-Anmeldungen im Forum ein Ende zu bereiten, wurde der Mod Textual Confirmation installiert. Ich hoffe so die lästigen Bots fernhalten zu können.

In den letzten Tagen habe ich einige kleine Ergänzungen gemacht…

Folgende MediaWiki Extensions wurden installiert:
- “Cite”, für /ref /references tags
- “Linksearch”, für das Suchen nach Weblinks in expliki
- “New User Email Notification”, sendet mir nach jeder Neuanmeldung ein Mail

Folgendes phpbb Mod wurde vorbereitet, aber noch nicht installiert:
- “Textual Confirmation”
Dieses Mod verhindert SPAMBots das Anmelden. Ich werde das Tool erst komplett installieren, wenn die Sache mit den Bots zu mühsam wird. Grundsätzlich möchte ich mit der Installation so nah wie möglich an der Grundinstallation bleiben, damit spätere Patches oder Upgrades leichter über die Bühne gehen.