Der lange Weg von Tagebuchonline 2.0 zu 3.0

2006 wurde Tagebuchonline (1.0) veröffentlicht. Die Seite war von Anfang an ein Projekt, dass Spaß machen sollte: Spaß bei der Entwicklung, Betreuung und Spaß bei der Nutzung für alle Mitglieder.

Der Zeitpunkt des „Launchs“ sollte sich als ideal rausstellen, da zu dieser Zeit das Internet große Entwicklung erlebte und Blogs, auf Deutsch etwa: Tagebücher sehr populär wurden. So wuchs Tagebuchonline sehr schnell und der Grundstein zur aktiven und wunderbaren Community, die sie heute ist war gelegt.

Im Januar 2010 wurde das Design überarbeitet und veröffentlicht. Zu diesem Zeitpunkt waren wir in Google die #1 unter dem Suchwort „Tagebuch“ und die Neumitgliederzahlen explodierten.

Heute, 1 Jahr später erscheint Tagebuchonline 3.0: Nicht nur das Design ist neu, die gesamte Seite hat einen neuen Grundcode und ist komplett überarbeitet.


Achtung, jetzt wird es technisch:

Das Grundgerüst von Tagebuchonline ist eine Forensoftware, genannt phpbb.
Diese Software ist überaus leistungsstark und lässt sich frei verändern und erweitern.

Phpbb wurde, ebenso wie unsere Seite weiterentwickelt. Bis zum heutigen Tage basierte Tagebuchonline auf phpbb2. Diese Grundlage war/ist aber bei weiten nicht mehr zeitgerecht, ebenso wie Tagebuchonline. Zahlreiche Sicherheitslücken sowie Funktionen des „Internet 2.0“ standen nicht zur Verfügung.

So stand ab letztem Jahr ca. phpbb3 zur Verfügung und ein paar Monate darauf begann die Entwicklung von Tagebuchonline 3.0 und wurde vor ca. 2 Wochen beendet.


Von Tagebuchonline 2.0 zu 3.0:

phpbb3=Tagebuchonline 3.0 ist vom gesamten Code und System nicht mit 2.0 zu vergleichen: Eine komplett neue Struktur und „Speicherweise“.

Selbstverständlich hatte sich auch das Blog bzw. Tagebuchsystem verändert, so mussten wir uns schnell damit abfinden, dass es nahezu unmöglich sein wird die Daten zu übernehmen.

Die User, Userdaten und Einträge in der Community sollten weitgehend konvertierbar sein. Dazu später mehr.

Update = Umzug:

Bereits vor 2 Jahren war klar, dass der damals betriebene Server bei Weiten nicht der Anforderungen an Leistung der immer schneller wachsenden Community standhält. So war klar, dass im Moment des Updates auch ein Serverwechsel/Upgrade nötig ist.

Die Struktur der Daten und Verarbeitung kann man sich so vorstellen:
-Alle Uploads wie Bilder, Avatars sowie das gesamte Dateisystem befinden sich in Dokumenten mit Code auf dem Server. Dieser kann wie „ein Ordner in Windows“ über spezielle Software ausgetauscht werden.
Nach 5 Jahren sind das fast 1 GB Daten
-Jeder Text, Username, Passwort und Zahl die getippt wird landet in einer Datenbank. 1en und 0en, verschlüsselte Passwörter und Nachrichten. Ellenlange, unlesbare Dokumente.
Nach 5 Jahren sind das fast 170mb Daten!

Das Wesentliche und was Gestern geschah:

Die Daten auf dem Server können zur Verarbeitung heruntergeladen werden.
Die Datenbank NICHT! - Bevor diese Daten vorliegen muss der Server/die Datenbank diese „verarbeiten“.
Jeder, der schon einmal 150 MB Daten heruntergeladen hat, weiß wie lange das dauert. Diese Verarbeitung aber geschieht serverseitig, sodass dieser bei der Unmenge an Daten sozusagen abstürzt. Je nach Einstellung nach ca. 30 Sekunden.

Um dieses Problem zu lösen muss eine spezielle Software aufgespielt werden, die (hier im Bsp) diese Operation nach 29.9 Sekunden neu startet, kurz bevor die Operation serverseitig abgebrochen wird.
Dieser Download dauert, je nach Leistung ca. 5-15 Minuten.

- Nun haben wir die Rohdaten (2.0) auf dem Desktop vorliegen. Das wesentliche Problem ist nun aber, dass diese Rohdaten, speziell die Datenbank ja nun in die neue Version: 3.0 konvertiert werden soll.

Dazu muss das neue Board (3.0) installiert sein, sowie das alte und ein Tool zur Konvertierung angestoßen werden. Dh. die Verarbeitung von 1G Daten + 170mb Datenbank.
Wie oben beschrieben crashed hier jeder Server!

Die Lösung dazu: Alle Prozesse müssen auf einem „vorgetäuschten“ Server, offline geschehen, wofür wir alle Seiten und Datenbanken sozusagen „auf dem Desktop installieren“, da wir hier diese „30Sek. Zeitsperre“ so aushebeln können.
Dies hatte ca. 2 Stunden gedauert.

Es geht los: Die Konvertierung:

Nach einigen Schritten Konvertierung geschah das Befürchtete: Critical Error!

Was war passiert?
Ein Fehler im alten System hatte dazu geführt, dass es Usern möglich war, „doppelte“ Usernamen zu registrieren ohne, dass das System dies verhindert.

Beispiel:
Username „m“ und Username „M“ oder Username „engel“ und „Engel“.

Die Konvertierung hatte hier natürlich dann die Fehlermeldung und Abbruch ausgelöst!

Das wesentliche Problem hier war nur, dass dies keine Ausnahmen waren, sondern bei fast 2000 Nutzern der Fall war! o_O

Eine manuelle Löschung/Bearbeitung dieser Fälle war so absolut ausgeschlossen.

Was nun?

Fast 5 Stunden hatte ich zu dieser Zeit zusammen mit Ronny am Rechner verbracht und diverse Hilfeforen und Freunde um Rat gefragt. Keine Lösung, kein guter Rat.

Die Lösung:

99% aller fehlerhaften User waren User mit 0 Einträgen.

Jeder Verlust an Mitgliedern, auch inaktiven, „Nullern“ ist schmerzhaft, aber wir mussten in den sauren Apfel beißen und ich löste einen Datenbankbefehl aus, der alle „Nuller“ löschte.
(Dazu muss man die 170mb Datenbank uploaden, bearbeiten und wieder downloaden...)

Anschließend hatte ich die restlichen Fehlerfälle (unter 100) manuell bearbeitet bzw. teilweise gelöscht und konnte die Konvertierungg abschließen und die Datenbank sowie Userdaten in Tagebuchonline 3.0 uploaden und einspielen.


Was uns bleibt, das Resultat, heute:

- Aus rund 13.000 Mitgliedern wurden 1219 gerettete Mitglieder.
- Wir konnten 23713 Beiträge und 1822 Themen retten.
- Von http://2795.webhosting0.1blu.de/meinleb ... portal.php können die folgenden ~5 Tage alle Daten übertragen werden.
- Tagebuchonline 3.0 läuft und ist einsatzbereit
- Der neue Server ist blitzschnell und Seitenaktualisierungen geschehen im Millisekundenbereich

Was folgt:

- In den kommenden tagen und Wochen gilt es Userrechte und Moderatoren zu konfigurieren
- Wir müssen in der Praxis auftretende Fehler beheben
- Es werden in den kommenden Tagen immer mehr Funktionen freigeschaltet werden
- Es folgen mehr und schönere Tagebuchdesigns
- Optimierung der Grafiken
- Optimierung der FAQs und Beantwortung von auftretenden Fragen


Fragt bitte, wenn Ihr Fragen habt, meldet Probleme und Fragen, wir bekommen das alles in den Griff und ich freue mich sehr über nie neue Seite, mit Euch.

erster! ^^

Zweite

Dritte ^^