Statement regarding the login issues

[Satine]

Hello everyone,

We'd like to give you an update on the recent events concerning the technical issues experienced with LOTRO.

The problem is with our Billing system and specifically the integration code between LOTRO and this system which is unable to process fast enough at high volumes and then starts back loading requests resulting in a huge numbers of retries.

A number of changes to the systems have been made to try and help with this, and additional servers are already in place, but the problem is not one with server hardware currently. We have already doubled the number of login and integration servers in recent days.

The main issue occurs when over-whelming demand and load hits the login servers (usually at peak times) and creates a bottleneck in the authentication process. The knock on effect to this is the system becomes very slow and to all intents and purposes to you, the players, it looks like it is completely offline.

When this happens, people *are* able to login, albeit very slowly. As more of you refresh and try to login, each new request you send through actually compounds the situation making it worse, hence why we asked that you wait some 20 minutes between each re-attempt.

It actually works out faster for you to get in-game in the long run if you try to login fewer times.

It’s important to emphasise that this issue is a code performance issue associated with the integration between the game and billing system and not a hardware issue. Unfortunately adding new servers (which we have already done in great volume), will not fix this particular problem. Therefore we are currently working to resolve the code issue that is affecting us.

All of these systems were intensively tested during our BETA stress tests with thousands of players simultaneously accessing the service, however we did not see people on the scale that we are seeing them today. The immense popularity of the game has brought numbers to the game that cause these issues to now manifest themselves and affect us.

It is also important to point out that the previous issues experienced last week have been completely resolved and the issues experienced recently are new and as described above to do with the code integration between the game and billing system and not a hardware issue.

We are working around the clock to fix these problems - in the last week we have made good progress however we have identified an area that requires further work. Teams will be on site throughout the next few days and over the weekend to bring the resolution to light as soon as possible.

Due to the work they will be carrying out over the next few days, we would like to advise you that there might be further interruptions to the service, which we will do our best to minimise as much as possible.

We obviously regret that there have been any disruptions to your play time - it's a shame to mar what was otherwise one of the smoothest launches ever seen. We want to make amends and get it right as soon as we possibly can. We will be arranging appropriate compensation for all players as our way of apologising for the outages and to say that we do care, we are committed to perfecting the service and to thank you for your support and understanding. Full details of that will be released some time next week.

We're confident that once we're over this initial teething problem that your service will get back to the levels of quality and availability that you expect and deserve.

Thank you.

The LOTRO Team.

-----------------------
French and German translations to follow shortly.

[Satine]

Stellungnahme zu den Login-Problemen

Hallo,

Wir möchten euch gern vom Stand der Dinge berichten, was die technischen Probleme betrifft, die in letzter Zeit bei HdRO aufgetreten sind.

Das Problem liegt bei unserem Abrechnungssystem, genauer gesagt der Schnittstelle zwischen diesem System und HdRO. An dieser Stelle werden Informationen zu Stoßzeiten nicht schnell genug verarbeitet, was dazu führt, dass gehäuft wiederholte Einwahlversuche nötig sind.

Am System wurden bereits einige Veränderungen vorgenommen, um dieses Problem zu lindern, und zusätzliche Server wurden in Betrieb genommen, aber die Schwierigkeiten liegen derzeit nicht im Bereich der Server-Hardware. Wir haben die Anzahl der Login- und Schnittstellenserver in den letzten Tagen bereits verdoppelt.

Das Hauptproblem tritt auf, wenn überwältigende Nachfragen und großer Andrang bei den Login-Servern auftreten (üblicherweise zu Stoßzeiten). Dann entsteht ein Stau im Authentifizierungsprozess. Die Folgeerscheinung davon ist, dass das System sehr langsam wird und für euch, die Spieler, praktisch so aussieht, als wäre es offline.

Tatsächlich sind aber, wenn dies passiert, die Spieler sehr wohl in der Lage, sich einzuloggen, nur leider sehr langsam. Wenn dann zahlreiche Leute erneut versuchen, sich einzuloggen, trägt jeder weitere Versuch zum Problem bei und verschlimmert die Situation. Wir hatten euch deswegen bereits darum gebeten, etwa zwanzig Minuten zu warten, bevor ihr einen erneuten Login-Versuch unternehmt.

Im Endeffekt kommt ihr schneller ins Spiel, wenn ihr nicht so oft versucht, euch einzuloggen.

Es ist wichtig, zu betonen, dass dieses Problem ein Softwareproblem ist, das mit der Verschaltung zwischen dem Spiel und dem Abrechnungssystem zu tun hat, und kein Hardware-Problem. Leider lässt es sich also nicht beheben, indem zusätzliche Server in Betrieb genommen werden (was wir in großem Maßstab bereits getan haben). Wir arbeiten deswegen derzeit daran, das Software-Problem zu lösen.

Alle diese Systeme wurden während der BETA-Phase intensiv getestet, in Stresstests bei denen tausende Spieler sich gleichzeitig einwählten; wir hatten dabei aber nicht so viele Spieler, wie wir sie heute haben. Die immense Popularität des Spiels hat diese Zahlen dermaßen erhöht, dass jetzt erst die Probleme auftreten, die wir zur Zeit erleben.

Wir möchten außerdem darauf hinweisen, dass alle in der vergangenen Woche aufgetreten Probleme, vollständig behoben wurden. Die oben beschriebenen Schwierigkeiten sind neu und, wie erwähnt, eine Frage der Verbindung zwischen dem Spiel und dem Abrechnungssystem, und kein Hardware-Problem.

Wir arbeiten rund um die Uhr daran, diese Probleme zu beheben. In der vergangenen Woche haben wir einige Fortschritte erzielt, haben aber auch einen Bereich ausgemacht, in dem noch mehr getan werden muss. Mehrere Teams werden die nächsten Tage über und am Wochenende zugegen sein, um so schnell es geht eine Lösung zu finden.

Wegen der andauernden Arbeiten in den kommenden Tagen möchten wir uns im Voraus dafür entschuldigen, dass es weitere Unterbrechungen des Services geben könnte. Wir werden unser Bestes tun, um solche Störungen so gering wie möglich zu halten.

Wir bedauern selbstverständlich, dass es zu Unterbrechungen eurer Spielzeit gekommen ist – es ist schade, dass der ansonsten vorbildlich glatt verlaufene Spielstart dadurch getrübt wurde. Wir möchten so schnell wir können alles wieder ins Lot bringen und euch entschädigen. Deshalb werden wir für alle Spieler entsprechende Wiedergutmachungen arrangieren, um uns für die Auszeiten zu entschuldigen und zu sagen, dass es uns leid tut, dass wir perfekten Service anstreben, und dass wir euch für eure Unterstütung und euer Verständnis danken. Nähere Einzelheiten dazu geben wir im Lauf der kommenden Woche bekannt.

Wir sind zuversichtlich, dass nach Beseitigung dieses anfänglichen Problems unser Service wieder das Niveau von Qualität und Verfügbarkeit erreicht, das ihr verdient und erwartet.

Vielen Dank

Das HdRO-Team.

[Satine]

Communiqué à propos des problèmes de connexion

Bonjour à tous,

Nous aimerions vous transmettre les dernières informations à propos des problèmes techniques rencontrés récemment dans le SdAO.

Le problème se trouve dans le système de facturation, plus précisément dans l’intégration de code entre le SdAO et ce système, qui est incapable de gérer assez rapidement un grand nombre de demandes et qui recommence à charger les requêtes en raison du grand nombre de relances.
Un certain nombre de changements ont été effectués afin d’améliorer la situation et des serveurs supplémentaires sont déjà en place. Cependant, le problème ne se trouve pas dans les serveurs. Nous avons déjà doublé le nombre de connexions et l’intégration des serveurs ces derniers jours.

Le problème principal survient en des périodes de grande affluence en termes de demande de chargement sur les serveurs d’authentification (c'est-à-dire aux heures de pointe) ce qui engendre un goulot d’étranglement au cours du processus d’identification. L’effet indirect qui en résulte est que le système ralenti considérablement et donne l’impression d'être hors ligne.

Quand cette situation arrive, il est *possible* de se connecter, bien que ce soit très lent. Chaque relance et réinitialisation de la page envoie une nouvelle demande au serveur, ce qui aggrave la situation, et c’est la raison pour laquelle nous vous demandons d’attendre 20 minutes entre chaque nouvelle tentative de connexion.
Cela vous permettra d'entrer en jeu plus rapidement que si vous essayez de vous plusieurs fois à la suite.

Il important de souligner que ce problème est lié à la performance des codes dans l’intégration du jeu et du système de facturation, et n’est pas lié au matériel utilisé. Malheureusement, l’ajout de nouveaux serveurs (ce que nous avons fait en grande quantité), ne réglera pas ce problème en particulier. Donc, nous nous efforçons de corriger ce problème de code.

Tous ces systèmes ont été testés de façon intensive pendant les stress tests de la Beta au cours desquels des milliers de joueurs essayaient d’accéder au service simultanément, mais nous n’avions pas imaginé voir autant de gens qu'à ce jour. L’immense popularité du jeu a amené un très grand nombre de personnes et c'est ce qui fait apparaître les problèmes qui nous affectent.

Il est également important de mentionner que les problèmes rencontrés la semaine dernière ont été complètement résolus, que ces problèmes sont nouveaux, sont, comme nous l’avons dit ci-dessus, liés à l’intégration du code entre le jeu et le système de facturation, et ne sont pas liés à un problème de matériel informatique.
Nous travaillons d'arrache pied pour rectifier ces problèmes et nous avons fait de bons progrès la semaine dernière, mais sommes tombés sur un problème requérant davantage de travail. Des équipes seront sur place dans les prochains jours et tout au long du week-end afin de rétablir la situation dès que possible.

En raison des travaux qui seront effectués au cours des prochains jours, nous aimerions vous avertir qu’il pourrait y avoir des interruptions de service, que nous essayerons de minimiser le plus possible.

Nous regrettons évidemment qu’il y ait eu des interruptions de temps de jeu, c’est effectivement dommage de gêner ainsi l’un des lancements les plus aisés jamais vus jusqu’à maintenant. Pour nous racheter, nous nous efforçons de rétablir la situation dès que possible. De plus, afin de vous présenter nos excuses et de pallier aux pannes survenues ces derniers temps, des compensations seront données à tous les joueurs. Nous sommes déterminés à perfectionner de notre service et vous remercions de votre support et de votre compréhension. Plus de détails suivront au cours de la semaine prochaine.

Nous sommes certains qu’une fois ce fâcheux problème sera réglé, le service que nous vous offrons retrouvera le niveau de qualité et de disponibilité que vous espérez et que vous méritez.

Merci,

L’équipe du SdAO.

[Mabusian]

Originally Posted by Satine

We're confident that once we're over this initial teething problem that your service will get back to the levels of quality and availability that you expect and deserve.

Excuse accepted. I'm also confident, because I have high respect for your performance so far.

[Gibblo Hedgefen]

Thanks for the explanation, apology accepted. You have done a very good job so far, good luck fixing the problem and keep up the good work!

[Reklan]

Thx Satine,

would it be possible for you to release some of these numbers..

i.e how many beta tested ( I was a lucky one) and how many are playing now..

If people get to see these then it would go a long way to see what you've been up against..

[Valheru]

Thanks for the information Satine... especially the level of detail involved. It gives us a much better idea of what's going on, and why it's going to be an ongoing problem *edit for a wee while* (code optimisations/problems are much harder and more time consuming to fix).

We also now have a much better idea of how to deal with this as players.

Thank you for taking the time to write all that up and get it to us. It makes a world of difference and helps restore my confidence in CM's service provision across the board.

[Jeddak]

Hi Satine,

An excellent post, thank you.

I am unhappy I cant always log in when I want to, but now I better understand why and can see that progress has been made.

Thanks again and good luck guys.

[Jaked]

Damn, dont think any dev team have ever given a post like that to explain what
going on! its mostly there is nothing wrong, or there isnt a post at all.

Nice work and thanx for the update


Jaked ..:..

[Beirza]

Well Better to be informed than to say what problem, move along nothing to see here.
I know that when you get into the realms of clustered hardware, etc,etc that things can easily go wrong. I Noticed that the cog system was running happy days (the billing servers), so i reckon the API implementation between lotro and Cog is where the bottle neck is.... <- just guessing though. (on the edit.... that's what u said ! Doh, should read things more thoroughly!!)

Interestestingly, what are the metrics that the server xml files are returning such as wait time and now processing queue ? ah well some future update i foresee