WG EU on Lags and Packet Loss

Source: http://forum.worldoftanks.eu/index.php?/topic/360207-latency-and-packet-loss/

Hello everyone,

I don’t usually repost WG stuff “as is”, but this shouldn’t “disappear”, because it’s a nice explanation of what happened and happens even now. So, what do you think about this?

Dear Commanders!

The last couple of weekends have presented both you and us with some very high packet loss and latency issues while playing World of Tanks in the late afternoon and evening. In response to these problems, our engineers have been working around the clock and we have put in place several measures to increase the network performance at our end. We understand how disruptive these issues have been for your gameplay and we would like to apologise for the inconvenience caused to you!

We would like you to know more about the root causes we have identified and are currently addressing.

During our investigations into how to optimise our internal network performance, we identified a piece of network hardware that has been causing some degradation (packet loss) during times of high traffic throughput. This issue was isolated and fixed last week.
The second problem is unfortunately not fully under our control and it is also fairly technical. I apologise in advance if this description is a bit too technical, but we want to give you the full picture of the situation.
Internet traffic volumes in Europe have been elevated during the same time period that we have monitored latency issues for a large number of our players. Partially, this traffic increase is coming from an unusually high volume of streaming content due to the Olympic Winter Games. This volume increase is placing high demand on ISP peering exchange point capacities. Internet Service Providers (ISPs) have peering agreements and connection points between each other, outside of the major Internet backbones. Usually ISP-to-ISP peering helps reduce the load faced by the major backbones and accordingly provides a better flow of traffic between all parties. That being said, the capacities available for ISP peering are regulated both by agreements between the ISPs and physical limitations at the exchange points. If the demand exceeds the capacity, as it has several times in the last weeks for many of the major ISP peering points, the traffic must be rerouted via lower priority routes, which results in higher latency and packet loss. Cascading effects when several peering capacities are simultaneously exceeded across different ISPs are making this issue a very tough problem to solve for the ISPs.

We have been and are continuing to work very closely together with our ISP to address capacity shortages on these peering agreements during peak times. Since these negotiations are taking place between the ISPs, we are able to exert our influence, but we cannot directly resolve the problem.

Thirdly and unfortunately again outside of our control, the European network infrastructure had to cope with the largest DDoS (Distributed Denial of Service) attack in history last week, reaching more than 400 Gigabit/s of additional malicious traffic. This caused a severe overload on Internet backbones in Frankfurt, Amsterdam and London as well as additional stress on the peering capacities between providers.

Our promise: Going forward we will be continuing to monitor our internal network and server performance and will swiftly take action on everything that we can directly affect. We will also continue to monitor the overall network traffic conditions and work with our partners to find better alternative routing solutions and increase peering capacities. Additionally, we will increase our level of communication on all the issues we are detecting in our internal networks, as well as any impairments we observe on the major Internet routes to our data centres, so that you are aware of what is going on.

What we cannot promise: While we are confident that our actions to address these problems will help to reduce the severity of the issues, unfortunately at this time we are not yet able to say that you won’t experience additional latency and packet loss issues during peak times. We are hopeful that the ISPs in Europe will address their peering capacity shortages swiftly and that we can give you the “all clear” very soon.

Yours sincerely,
Markus Schill
Director of Customer Relations Europe

http://forum.worldoftanks.eu/index.php?/topic/360208-hohe-latenzen-und-paketverluste/page__st__440__pid__7390227#entry7390227

evtl. eine Lösung?
Kennt sich damit evtl. jemand aus und kann das bestätigen?

Nun wer er schrieb. Probieren kosten nichts, aber seine Ausführungen und Screenshots sind für mich schlüssig, da soweit ich weiß das VPN dich ja über andere Punkte leitet und du somit vllt so einen überlasteten Knotenpunkt(wie in Frankfurt) durch Umwege sozusagen "umgehen" kannst, da du ja quasi die Verbindung zu diesem VPN-Server aufnimmst und von dort dann zum WoT-Server kommst.

Deswegen kann es auch sein, wie er schrieb, dass die einige Anbieter eher nichts bringen und andere mehr, wo du über bessere Knotenpunkte geleitet wirst.

Bin da jetzt auch nicht der Spezialist, aber klingt alles ganz schlüssig und es kostet auch nichts rumzuprobieren und ist soweit ich das bisher gehört hab auch recht sicher.(Einfach mal ein paar Test-Berichte oder so lesen)

MfG:
Silas

Ist nur eine lahme Entschuldigung von WG. EU2 hat für einige (wie auch für mich), schon vor der Verlegung von EU1 nach Amsterdam, eine schlechter Verbindungsqualität gehabt. Damals war es aber nicht so schlimm. Jetzt da beide Server in Amsterdam stehen ist es stellenweise für mich unspielbar.

Mit Olympia und DDoS naja Hand aufs Herz, Olympia ist vorbei, DDoS ist wohl zur Zeit auch keiner, Packetverluste und High Ping sind immer noch da. Es gibt zwar Tage da gehts, bei mir am Montag, und es gibt Tage das kann man einfach nicht spielen, bei mir Gestern. Mit es geht meine ich aber nicht es läuft gut sonder es ist spielbar.

Es nervt einfach nur noch.

KillerGnom schrieb:Ist nur eine lahme Entschuldigung von WG. EU2 hat für einige (wie auch für mich), schon vor der Verlegung von EU1 nach Amsterdam, eine schlechter Verbindungsqualität gehabt. Damals war es aber nicht so schlimm. Jetzt da beide Server in Amsterdam stehen ist es stellenweise für mich unspielbar.

Mit Olympia und DDoS naja Hand aufs Herz, Olympia ist vorbei, DDoS ist wohl zur Zeit auch keiner, Packetverluste und High Ping sind immer noch da. Es gibt zwar Tage da gehts, bei mir am Montag, und es gibt Tage das kann man einfach nicht spielen, bei mir Gestern. Mit es geht meine ich aber nicht es läuft gut sonder es ist spielbar.

Es nervt einfach nur noch.

  
Sehe ich ganz genauso!

Ich schlage mich derzeit auch mit Pings zwischen 130-150 rum. Absolut grausam so zu spielen. Ich kann WG's Politk in der Hinsicht auch nicht ganz nachvollziehen. Es muss doch möglich sein eine Serverstruktur zu installieren die mit den aktuellen Spielerzahlen klar kommt. Ist ja auch nicht das erst mal , dass die Pings über längere Zeit instabil sind.

EU1 und EU2 sind ein Server Cluster nur dem Anschein nach getrennt. Vorher war ein Cluster in München und einer in Amsterdam.

Spielen geht momentan überhaupt nicht und meine Premium Tage gehen dahin.

Wenn WG sich also laut allgemeiner Meinung rausreden möchte und die Probleme nicht mit dem Backbone zusammen hängen, wieso kann ich dann mit nem Ping zwischen 40-60ms spielen? Haben die etwa nen special "incub-hats-nötig"-Routine in den Servern, so das ich bevorzugt behandelt werde? Geil, sowas wollt ich schon immer mal haben
Und das alles ohne Ticket an den Support, Chapeau Wargaming.

Um noch nen paar Fakten beizusteuern. Ich selber gehe über nen Kabelanbieter ins Netz, der hat sein eigenes Backbone. Habe von anderen Kabel-Nutzern gehört, dass sie ebenfalls kaum betroffen sind. Bleibt die Leitung ab FRA->AMS die ich über "öffentliches" Backbone gehe. (Möglicherweise gehe ich auch über ne Leitung CGN->AMS, hab ich noch nicht dauerhaft getraced, oft ist DE-CIX in FRA im Spiel) Zur besten Zeit hatte ich Pings von 30-40ms, egal ob AMS oder MUC. Das meine Pings zur Zeit auch leiden hat entweder mit dem Stück "öffentlichen" Backbone zu tun, oder die Spielermassen mit miesen Pings und Packetloss ziehen die Server so stark runter. (bei Packetloss, muss der Server viele Pakete ggf. mehrfach verschicken, so dass die Queues voll laufen, ähnlich wie bei ner gezielten DOS-Attacke).
Um meine Geo.-Loc. AAC auszuschliessen; nen Kollege der drei Straßen weiter wohnt und per DSL ins Netz geht ist leider auch betroffen. Der hat momentan 120-150ms.

Trotzdem, WG ist schuld und hats versaut! Die Fakten sprechen für sich, das musste mal gesagt werden!

@Chibaria, ja kann man mal ausprobieren. Falls es wieder erwarten doch nicht an WG liegt, sondern am Backbone, kann solch ein VPN-Tunnel etwas bringen, wenn der VPN-Provider eigene Leitungen oder reservierte Bandbreite im Backbone hat. Ist auf jeden Fall nen Versuch wert.

Bei mir auch keine Probleme. Habe um die 60 - 70 Ping (LTE von Vodafone )

@Chibaria, ja kann man mal ausprobieren. Falls es wieder erwarten doch nicht an WG liegt, sondern am Backbone, kann solch ein VPN-Tunnel etwas bringen, wenn der VPN-Provider eigene Leitungen oder reservierte Bandbreite im Backbone hat. Ist auf jeden Fall nen Versuch wert.

Tut´s...http://forum.worldoftanks.eu/index.php?/topic/360208-hohe-latenzen-und-paketverluste/page__st__460#topmost
Dort wird auch beschrieben, wie man sein TS nicht über den VPN-Tunnel laufen lässt. So lassen sich mit 500mb Freivolumen einige Cws ruckelfrei spielen. Man muss aber aufpassen, z.B. keine Videos oder so drüber laufen zu lassen, da sind 500mb nix.
Wer´s sich runterladen möchte, gerne über folgenden link. Kostet euch nichts, würde mir aber 5x100mb mehr Freivolumen bringen...danke.

http://www.okayfreedom.com/ref/3f8837e45694e4f6b7a944eae7cf6218

incub schrieb:Wenn WG sich also laut allgemeiner Meinung rausreden möchte ...

Ich versteh schon etwas von Netzstrukturen. Ich weiß auch das es nicht immer an WG liegt. Hatte Anfang des Jahres Problem da war es Telia. Zur Zeit gibt es aber sehr viele Spieler die genaue am Übergabepunkt Telia-WG Probleme haben.

Ich finde es Toll wenn hier einige überhaupt kein Probleme haben. Da wo ich wohne gibt es aber leider keinen Kabelanbieter und ich bin leider auf die Terrorcom als Anbieter beschränkt. LTE bin ich eher skeptisch.

Was aber wurmt ist halt das sie erst einen Server hatten der lief. EU1 in München. Diesen dann aber zu machen (Bzw. für die XBox nutzen) und alle nach Amsterdam schicken. Dies Obwohl Amsterdam schon vorher dafür bekannt war, nicht so perfomant für alle zu sein.

Ich haben einen Kabelanbieter und zur Zeit bei 8 von 10 Spielen immerhin noch einen Ping von 50-60, jedoch trotzdem immer mit mehr oder weniger Paketverlust zu kämpfen. Wodurch einige Gefechte noch relativ normal laufen, andere eher weniger. Wenn das Serverfadenkreuz nur ruckelt habe ich Glück.

Was ich als sehr interessant empfinde ist, dass ich kürzlich einen Account auf dem NA-Server East angespielt habe und dort mit Ping um die 110, jedoch ohne Paketverlust spielen kann. Und zwar wesentlich besser als es trotz geringerem Ping auf den EU-Servern möglich ist.

KillerGnom schrieb:
Ich versteh schon etwas von Netzstrukturen. Ich weiß auch das es nicht immer an WG liegt. Hatte Anfang des Jahres Problem da war es Telia. Zur Zeit gibt es aber sehr viele Spieler die genaue am Übergabepunkt Telia-WG Probleme haben.

Ich hab nie behauptet, dass Du keine Ahnung hast. Wenn ich das richtig verstanden habe, liegt das Telia-Problem aber am Übergabepunkt zur Telkom in FRA. Das RZ MUC in denen WG die Server stehen hat(te) scheinen nicht direkt an Telia angeschlossen zu sein. Hab ich aber selber nicht tracen können, sonder nur in Foren so gesehen. Das Telia-Problem gibt es ja nicht erst seit gestern und nicht nur in WoT. Da sehe ich WG aussen vor.

KillerGnom schrieb:
Was aber wurmt ist halt das sie erst einen Server hatten der lief. EU1 in München. Diesen dann aber zu machen (Bzw. für die XBox nutzen) und alle nach Amsterdam schicken. Dies Obwohl Amsterdam schon vorher dafür bekannt war, nicht so perfomant für alle zu sein.

Kann ich nachvollziehen, würde mich auch "wurmen", gelinde gesagt.
Wenn ich das noch richtig im Kopf habe, kam der Umzug von EU1 aber zustande, weil die wohl Probleme mit dem RZ in MUC hatten. Davon war auch nicht nur EU1 betroffen, sondern wohl auch irgendein RU-Cluster in MUC. Ich vermute jetzt mal, dass diese Probleme nicht von WG gelöst werden konnten, sondern auf das Konto des RZ-Betreibers gingen. Vermutlich nen Router, Load-Balancer, Firewall oder sonst eine zentrale Komponente hat mucken gemacht. Jenachdem wie groß das RZ ist, sind das recht teure Teile, die man leider nicht im Laden um die Ecke kriegt und leider war die Redundanz wohl nicht auf Gaming-Traffic ausgelegt. (Gaming-Traffic stellt andere Anforderungen an solche Komponenten als der "übliche" Traffic. Es kann also sein, dass z.B. Webseiten ganz normal weiter ausgeliefert werden können, aber zocken nicht mehr möglich ist)
Die vermeintlich "Spieler-freundlichste" entscheidung war dann halt, das Cluster in das funtionierende RZ AMS umzuziehen.
Und so isses nun halt...

Bevor hier ein falscher Eindruck entsteht. Ich heiße nicht alles gut was WG macht, aber noch weniger kann ich es leiden wenn permanent und bei jedem Problem rumgeheult wird, dass WG scheiße ist und nur Kohle abgreift und dafür gefälligst die Probleme dieser Welt zu lösen hat...
Daher wollte ich einfach mal eine andere Sicht der Dinge schildern, die zumindest genauso Wahrscheinlich ist wie die "WG ist einfach unfähig"-Version

Wie KillerGnom so schön schrieb "Ich versteh schon etwas von Netzstrukturen"... Ich (leider) auch und weiß wie kagge es ist wenn die Infrastruktur im Netz schwächen/fehler hat und man Probleme debuggt an denen man leider nichts ändern kann.

incub schrieb:[...]

Du gehörst zu einer aussterbenden Art (in WoT).
Danke dafür, du hast mein Vertrauen in die Menschheit(und die WoT-Community) wieder ein wenig aufgepeppelt.

MfG:
Silas

Nur komisch incub, das die Server, die vorher EU1 waren, nun für die XBOX 360 Version genutzt werden (die selben IP's).

Nun kann sich jeder selbst seinen Teil denken   

Was wirklich stört ist halt wie WG mit der ganzen Geschichte umgegangen ist. Lange haben sie gesagt bei ihnen würde alles rund laufen. Es würde keine Probleme geben. Dann auf einmal der Aufruf das die Leute Pingplotter Protokolle schicken sollen. Schweigen. Schweigen. Schweigen. Problem besteht weiterhin. Schweigen. Achja wir haben doch Problemchen mit der Hardware haben wir aber behoben.

Das die Infrastruktur zur Zeit allgemein schwächelt, dafür kann WG nichts. Wie sie aber damit umgehen ist naja. Es wäre doch nicht so schwer gewesen direkt zu sagen "Wir haben ein Problem in unserer Hardware entdeckt und arbeiten." Es wurde halt lieber geschwiegen und der Spieler im Dunkeln gelassen.

Viel haben keine Probleme durch das Telia Netzwerk zu kommen. Bis zu folgenden Punkt:

wargaming-ic-301588-adm-b4.c.telia.net

jedenfalls. Für diejenigen die über Level3 geroutet werden ist es dann auch der Übergabepunkt zu WG. Korrigiert mich wenn ich da Falsch liege, aber das liegt schon im Zuständigkeitsbereich von WG.

Es geht mir nicht darum hier WG zur Mina zu machen und ich bin auch nicht der Typ der ständig den Fehler bei WG sucht. Das ist sogar das erste mal das ich davon ausgehe das WG hier im Zugzwang ist und nicht irgend eine anderer auf der Strecke zum Server. Es ist diesmal halt Nachweisbar und nicht irgendein Hirngespinnst von jemanden der zu Faul ist seine Denkstube mal an zuwerfen.

incub schrieb:

KillerGnom schrieb:
Ich versteh schon etwas von Netzstrukturen. Ich weiß auch das es nicht immer an WG liegt. Hatte Anfang des Jahres Problem da war es Telia. Zur Zeit gibt es aber sehr viele Spieler die genaue am Übergabepunkt Telia-WG Probleme haben.

Ich hab nie behauptet, dass Du keine Ahnung hast. Wenn ich das richtig verstanden habe, liegt das Telia-Problem aber am Übergabepunkt zur Telkom in FRA. Das RZ MUC in denen WG die Server stehen hat(te) scheinen nicht direkt an Telia angeschlossen zu sein. Hab ich aber selber nicht tracen können, sonder nur in Foren so gesehen. Das Telia-Problem gibt es ja nicht erst seit gestern und nicht nur in WoT. Da sehe ich WG aussen vor.

KillerGnom schrieb:
Was aber wurmt ist halt das sie erst einen Server hatten der lief. EU1 in München. Diesen dann aber zu machen (Bzw. für die XBox nutzen) und alle nach Amsterdam schicken. Dies Obwohl Amsterdam schon vorher dafür bekannt war, nicht so perfomant für alle zu sein.

Kann ich nachvollziehen, würde mich auch "wurmen", gelinde gesagt.
Wenn ich das noch richtig im Kopf habe, kam der Umzug von EU1 aber zustande, weil die wohl Probleme mit dem RZ in MUC hatten. Davon war auch nicht nur EU1 betroffen, sondern wohl auch irgendein RU-Cluster in MUC. Ich vermute jetzt mal, dass diese Probleme nicht von WG gelöst werden konnten, sondern auf das Konto des RZ-Betreibers gingen. Vermutlich nen Router, Load-Balancer, Firewall oder sonst eine zentrale Komponente hat mucken gemacht. Jenachdem wie groß das RZ ist, sind das recht teure Teile, die man leider nicht im Laden um die Ecke kriegt und leider war die Redundanz wohl nicht auf Gaming-Traffic ausgelegt. (Gaming-Traffic stellt andere Anforderungen an solche Komponenten als der "übliche" Traffic. Es kann also sein, dass z.B. Webseiten ganz normal weiter ausgeliefert werden können, aber zocken nicht mehr möglich ist)
Die vermeintlich "Spieler-freundlichste" entscheidung war dann halt, das Cluster in das funtionierende RZ AMS umzuziehen.
Und so isses nun halt...

Bevor hier ein falscher Eindruck entsteht. Ich heiße nicht alles gut was WG macht, aber noch weniger kann ich es leiden wenn permanent und bei jedem Problem rumgeheult wird, dass WG scheiße ist und nur Kohle abgreift und dafür gefälligst die Probleme dieser Welt zu lösen hat...
Daher wollte ich einfach mal eine andere Sicht der Dinge schildern, die zumindest genauso Wahrscheinlich ist wie die "WG ist einfach unfähig"-Version

Wie KillerGnom so schön schrieb "Ich versteh schon etwas von Netzstrukturen"... Ich (leider) auch und weiß wie kagge es ist wenn die Infrastruktur im Netz schwächen/fehler hat und man Probleme debuggt an denen man leider nichts ändern kann.

   Danke für die Erläuterungen! Da wird ein bisserl was klarer!

Hier ist mal eine Antwort vom Kundendienst auf meine Problemschilderung:

"Dima Satz 24 February 2014 10:51

Hallo Panzerkommandant Michael,

Vielen Dank dafür, dass du dich an uns gewandt hast.

Die FOV Einstellung hat nichts mit Paket-Verlusten oder Lags zu tun, und lässt sich mit gewissen Mods wiederherstellen. Schau dafür bitte einfach in unser Forum:
http://forum.worldoftanks.eu/index.php?/forum/165-european-community/

In letzter Zeit hat es leider einige Verbindungsprobleme gegeben, hier ein Link dazu:
http://forum.worldoftanks.eu/index.php?/topic/360208-hohe-latenzen-und-paketverluste/

Ich habe das Spiel über die Woche regelmäßig gespielt, und eigentlich keine größeren Probleme erlebt.

Mittlerweile sollten alle Ursachen unsererseits schon behoben sein, solltest du trotzdem Lags haben, schicke uns bitte für beide Server je einen Pingplotter. Derzeitigen Verbindungsprobleme liegen nicht an unserer Seite, da nur ein Teil der Spieler von den Lags betroffen ist.

Hier eine kleine Erklärung bezüglich des Pingplotters:
https://eu.wargaming.net/support/Knowledgebase/Article/View/428/30/

Eine PingPlotter Datei wird uns helfen, den Weg deiner Datenpakete zu unseren Spielservern zu analysieren..."

Einfach nur lächerlich von WG. Soetwas nenne ich Politik für den Kunden !