suboptimales routing ins cloudflare Netzwerk

[floh667]

Ich beobachte es nun schon seit Wochen, dass Vodafone über Tata communications zum Cloudflare netzwerk routet. Erstmal is das nicht verwerflich, doch das Problem ist, dass Tata hier nen Bock schießt und nicht mit Cloudflare's PoP in frankfurt verbindet, sondern alle pakete von frankfurt nach CDG Paris schickt.
Das ist auch kein Problem von Vodafone, denn als ich in der cloudflare community um Hilfe bat, fand ich vorneweg bereits diesen thread:
https://community.cloudflare.com/t/bad- ... any/247389
Derjenige hat einen DTAG Anschluss und scheinbar nutzt die telekom ebenfalls Tata als transit zu Cloudflare. Unten hab ich auch einen tracert gepostet wo man sieht, dass der DTAG und mein Vodafone Anschluss die selben AS6453 (TATA) router nutzen. D.h das "Problem" liegt bei denen.

ich hab auch bereits den Kontakt zu Tata gesucht, aber da kommt man als Normalo nicht sonderlich weit. Ich zitiere die email:

With reference to your email, please note that we require the TCL service identifier to proceed with further action.

In case the TCL service identifier is unavailable request you to share TCL Order ID/ Circuit Designation/ Tata Communications Ticket number (If booked previously) in order to proceed.

For instant ticket booking and updates, please use https://portal.tatacommunications.com

So hab ich das nun auch mal in der cloudflare community kommuniziert, aber noch keine Antwort von offiziellen erhalten.
Gibt es hier im Forum jemanden, der entsprechende Verbindungen in die interne technik hat, die das Problem bei tata ansprechen können, da Vodafone ja als Kunde definitiv mehr erreichen kann?

Code: Alles auswählen

Routenverfolgung zu one.one.one.one [1.1.1.1] über maximal 30 Abschnitte:

  1     *        *        *     Zeitüberschreitung der Anforderung.
  2     7 ms     7 ms     6 ms ip-81-210-144-156.hsi17.unitymediagroup.de [81.210.144.156]
  3    11 ms    10 ms    11 ms  de-fra04a-rc1-ae-19-0.aorta.net [84.116.191.161]
  4    15 ms    12 ms    10 ms  de-fra03b-ri1-ae-5-0.aorta.net [84.116.133.118]
  5     9 ms    10 ms    10 ms  213.46.179.138.aorta.net [213.46.179.138]
  6    18 ms    19 ms    18 ms if-ae-45-2.tcore1.fr0-frankfurt.as6453.net [195.219.50.20]
  7     *       17 ms    17 ms if-ae-55-2.tcore2.pvu-paris.as6453.net [80.231.245.6]
  8    18 ms    18 ms    25 ms if-ae-49-2.tcore1.pvu-paris.as6453.net [80.231.153.20]
  9    17 ms    17 ms    18 ms if-ae-11-2.tcore1.pye-paris.as6453.net [80.231.153.50]
 10    20 ms    18 ms    18 ms  80.231.154.14
 11    18 ms    19 ms    19 ms  one.one.one.one [1.1.1.1] 

Tata hat auch ein looking glass wo man das ganze gut sehen kann. Router FR0 auswählen und ab gehts. http://lg.as6453.net/lg/

[robert_s]

Ich beobachte es nun schon seit Wochen, dass Vodafone über Tata communications zum Cloudflare netzwerk routet.

Stimmt nicht. Es geht über den BCIX auf kürzestem Weg rüber:

Code: Alles auswählen

                                                       Packets               Pings
 Host                                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AS???    fritz.box                                0.0%    81    1.0   1.1   0.5   1.8   0.3
 2. AS3209   ip5b4023fe.dynamic.kabel-deutschland.de  1.2%    80   84.4  43.7  13.5 290.0  36.2
 3. AS3209   83-169-179-22-isp.superkabel.de          0.0%    80   37.8  41.5  12.8 166.0  27.2
 4. AS3209   ip5886c1a2.static.kabel-deutschland.de   0.0%    80   19.0  43.7   9.5 139.2  30.1
 5. AS3209   145.254.3.66                             0.0%    80   36.7  45.8  12.1 128.9  28.8
 6. AS3209   145.254.2.49                             0.0%    80   77.0  47.5  14.6 192.7  29.1
 7. AS???    cloudflare.bcix.de                       0.0%    80  110.5  46.1  15.8 141.2  27.6
 8. AS13335  one.one.one.one                          0.0%    80   15.0  41.5  11.0 171.2  31.7

[StevenK]

Hi,

in dem Falle kann Vodafone/bzw. Ex-LGI nicht viel machen.

Cloudflare gibt "Guidelines" raus, wo welche Verbindung hingehen soll. TATA bekommt in diesem Falle wohl gesagt, dass 1.1.1.1 bitte nach Paris gehen soll (cloudflare.com geht des Übrigen via TATA nach Amsterdam).
Über Cloudflare WARP (verbunden in Frankfurt) sieht man auch, dass Cloudflare und TATA schon in Frankfurt peeren:

Code: Alles auswählen

|------------------------------------------------------------------------------------------|
|                                      WinMTR statistics                                   |
|                       Host              -   %  | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
|                              172.16.0.1 -    0 |    7 |    7 |   14 |   15 |   16 |   14 |
|                            162.158.82.1 -    0 |    7 |    7 |   16 |   18 |   20 |   16 |
|ix-ae-5-0.thar1.f2c-frankfurt.as6453.net -    0 |    7 |    7 |   14 |   16 |   19 |   17 |
|if-ae-2-2.tcore1.fnm-frankfurt.as6453.net -   20 |    5 |    4 |  107 |  112 |  121 |  107 |
|if-ae-6-2.tcore1.av2-amsterdam.as6453.net -    0 |    7 |    7 |  109 |  112 |  130 |  130 |
|if-ae-2-2.tcore2.av2-amsterdam.as6453.net -    0 |    7 |    7 |  107 |  109 |  113 |  113 |
| if-ae-14-2.tcore2.l78-london.as6453.net -    0 |    7 |    7 |  108 |  110 |  112 |  111 |
| if-ae-4-2.tcore2.n0v-newyork.as6453.net -    0 |    7 |    7 |  108 |  110 |  121 |  110 |
|if-ae-5-2.tcore2.mtt-montreal.as6453.net -    0 |    7 |    7 |  106 |  109 |  114 |  114 |
|                          66.198.161.149 -    0 |    7 |    7 |  106 |  108 |  113 |  106 |
|________________________________________________|______|______|______|______|______|______|

Daher geht auch z.B. aus dem Netzraum Berlin Cloudflare WARP nach Frankfurt oder gateway.discord.gg nach Amsterdam via IPv4 und nicht nach Berlin (was sinnvoll wäre). Das passiert in Berlin bspw. auch bei Telekom und o2.

Cloudflare ist bei ihren Policies, wie sie Daten hin- und herschieben immer ein bisschen speziell. Aber in der Community dort zu schreiben, ist schonmal eine gute Idee.

[floh667]

Ich beobachte es nun schon seit Wochen, dass Vodafone über Tata communications zum Cloudflare netzwerk routet.

Stimmt nicht. Es geht über den BCIX auf kürzestem Weg rüber:

Code: Alles auswählen

                                                       Packets               Pings
 Host                                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AS???    fritz.box                                0.0%    81    1.0   1.1   0.5   1.8   0.3
 2. AS3209   ip5b4023fe.dynamic.kabel-deutschland.de  1.2%    80   84.4  43.7  13.5 290.0  36.2
 3. AS3209   83-169-179-22-isp.superkabel.de          0.0%    80   37.8  41.5  12.8 166.0  27.2
 4. AS3209   ip5886c1a2.static.kabel-deutschland.de   0.0%    80   19.0  43.7   9.5 139.2  30.1
 5. AS3209   145.254.3.66                             0.0%    80   36.7  45.8  12.1 128.9  28.8
 6. AS3209   145.254.2.49                             0.0%    80   77.0  47.5  14.6 192.7  29.1
 7. AS???    cloudflare.bcix.de                       0.0%    80  110.5  46.1  15.8 141.2  27.6
 8. AS13335  one.one.one.one                          0.0%    80   15.0  41.5  11.0 171.2  31.7

Du bist nicht im Vodafone West netz und hast somit natürlich ein anderes Routing. Liberty global nutzt Tata für den transit und Tata schickt die pakete nach Paris statt sie in Frankfurt zu behalten. Das ist erst so, seit mittels Tata zum cloudflare netzwerk verbunden wird. Zuvor lief das noch über GTT und da wurde Cloudflare's PoP in frankfurt genutzt.

Daher geht auch z.B. aus dem Netzraum Berlin Cloudflare WARP nach Frankfurt oder gateway.discord.gg nach Amsterdam via IPv4 und nicht nach Berlin (was sinnvoll wäre). Das passiert in Berlin bspw. auch bei Telekom und o2.

Cloudflare ist bei ihren Policies, wie sie Daten hin- und herschieben immer ein bisschen speziell. Aber in der Community dort zu schreiben, ist schonmal eine gute Idee.

Es macht für mich keinen Sinn wenn Cloudflare speziell TATA sagen würde "routet allen deutschen traffic der über euer AS zu uns will nach Paris", während sie andere AS direkt nach frankfurt lassen.
So sieht ein tracert von einem O² DSL Anschluss zu 1.1.1.1 aus. Geht direkt über den DEcix zum PoP nach frankfurt. 5 hops, minimale latenz.

Unbenannt2.PNG

[StevenK]

Es macht für mich keinen Sinn wenn Cloudflare speziell TATA sagen würde "routet allen deutschen traffic der über euer AS zu uns will nach Paris", während sie andere AS direkt nach frankfurt lassen.

Loadbalancing... einiges geht auch nach Amsterdam, wie bereits beschrieben. Ich sehe auch aus dem Ex-KDG-Netz bei einigen Seiten, die spezielle IP-Ranges von Cloudflare bekommen, dass auch die, statt nach Berlin, nach Wien, Paris (via Level3), Düsseldorf, Frankfurt oder auch Amsterdam gehen.

Zeitweise ging LGI auch via Telia zu Cloudflare nach Frankfurt und aus Siegen geht gateway.discord.gg auch nach Frankfurt via TATA:
[ externes Bild ]

Währenddessen 1.1.1.1 immer noch nach Paris geht:
[ externes Bild ]

Ich denke, dass würde das Routing-Bingo von Cloudflare bestätigen. Schicke alles irgendwohin, nur nicht alles zum selben PoP. Da dies bei vielen Anbietern auftritt, würde ich ausschließen, dass TATA das auf eigene Faust macht.

EDIT: oder auch hier: von o2 Frankfurt geht gateway.discord.gg nach Hamburg, währenddessen es via TATA nach Frankfurt geht.
[ externes Bild ]

[floh667]

Loadbalancing... einiges geht auch nach Amsterdam, wie bereits beschrieben. Ich sehe auch aus dem Ex-KDG-Netz bei einigen Seiten, die spezielle IP-Ranges von Cloudflare bekommen, dass auch die, statt nach Berlin, nach Wien, Paris (via Level3), Düsseldorf, Frankfurt oder auch Amsterdam gehen.

es war ja immer so, dass temporär die routen sich mal aus den Gründen ändern, da die Auslastungen schwanken. War in der Vergangenheit freilich auch schon so. Aber dass es nun schon viele Wochen anhält ist dann doch untypisch. Es ist halt auch total random, da Paris nichtmal die beste zweite Wahl ist von hier aus. Zürich, hamburg, Düsseldorf. Alles wären bessere alternativen was die paketlaufzeiten angeht.

[StevenK]

Aber dass es nun schon viele Wochen anhält ist dann doch untypisch.

Leider nicht - solch permanent "schlechte" Entscheidungen beobachte ich schon seit Monaten.

Es ist halt auch total random, da Paris nichtmal die beste zweite Wahl ist von hier aus. Zürich, hamburg, Düsseldorf. Alles wären bessere alternativen was die paketlaufzeiten angeht.

Aus Berlin habe ich auch eine lange Zeit Paris oder auch Kopenhagen bekommen. Discord geht auch schon seit >6 Monaten nach Amsterdam. Frankfurt oder Düsseldorf wäre da auch besser gewesen. Aber wenn das so announced wird, dann kann man da nicht viel ändern. Cloudflare ist darüber eigentlich recht gesprächig und sollte im Community-Beitrag antworten.

[floh667]

haben sie leider bislang nicht. Da ist schweigen angesagt

[floh667]

Die Sache ist nun wohl bei Cloudflare auf der ToDo Liste, nachdem ich keinen Erfolg bei TATA hatte, aber der Kollege im cloudflare Forum weiter nach hakte
https://community.cloudflare.com/t/bad- ... /247389/23

[floh667]

Cloudflare hat sich zur problematik nochmal geäußert

Hello,

First of all, I’d like to apologize for the routing issue you’re seeing. We have been running tests since early January 2021 to investigate a critical issue within our Frankfurt PoP. As part of this test, we shut off our peering session with Tata in Frankfurt. In the absence of Frankfurt, you can expect traffic to route to our datacenters in Paris or Amsterdam instead. I’m afraid that there’s no ETA right now on when this test may conclude. You are correct that this issue is ongoing and has been ongoing for >2 months.

Sorry for the inconvenience. Please let us know if you have any further questions or concerns.