Projekt für KDGForum: KDG-Mapper

[fLoo]

UPDATE VOM 16.05.2013

http://breitbandatlas.com/2013/breitban ... -mai-2013/



Mediale Berichterstattung:

https://netzpolitik.org/2012/keine-scho ... utschland/
http://www.golem.de/news/kdgeo-db-kabel ... 94645.html
http://carta.info/48646/open-data-sorry-were-closed/

############### ORIGINALER THREAD ###################

Servus,

ich habe vor einigen Monaten begonnen ein Projekt zu erstellen, welches sich mit der Verfügbarkeit und dem Ausbau von KabelDeutschland-Produkten beschäftigt. Nach unzähligen Stunden Codeanalyse (die Webseite der KDG ist echt .. naja ) bin ich nun soweit und kann dem Forum in Kürze ein erstes Ergebnis präsentieren.

Services:

• Eigene GEO-Datenbank KDGEO-DB (synchronisiert mit den Servern der KDG).
• KDGEO-DB beinhaltet alle Postleitzahlen, Orte, Straßen sowie Hausnummern
• KDGEO-DB verfügt über die exakten Geokoordinaten zu jeder Adresse (realisiert mit Google-Maps-Geocode-API)
• KDGEO-DB beinhaltet zu den jeweiligen Adressen auch Fotos der Straßenzüge, sofern Verfügbar (PREMIUM)
• KDG-Frequenz-Analyse. Hiermit ist es möglich Daten per API zu schicken, um die derzeitige Auslastung des eigenen Segments online zu speichern und der Allgemeinheit zur Verfügung zu stellen.

Funktionen:

• graphische Darstellung von Verfügbarkeiten per dynamischer Karte

Premium-Funktionen (nur für wirklich große Aufträge wie von Gemeinden, ausgenommen sind alle anderen ISPs):

• graphische Darstellung von Verfügbarkeiten per statischer Karte (Offline als PDF / PNG / JPG / TIFF)
• Generierung von Karten für Orte,PLZ-Bereiche,Bundesländer,Bundesweit oder eigene Gebiete (Angabe von Koordinaten LAT/LNG)
• Nutzung des KDGEO-DB-PHOTO-Service um für Straßenzüge Fotos zu erhalten
• statistische Auswertung von Verfügbarkeiten nach Postleitzahlen
• statistische Auswertung von Verfügbarkeiten nach Orten
• statistische Auswertung von Verfügbarkeiten nach Bundesländern
• statistische Auswertung von Verfügbarkeiten Bundesweit
• Statistik berücksichtigt die Verfügbarkeit von Produkten über die Netzte der KDG (auch Reseller wie Telecolumbus)

Geplant:

• Einbindung der Netze Telecolumbus & UnityMedia in die Statistiken (derzeit wird nur die Resellermöglichkeit über KDG-Leitungen geprüft)
• Letztendlich eine Kabelkarte für alle Kabelanbieter bundesweit generieren (Zukunftsmusik )

Kosten:

Das Projekt steht für jeden Nutzer kostenlos zur Verfügung. Einige Funktionen wie die Generierung von statischen Karten gibt es jedoch lediglich gegen eine Spendengebühr pro erstmaligem Abruf der Daten. Dies geschieht aus dem Grund, da dies enorm CPU-Power beansprucht und alleine hierfür circa 130 Arbeitsstunden draufgegangen sind.

URL:

• http://www.kdgmap.de

[fLoo]

[ ----------------- Platzhalter -------------- ]

[fLoo]

So, ich habe nun den nächsten Schritt geschafft, zu jeder Adresse gibt es jetzt die genauen (mehr oder weniger) Koordinaten, nächster Schritt wird es sein, anhand der Vorhandenen Daten + Koordinaten eine Karte zu erstellen. Die Nacht wird lang

[BastardLawyerFrmHell]

Dein Engagement in allen Ehren, aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.

[fLoo]

Dein Engagement in allen Ehren

Danke

aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.

Aber sicher, so prüfe ich auch meinen Anschluss

Hier geht es aber darum, eine Verfügbarkeits-Karte zu erstellen um ein möglichst genaues Bild einer Stadt, respektive eines Stadtteils abzubilden. Sowas wird es von KDG niemals geben, daher mache ich das jetzt.

[RcRaCk2k]

Also ich finde das Projekt interessant

Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.

Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre

AJAX-URL: http://www.kabeldeutschland.de/static/s ... reilassing
Results in:

Code: Alles auswählen

[{value:Ahornstr.}, {value:Akeleiweg}, {value:Alpenstr.}, {value:Am Feuerhaus}, {value:Am Hang},…]

Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.

Hier findest du alle möglichen Abfrageparameter:
http://www.kabeldeutschland.de/static/s ... ion=config

Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?

EDIT: Ach Fuck... Ich dachte schon, das wären Daten aus der Live-Datenbank von Kabel-Deutschland. So hätte man sehen können, welche Straßenzüge versorgt werden und welche nicht. Aber anscheinend kommen die Daten von einem Produkt der deutschen Post: http://www.deutschepost.de/dpag?check=y ... 15592_1041 Hinweis darauf gibt die Javascript-Bibliothek "datafactory.min.js".

[Kabelmensch]

Servus,

ich habe aus aktuellem Anlass gerade begonnen ein Tool zu schreiben, welches anhand von Adressen die Verfügbarkeit von KDG-Produkten überprüft und diese dann ausgibt. Ich bitte Euch um Wünsche, was das Programm machen kann/soll/muss. Danke Euch!

Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.
Wie willst Du den DoS-Verdacht abwenden?

[fLoo]

Danke für die rege Teilnahme, hier die Antworten:

Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.

Genau den Verwende ich

Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre

Genau dabei bin ich gerade ^^

Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.

Mehr Schein als Sein. Das hat nichts mit Sicherheit zutun.
config

Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?

Soweit Hausnummer Verfügbar (abfragbar) sind, kann man diese folgendermaßen auslesen:

An folgende Adresse einen Post-Request senden : http://www.kabeldeutschland.de/start/ve ... resse.html
Inhalt: "serviceAdressRedirect=&serviceAdressProduct=&serviceAdressAdressId=&serviceAdressQuarter=&_qf_default=adress%3AVALIDATE&serviceAdressZipCode=21335&serviceAdressCity=L%FCneburg&serviceAdressStreet=Rosenstr.&serviceAdressStreetNo=&serviceAdressHouseAdd="

Daraus ergibt sich in der Antwortseite, soweit Verfügbar:

Code: Alles auswählen

<option value="21335,Lüneburg,Altstadt,Rosenstr.,,,-1">21335 Lüneburg, Rosenstr.  (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,1,,4107928">21335 Lüneburg, Rosenstr. 1 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,2,,4107929">21335 Lüneburg, Rosenstr. 2 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,3,,4107930">21335 Lüneburg, Rosenstr. 3 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,4,,4107931">21335 Lüneburg, Rosenstr. 4 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,5,,4107932">21335 Lüneburg, Rosenstr. 5 (Altstadt)</option>

	<option value="21335,Lüneburg,Altstadt,Rosenstr.,6,,6211354">21335 Lüneburg, Rosenstr. 6 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,7,,4107934">21335 Lüneburg, Rosenstr. 7 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,8,,4107935">21335 Lüneburg, Rosenstr. 8 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,9,,4107936">21335 Lüneburg, Rosenstr. 9 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,10,,4107937">21335 Lüneburg, Rosenstr. 10 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,11,,4107938">21335 Lüneburg, Rosenstr. 11 (Altstadt)</option>

Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.Wie willst Du den DoS-Verdacht abwenden?

Ich habe ein /24 Subnet, aus dem ich Anfragen von 253 IPs senden kann, läuft

[fLoo]

Update: Drückt mir die Daumen, nach Rücksprache mit der Deutschen Post bekomme ich ggf. die Datafactory der Deutschen Post gratis für dieses Projekt, dass heisst im Umkehrschluss, dass ich nativen Zugang zu Hausnummern aller Straßen haben

[fLoo]

Yay - SEHR große Fortschritte gemacht.
Ich komme jetzt auch ohne die "Datafactory Postalcode"-API der Deutschen Post aus. Ziehe mir die Adressen direkt von KDG