Die Daten von Kunden sind mehr oder weniger strukturiert. Manchmal sagen
die aber auch nur, nehmen sie die Anzeigen von unserer Homepage. Das
Umwandeln von einem XML in eine andere Struktur per XSL ist auch eine
Kunst für sich.
Aus meiner Sicht sollte YAWIK das Ziel Format definieren und das Mapping
übernehmen.
Scrapy übernimmt das Einsammeln der Daten und die Umwandlung in ein
definiertes Format. Im einfachsten Fall ein Feed mit Job Entity als JSON.
Das Import Modul muss sich keine Gedanken über das Protokoll,
Authentifizierung oder das Format machen. Es kann davon ausgehen, dass
die Daten vorliegen. Programmiert werden muss nur das Mapping von
Kategorien und die Definition von Default Werten.
Die Aufgabenstellung “Hole mir die Daten unter XYZ ab und wandel Sie mir
in genau dieses Format” lässt dich prima mit scrapy erledigen. Und es
gibt viele die das können. Auch wenn Kundendaten in Form von XML oder
CSV vorliegen, müsste man zielich viel programmieren.
Das Import Modul kann man mit Sicherheit erweitern, so dass es CSV
importieren kann. Ich glaube aber der Aufwand ist größer, als jemanden
zu finden und das CSV in das JSON umzuwandeln.
D