Service oder Lösung um viele Preise zu crawlen

Nützliche Programme zu Zeiterfassung, Dokumentenmanagement etc.
Antworten
tfuchs
Beiträge: 2
Registriert: 17. Okt 2016 12:44

Service oder Lösung um viele Preise zu crawlen

Hallo,
benötigt wird ein Überblick über den (Internet-) Marktpreis von 10-20.000 Artikeln, Tendenz steigend. Diese Information soll die Preisfindung (per Excel) für einen eigenen Onlineshop (nicht für Amazon) mitbeeinflussen. Was wäre hier ein guter Weg?

- mögliche Preisquellen könnten Amazon, Google Shopping, Idealo, oder ähnliches sein
- das Aktualisierungsintervall muss nicht hoch sein, alle 14 Tage wäre ok
- Artikelmenge 10-30.000

Was ich bisher überlegt habe, mich aber nicht überzeugt hat und daher frage ich nun hier:
- Excel (mittels "externe Daten abrufen" -> "aus dem Web"): Habe noch keine geeignete Website gefunden für den Großteil meiner Produkte bzw. mache mir Sorge um die Performance von Excel bei so vielen Artikeln. Könnt ihr etwas empfehlen? Charmant wären natürlich die nicht vorhandnene Kosten. :)
- priceintelligence .net: Könnte das und noch viel mehr, kostet aber eine beachtliche Summe

Müsste es nicht vergleichsweise einfach sein per Amazon Api oder Google Api die Preise der Produkte zu bekommen, wenn ich die EAN und/oder mpnr liefere?

Bedanke mich vorab für Hinweise und Empfehlungen!


3 Monate gratis Händlerbund
altbau

Re: Service oder Lösung um viele Preise zu crawlen

tfuchs hat geschrieben: Müsste es nicht vergleichsweise einfach sein per Amazon Api oder Google Api die Preise der Produkte zu bekommen, wenn ich die EAN und/oder mpnr liefere?

Bedanke mich vorab für Hinweise und Empfehlungen!
Das müsste kein Problem sein. Das Ergenis würde ich als normale Textdatei (CSV) speichern.
tfuchs
Beiträge: 2
Registriert: 17. Okt 2016 12:44

Re: Service oder Lösung um viele Preise zu crawlen

Danke für die Antwort.
Ich habe das auch schon mal für einzelne Artikel in einem anderen Zusammenhang in PHP programmiert. Das Ganze bräuchte ich dann nochmal "in groß" für viele Artikel. Es kann ja evtl. auch sein, dass man nicht unendlich viele Abfragen starten kann bei der API.

Gibt es schon jemanden, der sowas hat bzw. diesen Service anbietet? Möchte es ungern selber programmieren (lassen), sofern es überhaupt für meine Zwecke praktikabel wäre (wegen der vielen Abfragen in kürzester Zeit).
altbau

Re: Service oder Lösung um viele Preise zu crawlen

tfuchs hat geschrieben:Danke für die Antwort.
Ich habe das auch schon mal für einzelne Artikel in einem anderen Zusammenhang in PHP programmiert. Das Ganze bräuchte ich dann nochmal "in groß" für viele Artikel. Es kann ja evtl. auch sein, dass man nicht unendlich viele Abfragen starten kann bei der API.

Gibt es schon jemanden, der sowas hat bzw. diesen Service anbietet? Möchte es ungern selber programmieren (lassen), sofern es überhaupt für meine Zwecke praktikabel wäre (wegen der vielen Abfragen in kürzester Zeit).
Die Abfragen kann man aufteilen. Für die regelmäßigen Abfragen alle 14 Tage nutzt man einen Cronjob.
Der Aufwand ist nicht hoch. Man liest alle EAN ein, ruft die API auf und speichert das Ergebnis in einer Datei. Ich kenne keinen Dienstleister, der genau so etwas anbietet.
Benutzeravatar
Orangebytes
Beiträge: 6
Registriert: 30. Okt 2016 15:02
Land: Deutschland
Wohnort: Mainz
Kontaktdaten:

Re: Service oder Lösung um viele Preise zu crawlen

Also wenn dir Amazon als Datenquelle reicht ist das wirklich einfach - wir haben da diverse Skripte und Tools um große Datenmengen abzufragen. Per Zugriff über die AWS-API kannst du pro Stunde 3600-18000 Abfragen machen. Man müsste das also über den Tag verteilen.

Für Idealo o. Google Shopping müsste man ggf. einen kleinen Scraper schreiben - und das Skript am besten über verteilte Proxies zugreifen lassen, damit die IP nicht gesperrt wird.
Antworten

Zurück zu „Office-Programme & Tools“

  • Information