Unternehmen in Deutschland nutzen Web Scraping, um öffentlich zugängliche Daten effizient zu erfassen und für ihre Geschäftsprozesse aufzubereiten. Das bedeutet nicht, dass automatisch alle online verfügbaren Inhalte erfasst werden dürfen. Rechtlich macht es einen erheblichen Unterschied, ob ein Web Scraper Produktpreise beobachtet oder persönliche LinkedIn Profile speichert. Auch die Art des Zugriffs ist entscheidend. Eine öffentlich zugängliche Produktseite aufzurufen ist etwas anderes, als eine Anmeldung, ein CAPTCHA oder eine IP Sperre zu umgehen.
Wer öffentliche, nicht personenbezogene Daten erfasst und technische Grenzen respektiert, kann Web Scraping in Deutschland verantwortungsvoll einsetzen, um Wettbewerber zu beobachten oder Marktkenntnisse zu gewinnen. Dafür müssen Quellen, Datenfelder und Erfassungsmethoden vorab klar definiert und während des Projekts kontrolliert werden. Zudem sollten nur die Daten erfasst werden, die für den vereinbarten Zweck erforderlich sind.
Der rechtliche Rahmen in Deutschland
DSGVO und Datenschutz
Die DSGVO gilt, sobald Daten Informationen über eine identifizierte oder identifizierbare natürliche Person enthalten. Namen, persönliche E Mail Adressen, Telefonnummern und Profile in sozialen Medien fallen in der Regel darunter. Besonders die Kombination einzelner Datenquellen kann sensibel sein. Ein einzelnes öffentliches Profil mag harmlos wirken. Eine Datenbank mit Tausenden Profilen, Funktionen, Arbeitgebern und E Mail Adressen hat einen ganz anderen Charakter. Dass diese Informationen öffentlich sichtbar sind, erlaubt nicht automatisch ihre uneingeschränkte Weiterverwendung.
Urheberrecht und Datenbankrecht
Nach §§ 87a ff. des deutschen Urheberrechtsgesetzes kann eine Datenbank geschützt sein, wenn ihre Beschaffung, Überprüfung oder Darstellung eine wesentliche Investition erfordert hat. Einen einzelnen öffentlichen Produktpreis zu erfassen ist etwas anderes, als nahezu den gesamten Katalog einer Plattform zu kopieren. Je umfangreicher und systematischer die Übernahme ist, desto wichtiger ist die Prüfung der Datenbankrechte.
§ 44b UrhG schafft Spielraum für Text und Data Mining bei Quellen, zu denen rechtmäßig Zugang besteht. Kopien müssen gelöscht werden, sobald sie nicht mehr benötigt werden. Rechteinhaber können die Nutzung außerdem vorbehalten. Bei online zugänglichen Werken muss ein solcher Vorbehalt maschinenlesbar erklärt werden. Die Regelung ermöglicht Datenanalysen, ist aber keine allgemeine Erlaubnis, kommerzielle Datenbanken zu kopieren oder erneut zu veröffentlichen.
UWG und unlauterer Wettbewerb
Auch das Gesetz gegen den unlauteren Wettbewerb kann relevant sein. Es soll verhindern, dass Unternehmen Wettbewerber auf unfaire Weise behindern. Problematisch kann etwa sein, nur einen einzelnen Wettbewerber zu beobachten und dessen Preis mittels dynamischer Preisgestaltung fortlaufend automatisch zu unterbieten. Sinnvoller ist ein Marktvergleich, bei dem die Preise mehrerer Anbieter in begrenztem und verhältnismäßigem Umfang beobachtet werden.
Preisüberwachung ist daher nicht automatisch verboten. Umfang, Zweck und Verwendung der erhobenen Daten beeinflussen, wie die Aktivität rechtlich beurteilt wird.
§ 202a StGB und technische Sicherungen
§ 202a des deutschen Strafgesetzbuchs schützt Daten, die besonders gegen unberechtigten Zugang gesichert sind. Wer ohne Erlaubnis eine Zugangssicherung überwindet, kann sich strafbar machen.
Öffentliche Zugänglichkeit
Ein wichtiger Ausgangspunkt ist, dass die Quelle öffentlich zugänglich sein muss. Die Daten sollten ohne Konto, Abonnement oder technische Umgehung einsehbar sein. Auch Nutzungsbedingungen, robots.txt Anweisungen und maschinenlesbare Nutzungsvorbehalte können relevant sein.
Eine Produktseite zeigt diesen Unterschied deutlich. Preis, Lagerstatus und Produktspezifikationen sind in der Regel geschäftliche Daten. Auf derselben Seite können jedoch auch Kundenbewertungen stehen. Beim Managed Web Scraping übernehmen wir nicht alles, was technisch verfügbar ist. Wir verarbeiten ausschließlich die vereinbarten Datenfelder.
Sind die Daten personenbezogen?
Unser Datenmodell ist bewusst auf geschäftliche Informationen ausgerichtet:
| Datentyp | Personenbezogen? | Unser Vorgehen |
|---|---|---|
| Produktpreise | Nein | Werden erfasst |
| Unternehmensbeschreibungen | In der Regel nicht | Werden erfasst |
| LinkedIn Profile | Ja | Werden nicht erfasst |
| E Mail Adressen | Häufig | Werden nicht erfasst |
Produktpreise, Sortimente, Verfügbarkeit und technische Produktmerkmale sind normalerweise keiner natürlichen Person zugeordnet. Diese Daten können für Preisüberwachung, Marktforschung und Business Intelligence genutzt werden.
LinkedIn Profile und E Mail Adressen schließen wir aus. Ein öffentliches Profil bleibt personenbezogen, auch wenn es ohne Anmeldung sichtbar ist. Das gilt häufig auch für geschäftliche E Mail Adressen, die den vollständigen Namen eines Mitarbeiters enthalten.
Indem wir solche Quellen und Datenfelder von Anfang an ausschließen, verhindern wir, dass personenbezogene Daten unbemerkt in einen größeren Datensatz gelangen.
Eine verantwortungsvolle Erfassungsmethode
Eine rechtlich sorgfältige Vorgehensweise muss auch technisch sauber umgesetzt werden. Der Scraper wird so konfiguriert, dass nur die Daten erfasst werden, die für den vereinbarten Zweck erforderlich sind. Die Abfragen werden zudem so eingestellt, dass der Zielserver möglichst wenig belastet wird. Im WSA Bot Manager ist festgelegt, welche Quellen verwendet und welche Datenfelder gespeichert werden. Es werden nicht mehr Daten erfasst als notwendig.
Managed Web Scraping als kontrollierter automatisierter Datenservice
Managed Web Scraping verbindet Erfassung, Kontrolle, Monitoring, Wartung und Lieferung von Daten. Unsere Grenze ist klar: Wir erfassen öffentliche Produktdaten und Unternehmensdaten. So können deutsche Unternehmen Webdaten für Preisanalysen, Marktbeobachtung und strategische Entscheidungen nutzen, ohne unbeabsichtigt eine Datenbank mit personenbezogenen Informationen aufzubauen.