Resolved -
Wie bekannt und bereits mitgeteilt haben Zugriffe durch Crawler und Bot-Systeme im Laufe der letzten Monate massiv zugenommen. Um die Zugriffe für legitime Benutzer performant zu halten, haben wir [im Januar 2025] eine Application Firewall Lösung in Betrieb genommen.
In den letzten Wochen wurde die Konfiguration weiterentwickelt, unter anderem in folgenden Aspekten:
1.) Suchmaschinen-Optimierung
Ziel ist, die Suchmaschinen Google, Bing ohne Einschränkung mit optimaler Performance zugreifen zu lassen, um bestmögliche SEO Rankings zu erreichen.
Google und Bing sind über die von deren Betreibern bereitgestellten IP-Adresslisten vollständig freigeschaltet.
2.) Idealo Integration
Die Idealo Preissuchmaschine verifiziert teilweise, ob die dort gelisteten Preise im Shop noch aktuell sind. Auch hier sind die IP-Adressen freigeschaltet.
3.) Benutzerfreundlichkeit und optische Darstellung
Die bisherige Logik, ein CAPTCHA anzufordern, wurde technisch und optisch wesentlich weiterentwickelt.
Es erfolgt nun für jeden einzelnen Endkunden-Zugriff eine Risiko-Bewertung. Abhängig davon wird eine der folgenden Maßnahmen gewählt:
Stufe 1: Freier Zugriff, vollständig transparent.
Stufe 2: Anzeige “Browser-Prüfung” und automatische Weiterleitung, ohne Kundeninteraktion
Stufe 3: CAPTCHA mit Anforderung eines Click in eine Checkbox
Stufe 4: CAPTCHA mit Anforderung einer Texteingabe
Die Kriterien und der Algorithmus, nach denen eine Stufe gewählt wird, sind dynamisch und werden beständig weiterentwickelt. Es wird jeweils eine möglichst geringe Stufe gewählt. Unter anderem fließen in die Bewertung mit ein:
- die Anzahl der Zugriffe auf den Shop, im Vergleich zum üblichen Zustand,
- je Quell-IP-Adresse die Anzahl der Zugriffe,
- die geographische Herkunft und die Bewertung der Adresse,
- die Anzahl der Zugriffe je Application-Firewall-Session, sofern vorhanden
und weitere Kriterien.
Ziel ist, ein optimales Kundenerlebnis, gute Performance und SEO-Ergebnisse zu erreichen.
Wir freuen uns über Ihre Anregungen und Hinweise und über eine Weiterentwicklung im aktiven gegenseitigen Austausch.
Apr 15, 10:23 CEST
Update -
Wie aus der IT-Fachpresse bekannt finden weltweit im Internet verstärkt Zugriffe durch automatisierte Abfragen statt, die vielerorts zu Überlast führen.
Wir haben dazu und zu den Gegenmaßnahmen, die wir getroffen haben, bereits berichtet. Unter anderem haben wir eine Application Firewall eingerichtet und sogenannte “Captchas” geschaltet, zur Unterscheidung von ungewollten zu echten, menschlichen Zugriffen.
Die Maßnahmen zeigen guten Erfolg. In den letzten Wochen wurde das Application Firewall System sukzessive weiterentwickelt, mit dem Ziel, das Kundenerlebnis zu optimieren. Die Integration mit Schnittstellen wie Ariba, Coupa etc. wurde getestet und verbessert, ebenso die Suchmaschinen-Optimierung für Google, Bing und Idealo.
Wir planen, das Application-Firewall-System im Laufe der nächsten zwei bis drei Wochen generell für alle Shop-Systeme zu aktivieren.
---
As we know from the IT trade press, the Internet is increasingly being accessed by automated queries worldwide, leading to overload in many places.
We have already reported on this and the countermeasures we have taken. Among other things, we have set up an application firewall and activated so-called ‘captchas’ to differentiate between unwanted and genuine human access.
The measures are proving successful. In recent weeks, the application firewall system has been successively developed further with the aim of optimising the customer experience. Integration with interfaces such as Ariba, Coupa etc. has been tested and improved, as has search engine optimisation for Google, Bing and Idealo.
We plan to generally activate the application firewall system for all shop systems over the next two to three weeks.
Feb 28, 12:33 CET
Update -
Die Shops sind weiterhin von Angriffen durch KI-gesteuerte Bots betroffen, die eine DDoS-ähnliche Situation verursachen. Die Gegenmaßnahmen werden kontinuierlich optimiert, um Stabilität und Benutzerfreundlichkeit bestmöglich in Einklang zu bringen. Das Monitoring erfolgt in Echtzeit, und sobald die Shop-Performance negativ beeinflusst wird, wird die CAPTCHA-Lösung für den betroffenen Shop aktiviert, um den Betrieb zu sichern. Unser Ziel ist es, die Plattform stabil und benutzerfreundlich zu halten.
---
The shops are still affected by attacks from AI-driven bots causing a DDoS-like situation. Countermeasures are continuously optimized to balance stability and user-friendliness as best as possible. Monitoring occurs in real-time, and if shop performance is negatively impacted, the CAPTCHA solution is activated for the affected shop to maintain operation. Our goal is to keep the platform stable and user-friendly.
Feb 17, 09:16 CET
Update -
We are continuing to monitor for any further issues.
Jan 28, 13:54 CET
Monitoring -
Auswirkung:
Die Performance einer Vielzahl von Shops, die über unsere Plattform laufen, kann aktuell zeitweise eingeschränkt sein. Nutzer können verlangsamte Ladezeiten oder zeitweise Nichterreichbarkeit feststellen. Die Auswirkungen sind vergleichbar mit einem DDoS-Angriff.
Ursache:
Wie bereits in der Presse berichtet (siehe heise.de-Bericht*), hat sich die durch Crawler und illegitime Bots entstehende Last auf Webseiten in den letzten Wochen und Monaten massiv erhöht. Die E/D/E Shop Umgebung ist von dieser Entwicklung ebenfalls betroffen.
Die Einschränkungen werden durch aggressive Crawling-Versuche von KI-gestützten Bots verursacht, die sich wie reguläre menschliche Nutzer verhalten. Diese Anfragen stammen von Hunderten verschiedener IP-Adressen und überlasten die Server.
Bisherige Schutzmaßnahmen wie Rate-Limiting auf Basis von Agent-Kennungen greifen in diesen Fällen nicht, da die Bots menschliches Verhalten imitieren und Anweisungen der robots.txt ignorieren.
Maßnahmen:
Um die Stabilität, Performance und ein optimales Benutzererlebnis zu gewährleisten, haben wir eine Application-Firewall-Lösung realisiert. Darüber können Gegenmaßnahmen wie etwa CAPTCHA-Anfragen geschaltet werden.
Als erste Gegenmaßnahme wird bei verdächtigen Sessions ein CAPTCHA auf Server-Ebene eingesetzt. Diese Methode kann allerdings auch potenziell legitime humanoide Nutzer und Schnittstellen beeinträchtigen. Die Lösung wird daher derzeit einzeln pro Shop aktiviert und getestet. Bitte melden Sie sich bei Bedarf im Support, falls es zu Problemen kommt (https://ecommerce.services/).
Da die Angriffe variieren und wir ad hoc Abwehrmaßnahmen umsetzen, sind Störungen nicht immer vermeidbar. Wir bitten diesbezüglich um Ihr Verständnis. Wir sind außerdem auf Ihre Mithilfe angewiesen und bitten, uns kurzfristig über eventuell auftretende ungewollte Effekte zu informieren.
Die Server-Logs werden täglich überwacht, und wir evaluieren kontinuierlich, wie die Crawler auf neue Schutzmaßnahmen reagieren.
Hinweise:
Die Komplexität der Situation erfordert eine ständige Revalidierung auffälliger, aber möglicherweise legitimer Sessions.
Dieses Problem betrifft nicht nur unsere Plattform, sondern seit Jahresbeginn auch eine Vielzahl anderer Websites weltweit.
Wir halten Sie über die weitere Entwicklung auf dem Laufenden und danken für Ihr Verständnis.
Ihr Team eCommerce Services
*Heise-Bericht https://www.heise.de/news/KI-Bots-legen-Linux-News-Seite-und-weitere-lahm-10251997.html
---
Impact:
The performance of numerous shops hosted on our platform may currently be intermittently affected. Users might experience slow loading times or temporary unavailability. The impact is comparable to a DDoS attack.
Cause:
As recently reported in the media (see heise.de article), the load caused by crawlers and illegitimate bots has significantly increased for websites in recent weeks and months. The EDE shop environment has also been affected by this development.
The disruptions are caused by aggressive crawling attempts from AI-powered bots that mimic regular human users. These requests originate from hundreds of different IP addresses, overloading the servers.
Existing protective measures, such as rate-limiting based on agent identification, are ineffective in these cases because the bots imitate human behavior and disregard robots.txt instructions.
Actions Taken:
To ensure stability, performance, and an optimal user experience, we have implemented an application firewall solution. Through this, countermeasures such as CAPTCHA challenges can be deployed.
As an initial countermeasure, a CAPTCHA is being applied at the server level for suspicious sessions. However, this method may also inadvertently affect legitimate human users and interfaces. The solution is currently being tested and activated on a per-shop basis. Please contact our support team if you encounter any issues (https://ecommerce.services/).
Since these attacks vary and we need to implement defense measures on short notice, some disruptions may be unavoidable. We ask for your understanding in this matter and rely on your assistance. Please inform us promptly of any unintended effects you may observe.
Server logs are monitored daily, and we continuously evaluate how the crawlers respond to new countermeasures.
Notes:
The complexity of this situation requires ongoing revalidation of suspicious but potentially legitimate sessions.
This issue is not limited to our platform but has affected many websites globally since the beginning of the year.
We will keep you informed about further developments and appreciate your understanding.
Your eCommerce Services Team
Jan 28, 13:51 CET
