Cum te protejezi de DMCA si alti Boti care iti scaneaza si atacul site-ul

Accesarile de tip BOT aduc foarte multe pagube la site-ul tau si toata munca care o depui este pur si simplu distrusa. Acestia pot face milioane sau chiar sute de milioane de accesari la site in fiecare luna, lucru care consuma foarte multe resurse la site si`l face sa se incarce foarte incet, iar acest lucru duce la o penalizare in rezultatele google. Este doar un exemplu.

Mai jos aveti o imagine la unul din serverele mele sa vedeti ce accesari am luna aceasta (ianuarie) doar din boti.

Nu toti botii sunt rai, gen cum este cel de la google, bing , Yandex. Daca aveti serviciu de monitorizare la site daca este online sau nu (exemplu next-analytics.com) trebuie sa le prmiteti accesul.

Cum te protejezi de DMCA si alti Boti care iti scaneaza si atacul site-ul?

1. Adaugam site-ul in cloudflare

2. Click pe firewall si apoi la tools unde activati Bot Fight Mode

3. Tot la firewall click pe Firewall Rules 

4. Click Create Firewall Rules

5. Din lista alegeti threat score

6. La operator alegeti equals si la Value puneti 5

7. La actiune alegeti challenge captcha. 

Rezultatul arata cam asa.

Logul este ce a blocat in ultimele minute.

Se mai poate activa Know Bot din Firewall Rules insa trebuie sa excludeti google, bing, Yandex si orice alt bot care doriti sa va acceseze site-ul. Daca nu se da acces atunci cloudflare va bloca orice bot, inclusiv  google.  Puteti folosi codul de mai jos sau va puteti informa mai bine pe acest link https://developers.cloudflare.com/firewall/cf-firewall-rules

_{(http.user_agent contains "Yandex") or (http.user_agent contains "muckrack") or (http.user_agent contains "Qwantify") or (http.user_agent contains "Sogou") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "knowledge") or (http.user_agent contains "CFNetwork") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "python-requests") or (http.user_agent contains "crawl" and not cf.client.bot) or (http.user_agent contains "Crawl" and not cf.client.bot) or (http.user_agent contains "bot" and not http.user_agent contains "bingbot" and not http.user_agent contains "Google" and not http.user_agent contains "Twitter" and not cf.client.bot) or (http.user_agent contains "Bot" and not http.user_agent contains "Google" and not cf.client.bot) or (http.user_agent contains "Spider" and not cf.client.bot) or (http.user_agent contains "spider" and not cf.client.bot)}

Daca site-ul va este atacat si doriti sa blocati orice accesare care nu este facuta de o persoana, la operator alegeti mai mic ssau egal si la value lasati 5. Nu uitati sa stergeti cache dupa ce ati terminat de setat.

La fiecare accesare cloudflare va afisa o pagina un userul trebuie sa puna un code sau sa aleaga cateva imagini. Daca este bot, sau atac nu va ajunge la site-ul vostru, daca este o persoana, aceasta va pune codul. Nu toti il vor pune si de aceea nu e bine sa lasati setat asa tot timpul. Setarea Egal cu 5 o puteti lasa activa fara probleme pentru ca nu va afecteaza site-ul si nici utilizatorul care va viziteaza.

Cu aceste setari reduceti 90% din accesarile de tip bot.