05/01/2026
Ce este fișierul robots.txt și cm îl folosești?
Fișierul robots.txt este unul dintre primele lucruri pe care motoarele de căutare le verifică atunci când ajung pe un site. Rolul lui este să ofere instrucțiuni clare despre ce pagini sau secțiuni pot fi accesate și indexate de boți.
Folosirea corectă a robots.txt te ajută să:
- eviți crawlarea paginilor inutile (filtre, parametri, zone tehnice)
- concentrezi bugetul de crawl pe paginile importante
- reduci riscul de indexare a conținutului irelevant
Important de reținut: robots.txt controlează accesul la crawlare, nu indexarea în sine. Dacă este folosit greșit, poate bloca pagini valoroase din rezultatele Google. De aceea, este un fișier mic, dar cu impact mare asupra SEO tehnic.