Žádná podpora pro směrnici Noindex v Robot.Txt: Říká Google

Google nedávno vysvětlil, že přestal podporovat některé direktivy noindex v souboru robot.txt. To znamená, že vyhledávací stroj již nebude podporovat soubory robota.txt s direktivou noindex, která je uvedena v souboru. Podívejme se níže, co Google říká o kroku, který nedávno podnikl:

"V zájmu udržení zdravého ekosystému a přípravy na budoucí budoucí vydání s otevřeným zdrojovým kódem ukončujeme v září 1, 2019 veškerý kód, který zpracovává nepodporovaná a nepublikovaná pravidla (například noindex)."

To znamená, že pravidla, která internetový koncept nepodporuje, například zpoždění procházení, nofollow a noindex, již nebudou účinná.

msg

Jaké alternativy navrhuje společnost Google?

Jak se tyto stávají neúčinnými, jaké jsou jiné způsoby pro ty, kteří chtějí ovládat procházení? Pro ty z vás, kteří se v souboru robots.txt spoléhali na směrnici o indexování noindex, Google navrhuje řadu alternativních možností, například:

  • Noindex v metaznačkách robotů: Toto je podporováno v záhlaví HTTP odpovědí i v HTML a nejúčinnějším způsobem, jak odstranit URL z indexu, když je povoleno procházení.
  • Stavové kódy 404 a 410 HTTP: Tyto stavové kódy ukazují, že stránka již neexistuje a po procházení a zpracování budou takové adresy URL vyřazeny z indexu Google.
  • Ochrana heslem: Pokud se označení nepoužije k označení předplatného nebo obsahu s placenými platbami, pomocí přihlašovacího hesla k přístupu na stránku se tato stránka z indexu Google obvykle odstraní.
  • Zakázat v souboru robots.txt: Zamezení procházení stránky zastaví indexování, protože vyhledávače mohou indexovat pouze stránky, o kterých vědí. Vyhledávací stroj může také indexovat URL na základě odkazů z jiných stránek. Zviditelnění takových stránek znemožní vyhledávači jejich indexování.
  • Nástroj pro odebrání adresy URL z Konzole pro vyhledávání: Jeden z nejlepších způsobů, jak dočasně odstranit adresu URL z výsledků vyhledávání Google.

Proč se Google rozhodl přestat podporovat soubor robota.txt

Hlavním důvodem pro opuštění veškerého kódu, který zpracovává všechna pravidla nepodporovaná a nezveřejněná v internetovém konceptu, je to, že jsou neoficiální.

Směrnice robots.txt, kterou společnost Google v minulosti podporovala, již nebude fungovat. Pro kontrolu procházení a indexování webových stránek je důležité vyjít se správným postupem.

Podívejme se, co Google říká ...

"Fnebo 25 let, Protokol o vyloučení robotů (REP) byl jen de-facto standard. To mělo někdy frustrující důsledky. Na jedné straně to pro webmastery znamenalo nejistotu v rohových případech, jako když obsahoval jejich textový editor GOOD v jejich souborech robots.txt. Na druhé straně to pro vývojáře prolézacích modulů a nástrojů také přineslo nejistotu. “

S novým internetovým konceptem zveřejněným nedávno a poskytujícím rozšiřitelnou architekturu pravidel, která nejsou součástí standardu, bude direktiva noindex v robotu.txt zbytečná, aby pomohla vydavatelům kontrolovat indexování svých stránek a zabránit prolézacímu modulu v procházení. skrz stránku, kterou nechtějí.

Robots Exclusion Protocol (REP), jedna z nejzákladnějších a nejkritičtějších součástí webu, umožňuje vlastníkům webových stránek vyloučit automatizované klienty, jako je webové prohledávače, z přístupu na jejich stránky - buď částečně nebo úplně.

To však nebylo součástí úředníka Internetový standard, a to je vývojáři interpretovali tento protokol v průběhu let poněkud odlišně. Také ERP od svého vzniku nebyl aktualizován, aby zahrnoval dnešní rohové případy. Tento nejasný de-facto standard ztěžoval správné psaní pravidel, což je pro majitele webových stránek obtížný problém.

„Chtěli jsme pomoci majitelům a vývojářům webových stránek vytvořit úžasné zážitky na internetu místo toho, abychom se starali o to, jak ovládat prolézací moduly,“ říká Google.

Navrhovaný návrh REP byl připraven po prohlédnutí 20 let zkušeností v reálném světě se spolehnutím na pravidla robots.txt. Nemění to původní pravidla. Spíše definuje pouze v podstatě všechny nedefinované scénáře pro analýzu a porovnávání robots.txt a rozšiřuje je pro moderní web. Tyto jemnozrnné ovládací prvky tedy majiteli stránek stále umožňují rozhodnout se o tom, která stránka bude procházena na jejich webu a potenciálně zobrazena zájemcům.

Sečteno a podtrženo

Jedno je jasné, že směrnice noindex již nebude fungovat. Pokud na nich stále závisíte, abyste zabránili procházení a indexování stránek, je třeba změnit strategii a hledat jiné možnosti nebo použít možnosti navržené společností Google. Ujistěte se, že tak učiníte před termínem, kdy Google zcela přestane podporovat roboty.txt noindex a další nezdokumentovaná pravidla, jako je nyní následovat, zpoždění procházení atd.

Zdroj

Napsat komentář

Tyto stránky používají Akismet k omezení spamu. Zjistěte, jak jsou vaše údaje komentářů zpracovávány.