Læs artikler bag paywalls ved masquerading som Googlebot

Internettet er på et tippested. Den fortsatte stigning i adblockering har sat en ende på indtægtsmodellen, der udelukkende afhænger af annonce dollars til at drive hjemmesider og virksomheder.

Specielt nyhedswebsteder er begyndt at eksperimentere med måder at diversificere indkomstkilder på, og en fremtrædende mulighed, som websteder som The Wall Street Journal, Financial Times, The New York Times eller Washington Post har alle implementeret, er paywall-systemet.

Der findes forskellige typer betalingsveje, men de har alle til fælles, at de blokerer adgangen til indhold, enten direkte eller efter at et vist antal artikler er blevet læst på webstedet.

Besøgende bliver derefter bedt om at abonnere på webstedet for at fortsætte med at læse artikler om det.

nyhedswebsted paywall

Det kan give mening ud fra et forretningsmæssigt synspunkt, og det kan være mere lukrativt end at kæmpe det ud med brugere, der kører adblockere, men der er en ulempe for det både for paywalled site og den blokerede bruger.

Websteder taber en høj procentdel af besøgende, hvis de implementerer et paywall-system. Det er uklart, hvor høj procentdelen virkelig er, og det varierer sandsynligvis fra sted til sted, men det er sandsynligvis meget højere end den procentdel af besøgende, der abonnerer på webstedet, efter at have fået mulighed for at abonnere på at læse den ønskede artikel.

Masker din browser

Det er ingen hemmelighed, at nyhedswebsteder giver adgang til nyhedsaggregatorer og søgemaskiner. Hvis du tjekker Google Nyheder eller Søg f.eks. Finder du artikler fra websteder med betalingsmuligheder, der er anført der.

Tidligere har nyhedswebsteder tilladt adgang til besøgende, der kommer fra store nyheder, som Reddit, Digg eller Slashdot, men den praksis synes at være så god som død i dag.

Et andet trick til at indsætte artikeltitlen i en søgemaskine for at læse den cachelagrede historie direkte på det, synes ikke at fungere mere korrekt, ligesom artikler på websteder med betalingsmure normalt ikke er cachelagret længere.

User-Agent og Referrer

Du spekulerer sikkert på, hvordan websteder blokkerer eller tillader adgang til webstedets indhold. Metoderne er blevet forbedret gennem årene, og det er ikke længere nok at bare ændre browserens henvisninger til https://www.google.com/ for at få fuld adgang til et websteds indhold.

I stedet bruger websteder forskellige kontrol, der omfatter brugeragent, henvisning og cookies, og nogle gange endda for at bestemme legitimiteten af ​​adgangen.

Generel information

Den bedste måde at maskerere browseren på er sandsynligvis at gøre det til at være Googlebot.

  • Henvisning: https://www.google.com/
  • Bruger-agent: Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + http: //www.google.com/bot.html

Firefox

henvisende

Firefox-brugere har brug for to browser-tilføjelser til det: den første, RefControl, for at ændre henvisningsværdien, når du besøger nyhedswebsteder, den anden, Bruger Agent Switcher, for at ændre browserens brugeragent.

  1. Download og installer begge udvidelser i Firefox-browseren.
  2. Tryk på Alt-tasten, og vælg Værktøjer> RefControl Options.
  3. Klik på "Tilføj websted", indtast et domænenavn under webstedet, vælg brugerdefineret handling og indtast https://www.google.com/ som referrer.
  4. Gentag dette for alle nyhedswebsteder, du vil have adgang til (nogle kan muligvis ikke virke, selvom du foretager ændringerne, så husk det).
  5. Når du er færdig, skal du lukke konfigurationsvinduet.
  6. Tryk på Alt-tasten igen, og vælg Værktøjer> Standard brugeragent> Rediger brugeragenter fra menuen.
  7. Vælg Ny> Brugeragent, og erstat streng i feltet Brugeragent med Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + http: //www.google.com/bot.html). Navngiv det Googlebot.
  8. Afslut menuen.
  9. Før du får adgang til disse websteder, skal du trykke på Alt og vælge Standard brugeragent> Googlebot.

Dette er alt, hvad der er til det. Det er lidt uheldigt, at der ikke er nogen udvidelse til Firefox, der ændrer brugeragenten automatisk baseret på de websteder, du besøger.

google Chrome

Google Chrome-brugere kan installere udvidelser som Bruger Agent Switcher og Referer Control som er tilgængelige for browseren at gøre det samme.

Der er dog en anden mulighed, og det er at oprette en brugerdefineret udvidelse, som automatiserer processen i browseren.

Instruktioner gives på Elaineou. Alt hvad der kræves, er grundlæggende at oprette en ny mappe på den lokale computer. Opret de to filer background.js og manifest.json inde i det, og kopier og indsæt den kode, der findes på webstedet, i filerne.

Du skal aktivere "developer mode" på chrome: // extensions /, og kan derefter vælge "load unpacked extension" for at vælge den mappe, du har oprettet de to filer i for at indlæse udvidelsen i Chrome.

Du kan ændre listen over websteder, der understøtter at tilføje nye.

Giv en kommentar

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.