Lees artikelen achter paywalls door zich voor te doen als Googlebot

Internet staat op een omslagpunt. De aanhoudende opkomst van adblocking heeft een einde gemaakt aan het verdienmodel dat uitsluitend afhankelijk is van advertentiedollars om websites en bedrijven te exploiteren.

Vooral nieuwssites zijn begonnen te experimenteren met manieren om inkomstenbronnen te diversifiëren, en een prominente optie die sites zoals The Wall Street Journal, Financial Times, The New York Times of The Washington Post allemaal hebben geïmplementeerd, is het paywall-systeem.

Er zijn verschillende soorten paywalls, maar ze hebben allemaal gemeen dat ze de toegang tot inhoud blokkeren, direct of nadat een bepaald aantal artikelen op de site is gelezen.

Bezoekers worden vervolgens gevraagd zich te abonneren op de site om artikelen hierover te blijven lezen.

Het kan logisch zijn vanuit een zakelijk oogpunt en kan lucratiever zijn dan het uitvechten met gebruikers die adblockers uitvoeren, maar er is een keerzijde aan zowel voor de betalende site als de geblokkeerde gebruiker.

Sites verliezen een hoog percentage bezoekers als ze een paywall-systeem implementeren. Het is onduidelijk hoe hoog het percentage echt is, en het varieert waarschijnlijk van site tot site, maar het is waarschijnlijk een stuk hoger dan het percentage bezoekers dat zich abonneert op de site na de keuze om zich te abonneren om het gewenste artikel te lezen.

Masker uw browser

Het is geen geheim dat nieuwssites toegang geven tot nieuwsaggregators en zoekmachines. Als u bijvoorbeeld Google Nieuws of Zoeken aanvinkt, vindt u artikelen van sites met daar vermelde paywalls.

In het verleden gaven nieuwssites toegang tot bezoekers van grote nieuwsaggregators zoals Reddit, Digg of Slashdot, maar die praktijk lijkt tegenwoordig zo goed als dood.

Een andere truc, om de titel van het artikel in een zoekmachine te plakken om het gecachte verhaal er rechtstreeks op te lezen, lijkt niet meer goed te werken, evenals artikelen op sites met paywalls worden meestal niet meer in de cache geplaatst.

Update : The Wall Street Journal heeft aangekondigd dat het de hieronder beschreven hole zal dichten. U kunt echter nog steeds artikelen achter de betaalmuur van de site lezen met behulp van de volgende methode:

  1. Druk op F12 wanneer u zich op de artikelpagina bevindt met het afgesneden artikel en op het verzoek om u te abonneren om het volledig te lezen.
  2. Open het consoletabblad.
  3. Plak javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. Druk op enter.

De pagina moet opnieuw worden geladen en het artikel moet volledig zijn geladen. Je kunt ook de artikellink op Facebook plaatsen, bijvoorbeeld in een nieuw bericht dat alleen jij kunt zien. Als u op de geplaatste link klikt, wordt het artikel volledig op de website van The Wall Street Journal geladen.

User-Agent en Verwijzer

U vraagt ​​zich waarschijnlijk af hoe sites de toegang tot de inhoud van de site blokkeren of toestaan. De methoden zijn in de loop der jaren verbeterd en het is niet langer voldoende om de verwijzer van de browser te wijzigen in //www.google.com/ om volledige toegang te krijgen tot de inhoud van een site.

In plaats daarvan gebruiken sites verschillende controles, waaronder user-agent, verwijzer en cookies, en soms zelfs meer, om de legitimiteit van toegang te bepalen.

Algemene informatie

Waarschijnlijk is de beste manier om de browser te maskeren door deze Googlebot te laten lijken.

  • Verwijzer: //www.google.com/
  • User-Agent: Mozilla / 5.0 (compatibel; Googlebot / 2.1; + // www.google.com/bot.html

Firefox

Firefox-gebruikers hebben daarvoor twee browser-add-ons nodig: de eerste, RefControl, om de verwijzende waarde te wijzigen bij het bezoeken van nieuwssites, de tweede, User Agent Switcher, om de user-agent van de browser te wijzigen.

  1. Download en installeer beide extensies in de Firefox-webbrowser.
  2. Tik op de Alt-toets en selecteer Extra> RefControl-opties.
  3. Klik op 'site toevoegen', voer een domeinnaam in onder site, selecteer aangepaste actie en voer //www.google.com/ in als verwijzer.
  4. Herhaal dit voor alle nieuwssites waartoe u toegang wilt (sommige werken mogelijk niet, zelfs niet als u de wijzigingen aanbrengt, dus houd daar rekening mee).
  5. Wanneer u klaar bent, sluit u het configuratievenster.
  6. Tik nogmaals op de Alt-toets en selecteer Tools> Standaard User Agent> User Agents bewerken in het menu.
  7. Selecteer Nieuw> Gebruikersagent en vervang de tekenreeks in het veld Gebruikersagent door Mozilla / 5.0 (compatibel; Googlebot / 2.1; + // www.google.com/bot.html). Noem het Googlebot.
  8. Verlaat het menu.
  9. Voordat u deze sites bezoekt, tikt u op Alt en selecteert u Standaard User Agent> Googlebot.

Dit is alles wat er is. Het is een beetje jammer dat er geen extensie voor Firefox is die de user-agent automatisch wijzigt op basis van de sites die u bezoekt.

Google Chrome

Google Chrome-gebruikers kunnen extensies zoals User Agent Switcher en Referer Control installeren die beschikbaar zijn voor de browser om hetzelfde te doen.

Er is echter nog een mogelijkheid, en dat is om een ​​aangepaste extensie te maken die het proces in de browser automatiseert.

Instructies worden gegeven op Elaineou. In feite is het alleen nodig om een ​​nieuwe map op de lokale computer te maken, de twee bestanden background.js en manifest.json erin te maken en de gevonden code op de site te kopiëren en in de bestanden te plakken.

U moet de "ontwikkelaarsmodus" inschakelen op chrome: // extensions / en vervolgens "laad uitgepakte extensie" selecteren om de map te kiezen waarin u de twee bestanden hebt gemaakt om de extensie in Chrome te laden.

U kunt de lijst met ondersteunde sites wijzigen om nieuwe sites toe te voegen.