Usenet is een groot decentraal netwerk van servers die zich constant met elkaar synchroniseren. Op deze servers is een verzameling van zowel tekstberichten als binaire bestanden te vinden die worden geplaatst door gebruikers. Deze bestanden worden geplaatst in zogenoemde nieuwsgroepen. Het Usenet kan worden gezien als de voorloper van de verschillende hedendaagse internetfora.
Wil je downloaden van het Usenet / nieuwsgroepen?
Usenet is één van de oudste computercommunicatiesystemen en wordt nog altijd door vele internetgebruikers over de hele wereld gebruikt. Het systeem is ontworpen in 1979 door Steve Bellovin, Jim Ellis, Tom Truscott en Steve Daniel op de Duke Universiteit in Amerika en het werd in 1980 in gebruik genomen (Bellovin, 2010). Ter vergelijking: het wereldwijde web maakte zijn intrede in 1990.
Het systeem won snel aan populariteit op Amerikaanse universiteiten. Doordat er in het begin geen geoptimaliseerde software beschikbaar was om de berichten uit te lezen verloren gebruikers snel het overzicht. Het kwam namelijk regelmatig voor dat honderden mensen op een discussie reageerden. Vervolgens werd er weer op deze reacties in willekeurig volgorde gereageerd. Zo kreeg je één lange ongecategoriseerde lijst met reacties.
In 1995 begon Deja News met het archiveren van oude en nieuwe discussies en het publiekelijk toegankelijk maken hiervan. Hiervoor werd een gebruiksvriendelijke webinterface ontwikkeld met onder andere een zoekfunctie en de mogelijkheid om berichten te sorteren (Wiggins, 2001).
Begin 2001 werd de Deja News overgenomen door Google Inc. en werd het systeem omgedoopt tot Google Groups (Google acquires, 2001). Google Inc. stelt momenteel gratis het complete archief vanaf 1981 beschikbaar (Hoe ver, z.d.). Google Inc. heeft het systeem flink aangepast met uitgebreidere zoek- en sorteermogelijkheden. Ook kunnen discussies nu worden aangemerkt als spam of overbodig (Welkom bij, z.d.).
Inmiddels zijn er verschillende softwareprogramma's ontwikkeld voor verschillende besturingssystemen die de discussies op een gebruiksvriendelijke manier kunnen weergeven. Hiervoor is wel een account tot een server met Usenetartikelen nodig zodat de discussies kunnen worden gedownload.
Bij de creatie van Usenet maakte het netwerk gebruik van het Unix-to-Unix Protocol (afgekort: UUCP). Dit was een veelgebruikt protocol op Amerikaanse universiteiten waar vaak computers stonden met het besturingssysteem Unix. In 1985 werd het Network News Transfer Protocol (afgekort: NNTP) ontwikkelt voor Usenet (Het protocol, z.d.). Dit is een veel flexibeler protocol dan het verouderde UUCP. NNTP distribueert artikelen via TCP/IP (Kozierok (TCP/IP Network), 2005). Vanaf de jaren 90 werd NNTP wereldwijd geadopteerd.
Het binaire bestand dat wordt geüpload naar één van de verschillende Usenet-servers wordt opgesplitst in een aantal stukjes: zogenoemde 'articles'. Tijdens het downloaden zet de downloadsoftware (zie kopje 'Nieuwsreaders') deze stukjes weer om tot het originele bestand.
Zoals de meeste technieken kent ook Usenet een vast stramien qua technische opmaak van een bericht. Hierdoor kunnen apparaten en software de artikelen begrijpen en worden alle berichten op een consistente manier geïnterpreteerd. Voor de creatie van het stramien heeft men afgekeken van de technische opzet van een e-mailbericht. Dit is gedaan vanwege de kostenbesparing en de wereldwijde acceptatie van dit stramien. De basis hiervoor is terug te vinden in RFC 822 (Kozierok (Usenet Message), 2005) voor e-mailberichten. Het hedendaagse protocol voor Usenet is vastgelegd in RFC 5537 (Allbery, 2009).
Alle geplaatste berichten kennen een aantal verplichte en optionele regels, welke zijn vastgelegd in de header van het bericht. Door deze regels weet uitleessoftware bijvoorbeeld van wie een bericht komt en in welke groep het bericht staat. Ook kunnen berichten aan andere berichten worden gekoppeld, zodat een discussie wordt gecreëerd. (Kozierok (Usenet Message p.2), 2005)
Het Usenet was oorspronkelijk ontworpen om tekstuele informatie uit te wisselen. Toen de uitwisseling van binaire bestanden in opkomst kwam, is er een techniek ontworpen om dit proces meer te optimaliseren. De meest gebruikte techniek is het in 2001 geïntroduceerde yEnc. yEnc slaat de geüploade bestanden beter op, zodat een optimalisatie van 33% ten opzichte van de normale bestandsgrootte kan worden behaald. Er is veel kritiek op deze techniek, omdat deze foutgevoelig is en lang niet alle oude problemen op weet te lossen (Nixon, 2002). Deze problemen zijn ontstaan doordat de techniek te snel is ontwikkelt. Er was destijds sterke behoefte aan een goede reductie van de snel toenemende hoeveelheid data op de servers. Doordat er nog steeds geen geoptimaliseerd protocol is ontwikkelt voor het uploaden van bestanden naar het Usenet, blijft de meeste software yEnc gebruiken.
In Nederland bieden de meeste internetaanbieders het gebruik van Usenet aan bij het internetabonnement, dit is vaak gratis maar soms ook tegen een financiële vergoeding. Nederland kent vele aanbieders die betaalde toegang tot het Usenet aanbieden (zogeheten payservers of betaalservers) (Binaries4all Payservers, z.d.). Doordat Usenet veel internetverkeer genereert en veel capaciteit vereist, zijn de aangeboden diensten door internetaanbieders vaak beperkt.
Een payserver biedt over het algemeen meerdere voordelen. Zo wordt het gebruik van encryptie-protocol SSL meestal ondersteund en worden er meestal geen logboeken opgeslagen over het downloadgedrag van de gebruiker. Hierdoor zijn de accounts een stuk anoniemer. Enkele grote aanbieders van een payserver zijn Nederlandse bedrijven (The Official, 2010). Het is heel normaal dat een aanbieder zowel zijn servers in Europa als in de Verenigde Staten heeft draaien om optimale snelheden te kunnen garanderen (Hoe moet, z.d.; U.S. and European, z.d.; Schrijf u, z.d.).
De betaalde diensten zijn voornamelijk interessant voor gebruikers die binaire bestanden willen downloaden aangezien Google Inc. alle tekstbestanden (discussies) gratis toegankelijk heeft gemaakt via Google Groups.
Met een nieuwsreader (ook bekend als 'newsreader' of 'nieuwslezer') kunnen bestanden eenvoudiger worden gedownload uit nieuwsgroepen. In de afgelopen jaren is het aantal nieuwsreaders enorm gestegen. Ook de functionaliteit is flink toegenomen. Voorheen keken gebruikers hoe snel een nieuwsreader bestanden converteerde en of er een zoekfunctie beschikbaar was om bestanden snel te vinden. Tegenwoordig zijn er vele NZB-zoekmachines (Open Directory, z.d.) waardoor zoekfuncties overbodig beginnen te worden. Ook kunnen nieuwsreaders tegenwoordig een verzameling van bestanden automatisch controleren of deze valide is (met behulp van parchive bestanden) en deze vervolgens automatisch uitpakken. (Vergelijkend overzicht, z.d.)
Om de content overzichtelijk te houden, zijn er negen hiërarchieën ontworpen. Van deze negen hiërarchieën zijn er acht netjes onderhouden. Zij worden ook wel de 'Big Eight' genoemd. Deze lijst is als volgt (Big-8 Usenet, 2010):
De alt.* groep is niet opgenomen, omdat deze vele groepen bevat en daarom chaotisch kan overkomen. Binnen de Big Eight wordt bijvoorbeeld in één groep gepraat over ICT gerelateerd nieuws, waar de alt.* groep een speciale groep voor bijvoorbeeld software van enkel Microsoft kent (alt.binaries.microsoft.software). De binaire bestanden worden vaak geplaatst in alt.binaries.* en is tevens de grootste groep qua omvang.
De algemene voertaal is Engels, maar elk land heeft een eigen hiërarchie. Voor Nederland is dit nl.*. In deze groep zijn onderwerpen te vinden als internetproviders (nl.internet.providers) en filmrecensies en filmdiscussies (nl.kunst.film). (Overzicht Usenet, z.d.)
Usenet is niet één grote onbeheerde verzameling van discussies. Een grote groep vrijwilligers probeert het Usenet zo netjes mogelijk te houden.
Er zijn gemodereerde discussiegroepen waarin de geplaatste berichten eerst wordt bekeken door een moderator. Deze moderator moet eerst toestemming geven voordat een bericht wordt gepubliceerd. In de meeste groepen is dit niet het geval en kan iedereen meteen zijn reactie geven op een discussie. (Taylor, z.d.)
Doordat Usenet een decentraal netwerk is wat wordt bijgehouden door vrijwilligers, is het lastig om regels op te stellen. Het is ook de kracht van Usenet dat iedereen zijn zegje kan doen. Zo zijn er bijvoorbeeld speciale groepen voor skinheads zodat zij geen racistische discussies in andere groepen plaatsen. Toch zijn er voor de goede orde een set van regels (Wright, 1999) opgesteld waar iedereen zich aan moet houden. De regels voor een specifieke nieuwsgroep staan beschreven in een zogenaamde 'charter' (Usenet Charter, z.d.). De moderators zien er op toe dat dit gebeurt.
Soms gebruiken individuen of bedrijven het Usenet om reclame rond te sturen (spam). Dit doen zij vaak door één bericht in vele verschillende groepen te plaatsen. Dit wordt ook wel Excessive MultiPosting (EMP) (Southwick (What is), 1998) of Excessive CrossPosting (ECP) (Southwick (What about), 1998) genoemd. Doordat op Usenet geen rechtssysteem bestaat en Usenet geen eigenaar kent, kunnen deze spammers niet juridisch worden aangepakt (Faas, 1996). Een groep vrijwilligers (vaak per groep) houdt de geplaatste berichten bij en plaatst zogeheten cancelrapporten in speciaal daarvoor opgerichte groepen. Ook in de Nederlandse groep zitten cancellaars die berichten plaatsen in de nieuwsgroep nl.internet.misbruik. Zoals gebruik van Usenet aanmoedigt kun je ook reageren op deze rapporten.
In Nederland is het downloaden van binaire bestanden in hoog tempo populair aan het worden. Doordat de internetaanbieder vaak gratis toegang verleent tot de eigen Usenet server, kunnen gebruikers met vaak hoge snelheden vele terabytes aan data downloaden.
Bij het uploaden van binaire bestanden naar het Usenet kunnen fouten insluipen in het uploadproces. Daarom wordt er vaak bestanden ter reparatie bij de te uploaden bestanden gevoegd. Hiervoor wordt gebruik gemaakt van het bestandsformaat parchive in de vorm van par2 bestanden. Deze bestanden kunnen de geüploade bestanden controleren op integriteit door middel van checksum-informatie. Daarnaast hebben de par2 bestanden extra (redundante) informatie over de bestanden opgeslagen zodat incomplete bestanden kunnen worden gerepareerd of zelfs compleet missende bestanden kunnen worden gecreëerd. Hoe meer par2 bestanden worden bijgevoegd, des te meer fouten kunnen worden gerepareerd. (All about, z.d.)
Doordat de hoeveelheid bestanden enorm toeneemt wordt het steeds lastiger om de juiste bestanden te vinden. Bij het oorspronkelijke idee achter Usenet haalt een gebruiker alle headers op en vult zo zijn eigen database aan discussies. Sinds Usenet populariteit aan het winnen is onder uploaders, is de lijst met headers amper bij te houden. De bedenkers achter de originele site (Reijerman, 2010) van NewzBin bedachten daarop een oplossing in de vorm van één XML-bestand die alle benodigde headers bevatte voor één download. Dit bestand heeft de bestandsextensie NZB gekregen. Hedendaagse nieuwsreaders kunnen deze NZB-bestanden inladen en weten zo precies welke bestanden ze vanuit de juiste nieuwsgroepen moeten downloaden. Zo hoeven gebruikers dus niet meer urenlang te wachten voordat alle headers zijn opgehaald.
De populariteit van NZB-bestanden bleef niet onopgemerkt en al snel kwamen er zoekmachines waar gebruikers gericht naar bestanden konden zoeken. De NZB-zoekmachine doorzoekt alle headers wat resulteert in een op maat gemaakt zoekresultaat. De gebruiker kan zo binnen korte tijd een op maat gemaakte NZB-bestanden creëren.
Het uitwisselen van binaire bestanden is vooral in Nederland zeer populair aan het worden. De Nederlandse Usenet-communities ontvangen nog altijd elke dag vele nieuwe en terugkerende leden.
De ingestelde dataretentie van een server bepaalt hoe lang de data moet worden onthouden. Doordat de vele aanbieders andere retenties aanhouden, valt niet te zeggen hoeveel data Usenet omvat. Bij een retentie van 880 dagen wordt minstens 6,62 petabyte aan data opgeslagen. (Popular newsgroups, z.d.; Other newsgroups, z.d.)
Dagelijks wordt gemiddeld 8 terabyte aan data verstuurd naar het Usenet. In 2000 was dit nog 285 gigabyte. Dit is een toename van factor 28 in tien jaar tijd. (Average Newsgroups, z.d.)