nrk.no

Hva skjedde med bittorrent?

Kategori: Fildeling


Piratenes favoritt. Teknologien som er basis for steder som The Pirate Bay. For rundt ti år siden stod bittorrent for store deler av internettets totale trafikk. Teknologien var like effektiv som den var kontroversiell.

Pirat-teknologi fra selveste NRK?

Det ble mye oppmerksomhet da vi her i NRKbeta mente at det ville være en god idé for NRK å teste ut distribusjon via bittorrent. Dessverre har vi, sammen med en dalende interesse for bittorrent, forsømt vårt eksperiment. Men frykt ikke: vi har ryddet og fått systemet opp igjen.

Selvfølgelig skal dere få laste ned!

Selv om tiden har løpt fra bittorrent for en del typer innhold som det nå er mer hensiktsmessig å se via streaming så er det fremdeles en av de mest effektive og robuste teknologiene for overføring av skikkelig store filer. Og vi har noen av dem. Vi har jo gjort flere av våre minutt-for-minutt-prosjekt tilgjengelig for nedlasting. Og der er det snakk om veldig store filer. Så vi har sørget for at både disse og de store Radioresepsjonen-filene er på plass igjen.

Oversikt og linker til torrents finner dere her: nrkbeta.no/bittorrent

Her må vi også rette en takk til dere der ute som tålmodig har hatt filene gående for deling i torrentklientene deres. NRKbetas lesere altså. Makan til toppfolk.

Historikk og bakgrunn

Vi hadde brent oss på å prøve å legge ut innhold for nedlasting et par ganger. Det ble for mye trykk på både maskiner, datalinjer og økonomi. På det tidspunktet var det ikke realistisk for oss å legge ut store videofiler ved hjelp av standard nedlasting. Bittorrent har jo den nydelige egenskapen at jo mer trykk jo bedre og mer distribuert blir filene.

Filene hentes fra alle som deler.

Brukervennlighet og forklaring

Så vi satte igang en test med bittorrent. En utfordring var å få folk flest til å skjønne hvordan dette virket. Vi innrømmer at det er lettere å trykke play på en video på tv.nrk.no, YouTube eller Netflix. Med bittorrent må man laste ned og installere et eget program som man så bruker for å laste ned videofilene. Vi prøvde å forklare det enkelt.

Internasjonal oppmerksomhet

Så samlet vi sammen en del innhold som vi hadde rettigheter til å legge ut for nedlasting og satte igang eksperimentet. Da ble det som forventet en del oppmerksomhet: Norwegian State TV Launches BitTorrent Tracker, Norwegian BitTorrent Broadcasting, The future of public service broadcasting.

Bedre streaming og jevn nedgang

Systemet tikket og gikk og gigantiske mengder data har blitt distribuert. Men med bedre streamingtjenester, bedre distribusjonsnettverk, høyere hastigheter generelt og langt bedre brukervennlighet på andre tjenester har trafikken avtatt jevnt de siste årene.

Nesten glemt

Til slutt må vi innrømme at både vi og de fleste blant publikum glemte hele greien. PlagiarismToday har en ganske grundig artikkel om bittorrents nedgang.

Fortsatt litt etterspørsel

Det kommer en og annen innom for å laste ned litt minutt-for-minutt eller noe av det andre vi hadde liggende. Men i det siste har de altså blitt skuffet. Fordi trackeren vår har rett og slett vært inaktiv en stund. Men som nevnt innledningsvis er den nå oppe igjen. Og etter en vurdering finner vi det fremdeles fornuftig å tilby en del spesialinnhold via bittorrent.

21 kommentarer

    • Det er ganske offisielt at digitaliserings / publiserings-folkene i NRK har satset på å først bruke tilgjengelige ressurser på å få så mye som mulig av TV-stoffet ut på tv.nrk.no. Når de begynner å bli ferdige med det, går de over på radiostoffet.

      Når de en gang i framtida er ferdige med radio-stoffet vil de gå tilbake til TV-stoffet: Mange gamle, analoge produksjoner var gjort på fotografisk film som for «lenge» siden ble overført til Umatic (analog) videotape. Det er denne som i første omgang er digitalisert. De gamle fotografiske filmene ligger i arkivet, og digitalisering av dem kan gi langt høyere kvalitet. Men det krever langt mer arbeide. NRK valgte i første runde å gå for kvantitet framfor kvalitet; høyere kvalitet vil komme med tid og stunder. Da tar de forhåpendtligvis også signalene om at folk forventer publisering i minst full HD («2K»), men gjerne enda bedre.

      For lyd-radio: Jeg er selv av de som stadig vekk sjekker om de er i gang med de store arkivene over eldre radioprogrammer – det er mye jeg venter på! Når det kommer blir det nok like tilgjengelig på radio.nrk.no som over torrent-teknologi. Jeg lastet nettopp ned et to timers hørespill: Når det leveres i 384kbps MP3 (16/48kHz), fyller det rett nok litt over 300 Mbyte når alle admistrative data er med, og tar litt under et minutt å laste ned. Da er jeg fornøyd, ber ikke om alternative løsinger (av type torrent). Det jeg ber om er at nett-arkivene må fylles opp med alt det som NRK i sin tid hadde på tape.

      (Radiostoffet er digitalisert – det vet jeg fra prosjekter jeg har jobbet på. Det som står igjen er å få de digitale filene gjort tilgjengelige på nettet i en fornuftig form, med presentasjon, metadata etc.)

    • bootldr (svar til keal)

      Um, MP3 går ikke over 320kbps. 2K er også noe helt annet enn det man vanligvis beskriver som Full HD (1920×1080). Om analoge medier skal digitaliseres, spesielt lyd, bør man lossless codec som for eksempel FLAC for å beholde mest mulig data. Vi er i 2018, diskplass er ikke en knapphet lengre.

  1. Great news! Thanks for putting the tracker back online! 🙂 I have replicated some of the torrents and some material that is not available on that page on my own site with public torrents that have DHT enabled, so much easier to find peers. If you have problems with NRK’s torrents or are looking for more content, take a look at: blog.nytsoi.net/nrk-torrents

    To NRK: Do you have plans to release any of the following footage (or do they even exist?)?
    * Bybanen i Bergen in better quality
    * Flåmsbanen 3D view and side view
    * Files for Nordlandsbanen, Holmenkollbanen and Flåmsbanen, with better frame rate than 25-30

    Svar på denne kommentaren

  2. Daniel Landsverk

    Uten tvil gode nyheter – jeg har lenge lurt på om NRK sitt torrent-prosjekt var fullstendig dødt, greit å kunne laste ned hele sesonger av RR, selv om de er noe gamle.
    Jeg prøvde for øvrig å gjennopta seedingen av «NRKbeta.Fremtidens.Medier.UiB», men ser ikke ut til at trackeren vil samarbeide.

    Svar på denne kommentaren

  3. Torrents sparer sjelden på den totale nettbelastningen. Skal du hente inn ti GB, må nettet overføre ti GB okkseom. Om det hentes to GB fra hver av fem ulike steder blir det ikke mindre trafikk av den grunn.

    Hvis de fem leverandørene sitter med ADSL-linjer på tre-fire Mbps, mens mottakeren har 100 Mbps fiber, kan det gå raskere om det er fem som leverer hver sin andel enn om én av dem leverer alt. Men f.eks. NRK sitter ikke med noen ADSL-linje! Når jeg laster ned direkte fra tv.nrk.no mettes 100 Mbps-fiberen min, og det går bort vesentlig mindre ressurser i administrasjon. Alle de store leverandørene har langt større ut-kapasitet enn en vanlig bruker, og det er mottakerens kapasitet som er begrensingen.

    I teorien kunne dataene ha kortere vei fra en annen bruker til mottakeren, og dermed legge beslag på færre strekk i datanettet. Det blir helst teori: Vil du laste ned en fil, velger du de som leverer i høyest hastighet og har best kvalitet, ikke ut fra hvor de er plassert. Dessuten betyr geografi lite i dagens nett: Selv om du kommuniserer tvers over gata i Trondheim kan det hende at dataene går via en svitsj i Oslo. Store leverandører som NRK har et stamnett som sender innholdet i én kopi til et antall distribusjons-noder over hele landet, så selv om du tror du snakker med en node i Oslo, kan den være satt over til noden i Tronheim, og du får datastrømmen direkte derfra. Å spørre torrent-klienten rett over gata kan gi en betydelig lengre vei for dataene å reise (og mer belastning på nettet).

    Hvis nettet var svært ustabilt, kunne torrents vært en måte å handtere dette på. Men stamnettet, NRK og andre store leverandører har de siste årene blitt ekstremt stabile. Den robustheten torrents gir dekker et ikke-eksisterende behov. (Det samme kan forøvrig sies om flere egenskaper ved IP-protokollen, og delvis TCP: Ressurskrevende mekanismer løser ikke-eksisterende problemer, i dagens nett).

    Torrents gir større robusthet på ett felt: Hvis det er usikkert om kilden vil fortsette å tilby fila, og en dag stenger tilgangen, kan den være tilgjengelig fra andre klienter. Slik man i undertrykkende regimer distribuerte femte og sjette generasjons kopier av undergrunns-aviser og oppgtak av artistert som framførte regime-kritiske sanger. Alle kulturer, uansett hvor fri de kaller seg selv, har ting de kaller umoralsk, undergravende, skadelig … Da kan et torrent-nettverks både bidra til at informasjonen forblir tilgjengelig selv om én leverandør forsvinner, og dersom det gjøres riktig kan en avlytter være ute av stand til å identifisere det han hører på én av linjene som forbudt (hvis f.eks. åtte klienter leverer hver sin bit av en byte, og det settes først sammen på mottakerstedet).

    Så lenge man ikke går inn og kartletter hele torrent-nettet skjules også hvem som har lastet ned hvilke filer. Mange torrent-nett er så åpne at det er offentlig kjent hvem som har hva, men teknologien kan benyttes av en mer eller mindre lukket krets som ikke avslører like mye som i de kjente nettene.

    Men i hovedsak, for filer som tilbys fritt av f.eks. NRK, og kan lastes ned uten begrensinger, fra en leverandør med masse nettkapasitet, gir torrent-teknologi så små tilleggs-fordeler at torrents ikke er verd bryet.

    Svar på denne kommentaren

    • Knut-Olav Hoven (svar til keal)

      Torrents har innebygget «resume» funksjonalitet, som er svært nyttig på store filer, som feks råfiler på 4k@50hz, uansett hvor rask linje man har i veggen hjemme.

      Og hvis NRK kan spare litt penger på å distribuere filene fra billigere datasentere med BitTorrent-nettverk enn hva andre kommersielle CDN-leverandører kan tilby, så er det også en kostnadsbesparende løsning.

    • Med dagens nett ser jeg ikke det store behovet for å kunne stoppe (frivillig eller pga feil) og gjenoppta overføringeringen. Jeg sjekket NRK nettopp: Å laste ned Orions belte, på 1,8 GB, tok hårfint over tre minutter. (Når du bare laster ned én film av gangen, mangler det noen prosent på full utnyttelse av 100 Mbps-fiberen.) Om det skulle ta fire eller fem minutter, ville det vært OK for meg; det er likevel en batch-overføring der jeg ikke sitter og ser på at det skjer. Og skulle det av en eller annen grunn skjære seg (jeg kan ikke huske når det sist skjedde!), så kan det hende jeg må gjøre tre-minutters-operasjonen på nytt, men det krever ikke akkurat ukelang planlegging…

      4K/50Hz gir naturligvis en del større datavolum, men langt fra en lineær økning ut fra frekvens og oppløsning! Husk hvordan DCT-komprimering fungerer: Essensielt som en 2D kurvetilpasning til en kontinuerlig funksjon. Om du lineært dobler, eller firedobler, antall prøvepunkter vil de ligge svært nær den kontinuerlige kurven bestemt av den lavere oppløsningen. Det som tar mer plass er essensielt å representere avvikene fra det «grove estimatet» fra den lavere oppløsningen, og de avvikene er små.

      Også i tidsplanet: Moderne H.264/H.265-komprimering utnytter i stor grad informasjon fra foregående rute, og koder bare del-endringer og forflytninger. Å kode pan/tilt tar minimalt med kodevolum. For mer vilkårlige endringer er de betydelig mindre når intervall i tid er mindre, og krever mindre kodeplass.

      Som artikkelen påpeker: Vi har hatt en utvikling de siste årene der striming har tatt over for nedlasting. De aller fleste som ser på 4K/50 video, strimer filmen én eneste gang, og så er de ferdige med den. Det er så mye annet å se at de ser den ikke på nytt. Å laste ned en film som du bare ser én eneste gang er ikke spesielt viktig. Snakker du med dine unge venner, har de null interesse av å få se igjen den filmen du lastet ned for to år siden. De er mye mer fokusert på de nye filmene, de nye seriene.

      Selvsagt har vi for video samme effekt som vi har hatt på lyd-siden i en generasjon eller to: Kan du lese på plateomslaget at opptaket er gjort i 192kHz/24-bit, lyder det bedre enn før du fikk vite det. I en blindtest er det adskillig verre å skille mellom denne og samme miks redusert til 48/16.

      På samme måte: Billedkvaliteten på en 4K/50-video der du vet at bitraten er på 50 Mbps er mye høyere enn for den samme video redusert til 2K/25 og bitrate på 5 Mbps. Hvis testleder ved en feiltakelse byttet om på filene, ville du forsatt mene at den han fortalte at var på 50 Mbps var mye skarpere og glattere i bevegelsene. I en dobbelt blindtest, der heller ikke testleder vet hvilket alternativ du ser på i øyeblikket, vil avstanden mellom avgitte svar (på hvilken kvalitet du ser på) og tilfeldig gjetting være skremmende liten, når testbetingelsene er «normale betrakningsforhold» (f.eks. at du sitter i vanlig betraktingsavstand fra skjermen, og ikke går opp til den og steger deg fram en rute av gangen for å granske stillbildet med lupe).

      Naturligvis vet selgerne av 4K streaming at ved å skru opp bitraten gjør de det til noe eksklusivt og attraktivt. Mange får inntrykk av at du «må» ha 50 Mbps bitrate for at en film skal være verd å se. Men blir de presentert for en virkelig topp film, i et format som gjør det som er mulig ut av 1 Mbps, vil mange av dem nyte filmen uten å ane at den tekniske kvaliteten – ihvertfall ifølge tallene – er «søppel». Særlig om de ikke kjenner tallene. 🙂

  4. Kjempe! Jeg hadde helt glemt at dere hadde en tracker, jeg og.

    Mange seeds på 2006-sesongen av RR, men 0 på 2007/2008-sesongene og bonusmateriale-torrentene som ligger på nrkbeta.no/bittorrent/.

    Har dere eller noe andre mulighet til å seede dem litt, så kan vi fans ta over?

    Svar på denne kommentaren

    • Eirik Solheim (NRK) (svar til Dag)

      Vi er i ferd med å sette opp seeds for alle torrents på listen vår. Så litt tid nå så skulle det begynne å rulle.

    • Hvilken gevinst vil du oppleve, framfor å laste ned filene direkte fra tv.nrk.no?

      Har du fibertilknytning får du et timelangt program overført på to minutter eller deromkring. Bor du utenfor Oslo-distriktet er det stor sannsynlighet for at det kommer fra «en tjener nær deg» – du kan på en måte sammenligne NRKs distribusjon av sine programmer ut på et antall tjenere rundt i landet som et hel-forenklet torrent-nettverk.

      Jeg har litt følelsen av at «torrent» først og fremst er et plussord i visse miljøer der Torrents Er En Bra Ting, uten at man egentlig vet så veldig godt hvorfor det skal være så bra. Det er lett å lire av seg noen standard-fraser, men vanskeligere å forsvare dem mot kritiske spørsmål om hvorvidt forutsetningene for de positive verdiene er oppfylt.

      Forøvrig: Når du viser til «perioden hvor flest ser på et gitt program»: Jeg har enda til gode å høre noen seriøst ta til orde for torrent-teknologi ved direkte-overføring. Det ville være som en slagt avart av multikasting, og da er spesialiserte multikasting-løsninger langt mer effektive og pålitelige. Men selv disse har i praksis vist seg å gi liten tilleggs-verdi, utover den besparelse NRK gjør ved å sende programmet i én kopi til en rekke distribusjons-servere, som videredistribuerer dem regionalt, i en statisk kvasi-«multikasting»-løsning.

      Torrents er for «asynkron» filoverføring der du først overfører fila, og så spiller den av. Hvis det er mange som vil hente filer fra tjeneren kunne det hende tjeneren ble overbelastet, men det spiller minimalt rolle om det er samme eller ulike filer som hentes av de ulike brukerne. Og jeg har aldri opplevd at NRKs filtjenere har noe problem med å utnytte min 100 Mbps fiber for alt hva den er verd. (Strengt tatt: Med bare én overføring på gang er det litt pingpong og venting på svar, så kan det gå ned til 90-95% av kapasitet, men med to eller flere overføringer samtidig, der den ene sender mens den andre venter, ligger det flatt på 100,00% kapasitetesutnyttelse.)

  5. Jeg så igjennom Solheims «Fremtidens.Medier»-foredrag som ble nevnt ovenfor. Det er fra 2009, men fortsatt veldig aktuelt. Noe av det som slo meg mest var faktisk hvor lite som har forandret seg siden da. Lite nytt har skjedd, hovedtrenden siden da er vel hovedsakelig at ting har agglomerert og vokst. Twitter tillater nå 280 tegn og Facebook har makt omtrent tilsvarende en middels stor europeisk nasjon.

    Også har vel ikke ordet «facebooksofte» tatt helt av i bruk?

    Svar på denne kommentaren

  6. Hei!

    Er det mulig å legge ut sesong 1 og 2 av Ylvis brødrene sitt radioprogram «O-fag»? Mener det gikk sommeren 2006 og 2008.

    Har ikke funnet det noe sted på nettet de siste årene. Kan gjerne bare bli lagt ut på iTunes også!

    Svar på denne kommentaren

  7. Som den siterte artikkelen nevner har det vært et voldsomt trykk fra ISP’er og myndigheter mot de som deler filer via torrent, og det med god grunn. Piratene har ødelagt hele nettverket og det er grunn til å stille spørsmålstegn ved hvorvidt det burde ha vært open source.

    Norge er jo et godt eksempel. Her har vi fått et nytt lovverk der leverandørene kan «banne» IP adresser dersom rettsvesenet ber om det. Popcorn gikk rett i «dass» etter en slik kjennelse.

    Denne artikkelen i Wired går ganske detaljert inn i årsaken til at Bittorrent kollapsen og er verdt å lese for de interesserte: wired.com/2017/01/the-inside-story-of-bittorrents-bizarre-collapse/

    Jeg tror heller ikke at teknologien har hold takt med tiden. Det går rett og slett for tregt å skulle overføre større filer. Dét, kombinert med systematisk misbruk fra pirater gjør at det ikke lar seg gjøre å drifte et slikt nettverk som open source.

    Det er tragisk for de av oss som har brukt nettverket med gode hensikter, inntil nylig. Jeg ser samtidig en del likhetstrekk mellom P2P og kryptovaluta, som også bygger på et desentralisert konsept.

    Selv trodde jeg i lenger tid at bittorrent hadde potensiale til å revolusjonere en rekke industrier, på grunn av fildelingsteknologien. Ta bank og finansbransjen som et eksempel, hvor større mengder informasjon overføres til enhver tid.

    Alt i alt så er dette bare et tragisk eksempel på en tjeneste som ikke kan overvinne sine egne demoner.

    Svar på denne kommentaren

Legg igjen en kommentar til Eirik Solheim Avbryt svar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.