Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de online versie.)

In de periode 2016–2019 heeft er een migratie plaatsgevonden van het oude Uitzending Gemist (UG), player-7 gebaseerde streaming platform bij de NPO naar het nieuwe NPO Start, player-8 gebaseerde streaming platform bij NEP. Een onderdeel hiervan was het kopieren van het video archief naar de nieuwe locatie. Inmiddels is deze migratie afgerond, maar is het oude video archief nog niet opgeruimd. Vanwege de lopende kosten die nog voor het oude archief gemaakt moeten worden (+/- 15.000 euro per maand) staan in dit plan de stappen beschreven waarin het oude archief opgeruimd wordt.

Samenvatting van het onderstaande:

• Content die door omroepen zelf (dwz buiten de gezamelijkheid) beheerd wordt is niet bevat in dit plan. Die wordt dus niet verwijderd. Hiervoor gaan we echter wel vanaf 1 juli 2020 de storage kosten doorberekenen.
• De adaptive streaming platformen (adaptive.npostreaming.nl en livestreams.omroep.nl) houden per 31 dec 2020 op te bestaan. Deze functionaliteit migreert naar NPO Start.
• download.omroep.nl houdt per 31 dec 2021 op te bestaan. Dus hoewel wij content van omroepen niet zullen verwijderen is deze na 2021 niet meer uitspeelbaar. Content wordt zoveel mogelijk gemigreerd naar NPO Start. Daar waar dit niet mogelijk is willen we samen met de afnemers nadenken over alternatieven.
• De oude Uitzending Gemist (UG) storage gaat de komende maanden in stappen van makkelijk(nieuw) naar moeilijk(oud) van het platform verwijderd worden.
• Dit betreft de 4 generaties UG content, die alleen via player-7 uitgeserveerd kon worden en met het uitzetten daarvan dus uberhaupt niet meer benaderbaar is:

  • eerst de zogeheten “Pluto/M” content uit 2016–2019 waarvoor geldt dat omroepen daar sowieso niet zelf bij kunnen of konden en die bovendien (deels) gemigreerd is naar NPO Start.
  • Daarna is de zogeheten “Ceres” content uit 2009–2016 aan de beurt. Hiervoor geldt ook dat omroepen daar niet zelf bij kunnen of konden en dat deze (deels) gemigreerd is naar NPO start
  • Daarna slot is het de beurt aan de eerste generatie UG content, uit een systeem genaamd “Nebo” uit 2005–2008
  • Nog ouder (1999–2008) is de content die via het NOB aangeleverd werd. Merk op dat deze content vaak ouder is dan metadata systemen als POMS en het dus goed mogelijk is dat deze content niet in POMS voorkomt.
• Niet alle bovenstaande UG content is gemigreerd naar NPO Start. Het is dus aan te bevelen om te kijken of daar misschien nog “pareltjes” tussen zitten voordat deze gewist worden. Dit om “Ja zuster, nee zuster” taferelen mbt het wissen van Ampex banden te voorkomen. Het is namelijk niet uit te sluiten dat de NPO op dit moment nog de enige drager van een deel van deze content is.
• Audio content is helemaal niet gemigreerd, daar gebeurt vooralsnog niets mee.

Vooralsnog is dit document een plan. Bij deze vragen we de betrokkenen om feedback. Via de (voormalige) Werkgroep Techniek zal uiteindelijk besloten worden hoe het opruimen in z'n werk gaat.

Het UG storage en streaming platform is van +/- 1999 tot 2019 organisch gegroeid van een verzameling bewegende postzegels naar een volwassen platform dat honderdduizend kijkers tegelijkertijd aankon. In die 20 jaar zijn er meerdere technieken en systemen geintroduceerd en ook weer uitgefaseerd. Dat zorgt ervoor dat er nu even wat uitleg nodig is over wat er staat en hoe een en ander met elkaar samenhangt.

Om te beginnen streaming technieken:

• Streaming op het internet begon eind jaren '90 met een techniek genaamd “Realmedia”. Van 1999 tot +/- 2002 was Realmedia het meest gebruikte formaat binnen de het publieke bestel.
• Daarnaast was er eigenlijk ook altijd al een techniek genaamd “Progressive Download” waarbij je filmpjes in essentie via aan rechttoe rechtaan webserver download.
• In de vroege jaren '00 is hier WindowsMedia naast gekomen. Dit heeft heel snel Realmedia overvleugeld als meest populaire streaming formaat en is tot +/- 2010 het meest gebruikte streaming formaat binnen het publieke bestel geweest.
• Rond die tijd is er ook Quicktime naast gekomen, wat binnen de NPO nooit een hele hoge vlucht heeft genomen.
• In 2009 is het progressive download platform fors onder handen genomen, waarmee de afscherming zodanig verbeterd is dat het voor rechtenorganisaties acceptabel was om UG content als progressive download uit te serveren. Hierna heeft progressive download heel snel Windows Media als meest populaire techniek verdrongen. Met name ook omdat dit via een flash player uitgespeeld kon worden. De rol van flash is inmiddels wel uitgespeeld, maar omdat tegenwoordig eigenlijk alle players ook progressive download ondersteunen blijft dit formaat onverminderd populair.
• Met de komst van mobiele devices als iPhone (2007) en iPad (2009) kwam er behoefte aan een formaat dat zich automatisch aanpast aan de kwaliteit van je internetverbinding. Deze techniek staat nu bekend onder de verzamelnaam “Adaptive” en komt voor in de smaken HLS(apple)/HDS(afdobe flash)/HSS(microsoft). Vanaf 2012 levert de NPO z'n content via Adaptive uit. Dit gaat door tot de dag van vandaag.

Binnen de NPO werd vanwege rechtenkwesties onderscheid gemaakt tussen “pure” streaming protocollen zoals Realmedia, Quicktime en Windowsmedia en zogeheten “pseudo” streaming protocollen zoals Progressive Download en Adaptive. Het verschil tussen de twee is namelijk dat een “puur” streaming protocol alleen in realtime valt te downloaden, dwz je bent een uur bezig om een programma van een uur te downloaden. Terwijl alle “pseudo” streaming protocollen zich lenen voor het zgn “rippen” van content. Als je internetverbinding maar snel genoeg is kan je een uur aan content in vijf minuten downloaden. Om die reden is alle pure streaming content (Realmedia, Quicktime, Windowsmedia) bij elkaar in 1 bakje (document root) gestopt en hebben de pseudo streaming protocollen elk hun eigen bakje (document root).

Verder heb je voor al die technieken natuurlijk de bijbehorende servers nodig om de boel uit te serveren. Voor Real heb je een Realserver nodig, voor Windows Media een Windows Media server, voor progressive download een download (web) server en voor Adaptive is een soort opgepimpte webserver nodig. Maar, omdat de tijd voortschrijdt en het onderhoud van al die technieken geld kost worden niet alle smaken meer aangeboden door NPO team Hosting&Streaming. De pseudo streaming protocollen (progressive download en adaptive) doen we nog, de echte streaming protocollen (Real, Windowsmedia, Quicktime) zijn in een meer of minder ver verleden uitgefaseerd. Dat betekent dat de bijbehorende content nog wel op het platform staat, maar tegenwoordig op geen enkele manier meer uitgeserveerd wordt.

Al met al geeft bovenstaand verhaal aanleiding tot onderstaande tabel

Voor bovenstaande streaming technieken zijn 2 groepen afnemers aan te duiden

1. “de gezamelijkheid”, waarbij de NPO namens de publieke omroepen een VOD platform heeft gebouwd en beheerd (“Uitzending Gemist”) Het uitspeelplatform was maar een schakel in een veel grotere keten die ook zaken als encoding en metadata beheer omvat.
2. de individuele omroepen, waarbij een omroep geheel los van de centrale NPO kan besluiten om een stukje content via een van bovenstaande platformen te ontsluiten. In praktijk wordt/werd dit vaak door omroepen gebruikt om b.v. web-only content te ontsluiten. Pas in latere jaren is het mediabeheer van deze content gecentraliseerd door dit in POMS op te nemen.

Voor de individuele omroepen is de situatie eigenlijk heel overzichtelijk: voor elk platform heeft een omroep z'n eigen hoekje (meestal genaamd naar de omroep) waar naar hartelust bestanden naartoe gekopieerd kunnen worden en die dan direct via het betreffende platform uitspeelbaar zijn.

We nemen even (de inmiddels niet meer bestaande) zendgemachtigde “IKON” als voorbeeld. Deze heeft/had voor het progressive download platform een eigen hoekje /e/ap/download/ikon en kon daar naar eigen welbevinden content plaatsen, zeg “001.Genesis1Tot5.P1.mp3”, welke vervolgens opvraagbaar was middels https://download.omroep.nl/ikon/001.Genesis1Tot5.P1.mp3 en vergelijkbaar voor de andere platformen.

Deze content is/was 100% onder het beheer van de omroepen. De NPO faciliteert hier alleen het uitspeelplatform.

Voor de gezamelijkheid (UG) ligt het wat anders. Bijna alle platformen (m.u.v. het adaptive platform) zijn ouder dan dat Uitzending Gemist is. Download.omroep.nl bestond al in het jaar 1999, dwz jaren voordat UG in 2002/2003 gelanceerd werd. Omdat deze platformen al bestonden is UG daar op gaan meeliften en heeft zich als een soort koekoeksjong in alle platformen genesteld en vervolgens de oorspronkelijke afnemers overvleugeld. Het koekoeksjong is groot geworden en is inmiddels uitgevlogen, terwijl de oorspronkelijke gebruikers nu enigzins vertwijfeld in hun nest zitten en zich afvragen waarom het opeens zo leeg is.

Chronologisch ziet de schepping van NPO Start er ongeveer zo uit:

Tijdens de groeifase van UG zijn er een aantal verpoppingen geweest waarbij op de achtergrond andere encoding en metadata systemen ingevoerd zijn. Dat uit zich serverside in andere hoekjes waar de content te vinden is en wat de omroepen daar wel/niet mee kunnen. Oorspronkelijk was het zo dat de encoding door het (toenmalige) NOB door een systeem genaamd “De Digitale Voorziening (DDV) gedaan werd en dat het ergens op het streaming platform neergezet werd waar omroepen ook toegang toe hadden. Op deze manier had een omroep de mogelijkheid om een programma later te wijzigen of te verwijderen. Dat is soms nodig als er in een programma bepaalde onderdelen zitten die later ivm rechten issues of rechtbankuitspraken niet meer getoond mogen worden. Later is daar een officieel mechanisme voor opgetuigd (“revokes”), waardoor het voor omroepen niet meer nodig was om direct zelf bij de streaming bestanden te kunnen en heeft dus het beheer hiervan zich langzaam aan het zicht van de omroepen onttrokken, culminerend in de introductie van Ceres waar omroepen geen rechten op het filesysteem meer hadden om uberhaupt nog de bestanden te kunnen bekijken.

Al met al geeft dat aanleiding tot onderstaande tabel

Van alle “moderne” content (alles vanaf 2009) heeft het denken wij niet veel zin deze nog te bewaren. Dit is gemaakt in een tijd dat metadata beheer redelijk op orde was. We mogen aannemen dat alles wat het bewaren waard was ondertussen gekopieerd is naar NPO Start.

Voor de oudere content ligt dat wat moeilijker. Hiervan zal niet in alle gevallen metadata beschikbaar zijn. Dus dat zal niet in alle gevallen gemigreerd zijn naar NPO Start (bijvoorbeeld realmedia content is in geen enkel geval gemigreerd en windowsmedia alleen maar deels) Het is dus best mogelijk dat hier content tussen zit die nu niet via NPO Start beschikbaar is.

Tegelijkertijd is het zo dat dit vaak in lage kwaliteit zal zijn. In het beste geval betreft het “breedband” (“bb.*”) content van maximaal 450kbit/s en een resolutie van 352×264 pixels. In het slechtste geval is het “smalband” (“sb.*”) content van 83kbit/s en 192×144 pixels. De smalband bestanden vallen in de categorie “bewegende postzegel”, de “breedband” bestanden zijn op een klein scherm (smartphone) nog wel aan te zien, maar op een groot scherm (TV) ziet het er niet uit.

Naast de werkelijke data (de videofiles) is er ook metadata. Dat is data die de videodata beschrijft. Wat is de titel? Wanneer werd het uitgezonden? Door welke omroep? Enz. Een onderdeel van de metadata is een link naar de videodata. Stel nou dat de videodata verwijderd wordt, dan moet de metadata ook aangepast worden om deze link te verwijderen.

Een van de systemen waar deze metadata wordt gebruikt is POMS. Het is dus zaak om als er een videobestand verwijderd wordt, de bijbehorende link in POMS meteen mee te verwijderen. De NPO zal er zorg voor dragen (ism met de leverancier van POMS) dat dit correct gedaan wordt.

Echter, misschien zijn er bij de omroepen nog wel meer metadata systemen in gebruik die ook bijgewerkt moeten worden. Als dit het geval is den verzoeken we je om je bij ons te melden.

Bovenstaand verhaal gaat met name over video data. Hoe zit het met audio?

Audio content welke door omroepen zelf ergens in een eigen directory neergezet (bijvoorbeeld /e/ap/download/ikon/ in het voorbeeld hierboven) is gewoon eigendom van die omroepen. Deze wordt niet door ons opgeruimd, maar de storage kosten gaan wel aan de omroepen doorberekend worden.

Deze sectie gaat vooral over de audio content die in de gezamelijkheid is neergezet. Het audio equivalent van Uitzending Gemist. Omdat al deze content helemaal nooit bevat is geweest in de migratie naar NPO Start wordt deze vooralsnog ook niet opgeruimd. Wel zullen we in de nabije toekomst iets met deze content aan moeten. Voor de volledigheid is hieronder het overzicht van waar er allemaal audiocontent te vinden is.

In de gezamelijkheid zijn er een aantal partijen relevant:

Ook hier geldt dat er in de loop der tijd verschillende methoden en systemen zijn geweest om deze content te maken en te plaatsen. De audio content is terug te vinden op de volgende plaatsen:

Een verschil met TV is dat bij radio de zenders zelf ook entiteiten zijn. 3FM is een household names in Nederland. Dat zie je terug in de mappenstructuur op de fileserver. Er zijn mapjes gewijd aan “3fm” en “funx”. Voor dit soort entiteiten geldt dat deze door NPO Hosting als een “omroep” zijn beschouwd, dwz ze hebben hun eigen mapjes waar individuele zenders hun eigen web-only content in konden uploaden. Al deze mapjes drukken qua storage echter weer op het gemeenschappelijke budget van NPO Audio. Zie hieronder voor een overzicht

Vooropgesteld: de bestanden die door de omroepen zelf geplaatst zijn worden niet opgeruimd. Wel is het zo dat de ruimte die deze bestanden innemen doorberekend gaat worden aan de omroepen. Omroepen hebben zelf de mogelijkheid om bestanden te verwijderen als ze vinden dat deze bestanden niet meer nodig zijn en de kosten niet meer waard zijn. We willen vanaf 1 juli 2020 deze storagekosten gaan doorberekenen. De kosten hierval zullen ongeveer 30 euro per terabyte per maand gaan bedragen. Voor veel omroepen komt dit uit op enkele tientjes tot enkele honderden euro per maand.

Het opruimplan gaat dus uitsluitend over content die in de gezamelijkheid is neergezet ten behoeve van ontsluiting via Uitzending Gemist, de voorlopers daarvan (www.omroep.nl en portal.omroep.nl) of de opvolger daarvan (npo.nl/gemist).

Het werkelijke verwijderen van elke tranche gebeurt in een paar stappen

1. Lijst genereren van de te verwijderen bestanden
2. Via de WGT mailinglijst inzage in de lijst met te verwijderen bestanden geven.
3. Deze lijst tegen POMS aanhouden om zo de bijbehorende metadata (de zgn “Publicatie Opties”) bij te werken
4. Zorgen dat de data niet meer via het oorspronkelijke pad te benaderen is (nl door het verwijderen van de bijbehorende /e/ap/… symlinks)
5. Na een wachttijd van een week de data verplaatsen naar een hoekje waar applicaties deze niet meer kunnen zien.
6. Na een wachttijd van nog weer een week het daadwerkelijk verwijderen van de data
7. Na een wachttijd van een maand het verwijderen van de data uit alle backups. Hierna is de data niet meer, nooit meer terug te halen. Hooguit via alternatieve wegen als Beeld en Geluid.

In het UG streaming platform draaien op dit moment de volgende diensten:

• adaptive.npostreaming.nl: Adaptive VOD platform
• livestreams.omroep.nl: Adaptive live platform
• download.omroep.nl: Progressive download VOD platform
• icecast.omroep.nl: Live audiostreaming platform

Met de migratie van UG naar NPO Start is de bestaansreden onder het oude UG streaming platform grotendeels weggevallen. De sizing van het huidige platform (groot) is niet meer in overeenstemming met het huidige gebruik (klein). download.omroep.nl en adaptive.npostreaming.nl zijn beiden geschaald voor een peak bandwidth van +/- 100Gbit, maar de het werkelijke gebruik komt normaliter niet meer boven +/- 5Gbit uit. Bovendien heeft het qua kosten maar weinig nut om -zeg- 80% van het platform uit te zetten, want zolang er nog grote gebruikspieken voor kunnen komen moet er toch een groot platform achter de hand gehouden worden. (denk aan grote nieuws events of incidentele, maar drukke zaken als b.v. Sinterklaasjournaal) Dus het lijkt ons veel efficienter als alle huidige gebruikers gaan verhuizen, bijvoorbeeld naar het NPO Start platform, zodat het oude UG platform in z'n geheel uitgezet kan worden.

Op adaptive.npostreaming.nl zit eigenlijk nog maar 1 echte gebruiker, nl de clips op nos.nl. Deze zijn gescheduled om dit jaar naar het NPO Start platform te migreren. Daarom willen we het adaptive platform per 31 december 2020 uitzetten.

In dezelfde hoek zit livestreams.omroep.nl. Deze werd tot voor kort door de NOS gebruikt bij grote sport- of nieuws events. Dit verhuist in Q1 2020 naar het NPO Start platform. Hiermee valt het bestaansrecht voor livestreams.omroep.nl weg. Dit platform willen we ook per 31 december 2020 uitzetten.

Dan is er download.omroep.nl. Daar wordt nog door een heel aantal afnemers gebruik van gemaakt. (met name NPO Audio, NOS nieuws clips, sommige regionalen en een trits aan omroepen die hier nog web-only content hebben staan) Wij verwachten dat de afbouw van download.omroep.nl een ingewikkeld proces gaat worden. Daarom stellen we het volgende schema voor:

• Q2 2020

  • inventarisatie wat er nog draait
  • aanschrijven van de afnemers van download.omroep.nl
• Q3+Q4 2020

  • waar mogelijk migratie naar NPO Start platform
  • samen met de resterende afnemers kijken hoe de dienstverlening in een nieuw te bouwen platform gecontinueerd kan worden.
• Q1+Q2 2021

  • bouw nieuw platform
• Q3+Q4 2021

  • migratie naar nieuwe platform
• 31 december 2021: Opheffen van download.omroep.nl

Als laatste is er icecast.omroep.nl. Dat is een speciaal geval. Ondanks dat alle livestreaming over zou moeten zijn naar het NPO Start platform hebben we op icecast nog nooit zulke grote pieken gezien als tijdens de top2000 van december 2019. Deze waren groter dan die van 2018, en 2018 was op zijn beurt weer groter dan 2017. Omdat icecast infrastructuur deelt met de andere bovenstaande streaming platformen is het onze wens om icecast in z'n huidige vorm op termijn ook uit te kunnen zetten. (want anders drukken alle kosten van bovenstaande platformen straks alleen nog op icecast en wordt dit wel een prijzig platform) We willen hier graag het gesprek aangaan met de afnemers (NPO Audio) hoe de toekomst van dit platform eruit zou kunnen zien. Wij zien twee mogelijkheden:

1. alle audio streaming loopt via het NPO Start adaptive platform, icecast wordt gediscontinueerd. Probleem hierbij zijn mogelijk internet audio systemen zoals bijvoorbeeld Sonos, welke momenteel alleen via icecast kunnen werken. Of:
2. we bouwen een nieuw icecast platform dat beter met het gebruik mee kan schalen, zodat de kosten meer variabel worden. Eventueel in conjunctie met een nieuw te bouwen progressive download platform.