NRK produserer og forvalter mye innhold som vil bli fremtidens digitale kulturarv. NRK har satt i gang arbeidet for å designe og implementere et omfattende digitaliseringsprogram, der man bygger ny infrastruktur for radio og TV produksjon. Stemme- og ansiktsgjenkjenning er viktige områder for å gjøre det enklere å finne skjulte skatter i NRK-arkivet.

950 000 lydfiler og 155 000 timer med video ligger lagret i NRKs enorme arkiv med materiale helt fra 30-tallet og frem til i dag. Det å katalogisere alt dette materialet og gjøre det søkbart er en enorm jobb, og egentlig helt urealistisk å skulle gjøre manuelt. NRK har derfor tatt i bruk avansert maskinlæring, stemmegjenkjenning og ansiktsgjenkjenning for å automatisk tagge alt materialet. Målet med det såkalte Origo-prosjektet er at publikum selv skal kunne søke opp klipp fra NRK-arkivet og få enda mer relevante treff, samtidig som prosjektet skal forenkle arbeidshverdagen for de mange som jobber i NRK.

NRK hadde en rekke ulike systemer som ikke snakket sammen. Flere av systemene måtte byttes ut og det var på tide å tenke helt nytt. Man har nå valgt å bygge et fundament i bunn, der applikasjonene på toppen kan byttes ut på et senere tidspunkt, helt uavhengig av hverandre. Alle dataene ligger lagret i en såkalt grafmodell, som lagrer data i grafer i motsetning til en relasjonsdatabase som lagrer data i tabeller. Slike modeller har en større fleksibilitet enn mer tradisjonelle databaser og er enklere å slå sammen på tvers av systemer og domener.

Kombinerer maskinlæring med semantisk teknologi

NRK-arkivet vokser med rundt 1000 nye radio- og TV-programmer hver uke. CGI, som var med på å lede programmet, har laget en infrastruktur som automatisk sørger for å merke alle nye programmer med temaer i tillegg til at det blir registrert hvem du hører eller ser i programmet. Denne teknologien har man nå begynt å gradvis ta i bruk på eldre opptak. I første omgang har det blitt gjennomført et prosjekt med debattprogrammet Dagsnytt 18, hvor maskinen har lest både ansikt, tekst på skjermer, logoer og stemmer før den automatisk har gjenkjent og merket innslagene. 

En robot som «forstår» omgivelsene kan i større grad reagere «riktig» i skiftende omgivelser. Resultatet er at NRK får mer korrekte og presise metadata og du raskere får ut det du ønsker av søket i dette enorme materialet.

Sentralt i det hele står det som kalles semantisk teknologi, altså teknologi som kan forstå betydningen av ord og setninger. Dette brukes i en kombinasjon med maskinlæring. Mens maskinlæringen brukes til å digitalisere «skjult kunnskap» i et radio- eller TV-program, så brukes den semantiske teknologien til å tolke kunnskapen inn i en større sammenheng. Dette gjør at datagrunnlaget for analyse blir bedre, man får bedre tilgang på materialet og nye muligheter for bruk av materialet genereres. 

Hva har CGI levert?

Origo-prosjektet hos NRK består av om lag 20 utviklere og to prosjektledere. CGI har bidratt på flere nivåer i prosjektet, fra ledelse av virksomhetsarkitekturgruppen, teknisk prosjektleder, systemarkitektur, til backend, frontend og eksperter på infrastruktur. Konsulenter fra forskjellige konsulenthus jobbet sammen i flere teams.

Det er tre typer metadata som står sentralt i løsningen som nå er bygget: de tekniske metadataene som kommer fra for eksempel kameraenes EXIF-informasjon, administrative data – for eksempel om bruksrettigheter, samt sosiale data. Sistnevnte er det viktigste redaksjonelt sett, og handler om blant annet hvem som er med i programmet, i hvilken sammenheng, og så videre. Ved å kombinere alle de ulike typene metadata med semantikk blir det mulig å gjøre mer intelligente søk enn om man bare har metadata i stikkordsform.

CGI har også bidratt med en løsning for å analysere tale, noe som gjør det mulig å finne ut hvem som snakker og hva som blir sagt. Kvaliteten i analysen ble hevet ved å kombinere identifikasjon av talere (basert på lyd) med ansiktsgjenkjenning og grafikkanalyse.

Mange utenlandske mediehus og andre institusjoner har vist interesse for prosjektet, og man jobber tett sammen med den europeiske kringkastingsorganisasjonen EBU.