Korpus¶

I dhlab brukes Python-klassen Corpus for å representere et korpus. Et korpus er en samling av tekster, og kan være en bok, en avis, en samling av bøker, en samling av aviser, eller en samling av alt som er tilgjengelig.

Ved hjelp av denne klassen kan man velge ut hvilke objekter fra NBs digital samling man vil jobbe med, se metadata som forfatter, år, osv. Man kan så hente ut informasjon om teksten som frekvenslister, konkordanser, og kollokasjoner. Man kan også lese teksten via nb.no.

Her viser vi ulike måter man kan bygge korpus fra NBs samling. Et korpus kan enten være et utvalg bøker, eller et utvalg aviser. Avgrensningen kan være metadata eller innhold i selve teksten.

Den lettetste måten å definere et korpus er å bruke søk i metadata. Corpus har flere parametre som kan brukes til å avgrense korpuset.

Corpus-klassens parametre:¶

• doctype:

  • Type objekt man vil søke i. Har man velge mellom "digibok"(bøker), "digavis"(aviser), "digitidsskrift"(tidsskrift), "digistorting"(stortingsdokumenter), "digimanus"(brev og manuskripter) eller "kudos"(kunnskapsdokumenter fra offentlig sektor). Standardverdien er "digibok".

• author:

  • Navnet på en forfatter.

• freetext:

  • Fritt søk i metadata. Kan kombinere flere av parametrene med nøkkelordene "AND", "OR" og "NOT". For eksempel: "digibok AND Ibsen".

• fulltext:

  • Ord innenfor publikasjonen. Bruk nøkkelordene "AND", "OR" og "NOT" for å kombinere ord. For eksempel: "Ibsen AND teater".

• from_year:

  • Startår for ønsket tidsperiode.

• to_year:

  • Sluttår for ønsket tidsperiode.

• from_timestamp:

  • Startdato for ønsket tidsperiode. Formatet er YYYYMMDD, mens bøker har YYYY0101 som format.

• to_timestamp:

  • Sluttdato for ønsket tidsperiode. Formatet er som for from_timestamp.

• title:

  • Tittelen på dokumentet eller publikasjonen.

• ddk:

  • Deweys desimalklassifikasjon.

• subject:

  • Emnet eller temaet for dokumentet.

• lang:

  • Språket dokumentet er skrevet på. 3 bokstav ISO-kode.

• limit:

  • Grense for antall resultater som returneres. Standardverdien er 10.

• order_by:

  • Hvordan resultatene skal sorteres. For eksempel kan det være "random" for tilfeldig sortering.

Eksempler¶

Bygg et korpus der forfatteren er Vigdis Hjorth¶

Bygg et korpus fra Dewey 900 (trunkert), som et definert med emneord fiske i katalogdata¶

Korpuset defineres med metadata som dewey, emneord, navn , år, etc. Her kan Webdewey være til god hjelp.

Korpus med bøker fra 1990 til 2000 som inneholder ordet demokrati¶

Korpus med flere søkeord¶

Aviskorpus¶

Legg korpuset i en variabel¶

Variabelen brukes til å referere til korpuset senere

2. Bruk av Corpus¶

Corpus tilbyr en rekke metoder for å gjøre korpus lettere å jobbe med:

• from_identifiers:

  • Konstruerer et Corpus fra en liste med identifikatorer.

• from_df:

  • Typecaster en Pandas DataFrame til Corpus-klassen. DataFrame må inneholde en URN-kolonne.

• from_csv:

  • Importerer et korpus fra csv.

• extend_from_identifiers:

  • Utvide korpuset med en liste med identifikatorer.

• evaluate_words:

  • Evaluerer en liste med ord mot korpuset.

• add:

  • Verktøy for å legge til et Corpus eller en DataFrame til det eksisterende korpuset.

• sample:

  • Oppretter et tilfeldig subkorpus med et gitt antall.

• conc:

  • Henter kollokasjoner av gitte ord i korpuset.

• coll:

  • Henter kollokasjoner av gitte ord i korpuset.

• freq:

  • Henter ordfrekvenser for korpuset.

Ta vare på eller rediger korpuset i excel¶

Importer korpus fra excel-dokument

Bygg korpus fra boksøk på nb.no¶

Søk etter bøker på nb.no, legg til debugon sammen med søkekriteriet. Kopier hele siden (ctrl-A) og lim inn resultatet mellom """ ... """ nedenfor. Kommandoen som brukes er pure_urn(<tekst>) som prøver å finne URN-er i alt mulig av tekst.

Tilbake til DHLAB ved Nasjonalbiblioteket