Add EUROPARL_NER_GERMAN

[stolzenp]

No description provided.

[alanakbik]

@stolzenp thanks for adding this! There is one problem with the code. If I do:

# load corpus
corpus = EUROPARL_NER_GERMAN()
print(corpus)

# print first test sentence
print(corpus.test[1])

I get an error. The problem is that the corpus is not in IOB format. I.e the sentence:

Ich ich PPER I-NC O
erkläre erklären VVFIN I-VC O
die d ART I-NC O
am am APPRART I-PC O
Donnerstag Donnerstag NN I-PC O
, , $, O O
den d ART I-NC O
28. 28. ADJA I-NC O
März März NN I-NC O
1996 1996 CARD B-NC O
unterbrochene unterbrochen ADJA I-NC O
Sitzungsperiode Sitzungsperiode NN I-NC O
des d ART B-NC O
Europäischen europäisch ADJA I-NC ORG
Parlaments Parlament NN I-NC ORG
für für APPR I-PC O
wiederaufgenommen wiederaufnehmen VVPP I-VC O
. . $. O O

should in fact be

Ich ich PPER I-NC O
erkläre erklären VVFIN I-VC O
die d ART I-NC O
am am APPRART I-PC O
Donnerstag Donnerstag NN I-PC O
, , $, O O
den d ART I-NC O
28. 28. ADJA I-NC O
März März NN I-NC O
1996 1996 CARD B-NC O
unterbrochene unterbrochen ADJA I-NC O
Sitzungsperiode Sitzungsperiode NN I-NC O
des d ART B-NC O
Europäischen europäisch ADJA I-NC I-ORG
Parlaments Parlament NN I-NC I-ORG
für für APPR I-PC O
wiederaufgenommen wiederaufnehmen VVPP I-VC O
. . $. O O

So after download you need to reformat the corpus such that all entity tags are prefixed by a "I-". So

• "ORG" -> "I-ORG"
• "PER" -> "I-PER"
• "LOC" -> "I-LOC"
• "MISC" -> "I-MISC"

Make sure that the Corpus object gets the reformated files and not the original ones. To check if everything works correctly, train an NER model with this corpus. If the training completes without error, the corpus is loaded correctly!

[alanakbik]

Thanks @stolzenp - everything works now!