Schreifmaschinn – Trainingsdonnéeën (CC-BY)

English version below.

Lëtzebuergesch Audioopnamen (knapp 90 Minutten) mat passender Transkriptioun, mat deenen dem ZLS seng Schreifmaschinn trainéiert gouf. D’Schreifmaschinn ass en Tool fir d’Sproocherkennung (Speech-to-Text) a gehéiert zum ZLS senger Sproochmaschinn (www.sproochmaschinn.lu).

Dësen Datesaz enthält Artikele vum Konterbont Magasinn, engem lëtzebuergeschsproochege Magasinn, dee vun Autisme Luxembourg a.s.b.l. publizéiert gëtt. D'Audioopname stame vum ZLS.

D’Donnéeë ginn an zwou Versiounen zur Verfügung gestallt, jeeweils an engem eegenen Dossier:

• Verbatim/: An dësem Dossier fannt Dir d’Audioe mat audiogetreien Transkriptiounen. Dialektal Varianten (z. B. „nek“ amplaz „net“), Allegroformen (z. B. „wi“ amplaz „wéi“) an Gespréichspartikelen (z. B. „ëëë“) sinn esou transkribéiert, wéi se geschwat goufen.
• Normalised/: An dësem Dossier fannt Dir déi selwecht Opnamen, mee déi genannte Phenomener – dialektal Varianten, Allegroformen, Gespréichspartikelen – goufen an den Transkriptiounen un déi offiziell Standardschreifweis ugepasst oder, wou et Sënn mécht, erausgefiltert (z. B. am Fall vun „ëëë“).

D’Audioopname sinn an deenen zwou Versiounen identesch; just den transkribéierten Text ass anescht. D’Fichiere leien an den Dossiere Verbatim/Konterbont/ an Normalised/Konterbont_normalised/.
Fichieren

Zu all Opnam gehéiere véier Fichiere mam selwechten Numm:

• .wav: d’Audioopnam
• .txt: d’Transkriptioun am rengen Textformat
• .json: d’Transkriptioun mat Timestampen am JSON-Format
• .csv: d’Transkriptioun mat Timestampen als Tabell

Am Dossier Normalised/ hunn d’Nimm vun de Fichieren d’Endung _normalised.

Lizenz

All d'Donnéeën an dësem Datesaz stinn ënner der Lizenz CC BY 4.0, cf. de Fichier LICENSE. Bei der Notzung vun dësen Donnéeë muss d’Quell ugi ginn, z. B. mat dësem Vermierk:

© Konterbont Magasinn – Autisme Luxembourg a.s.b.l., CC BY 4.0
zesumme mat engem Link op https://creativecommons.org/licenses/by/4.0/
Quellen

Detailléiert Informatiounen zu all Opnam fannt Dir am Fichier mat de Metadaten (Metadata.xlsx).

Mercien

Dëse Projet gouf erméiglecht duerch déi finanziell Ënnerstëtzung vum Ministère fir Digitaliséierung am Kader vun der Initiativ Data4Gov 2024 esouwéi duerch onzieleg Stonnen Aarbecht, déi vu professionellen Expertinne geleescht goufen.

E grousse Merci gëllt ausserdeem deene verschiddene Partner, déi bereet waren, hir Daten oppen zur Verfügung ze stellen. Si leeschten domat e wäertvolle Bäitrag zur Presenz vum Lëtzebuergeschen a verschiddene Beräicher. Notamment droe si derzou bäi, datt modern KI-Toolen d’Sprooch beherrschen.

Kontakt

Bei Froe kënnt Dir Iech ënner info@zls.etat.lu beim ZLS mellen.

Schreifmaschinn – Training Data (CC-BY)

Luxembourgish audio recordings (almost 90 minutes) with matching transcriptions, used to train the ZLS’s Schreifmaschinn. Schreifmaschinn is a speech recognition (speech-to-text) tool and part of the ZLS’s Sproochmaschinn (www.sproochmaschinn.lu).

This dataset contains articles from Konterbont Magasinn, a Luxembourgish-language magazine published by Autisme Luxembourg a.s.b.l. The articles were read aloud and recorded by the ZLS.

The data is provided in two versions, each in its own folder:

• Verbatim/: This folder contains the audio with transcriptions that are faithful to the audio. Dialectal variants (e.g. “nek” instead of “net”), allegro forms (e.g. “wi” instead of “wéi”) and discourse particles (e.g. “ëëë”) are transcribed as they were spoken.
• Normalised/: This folder contains the same recordings, but the phenomena mentioned above – dialectal variants, allegro forms, discourse particles – have been adapted to the official standard spelling in the transcriptions or, where appropriate, filtered out (e.g. in the case of “ëëë”).

The audio recordings are identical in both versions; only the transcribed text differs. The files are located in the folders Verbatim/Konterbont/ and Normalised/Konterbont_normalised/.

Files

Each recording comes with four files of the same name:

• .wav: the audio recording
• .txt: the transcription in plain text format
• .json: the transcription with timestamps in JSON format
• .csv: the transcription with timestamps as a table

In the folder Normalised/, the file names end in _normalised.

Licence

All data in this dataset is licensed under CC BY 4.0, see the file LICENSE. When using this data, the source must be credited, e.g. with this notice:

© Konterbont Magasinn – Autisme Luxembourg a.s.b.l., CC BY 4.0
together with a link to https://creativecommons.org/licenses/by/4.0/

Sources

Detailed information on each recording can be found in the metadata file (Metadata.xlsx). The other sources of the Schreifmaschinn training data are published as a separate dataset under CC0.

Acknowledgements

This project was made possible thanks to financial support from the Ministry for Digitalisation under the Data4Gov 2024 initiative, as well as countless hours of work by professional experts.

The ZLS would also like to thank the various partners who agreed to make their data openly available. In doing so, they are making a valuable contribution to the presence of Luxembourgish across a range of fields. In particular, they are helping to ensure that modern AI tools can master the language.

Contact

If you have any questions, please contact the ZLS at info@zls.etat.lu.