Kategorie: Blabla

Das neue ThorstenVoice Dataset ist jetzt für den freien Download verfügbar 🥳. Genau, wie die vorherigen Datensätze ist auch dieses unter der CC0 Lizenz verfügbar, damit es von jedem frei verwendet werden kann.

Wenn Du das Dataset verwendest, dann bitte nutze die folgende DOI um es zu zitieren – Vielen Dank 😊.
DOI: 10.5281/zenodo.7265581

@dataset{muller_thorsten_2022_7265581,
  author       = {Müller, Thorsten and
                  Kreutz, Dominik},
  title        = {ThorstenVoice Dataset 2022.10},
  month        = oct,
  year         = 2022,
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.7265581},
  url          = {https://doi.org/10.5281/zenodo.7265581}
}

Die bereits verfügbaren „Thorsten“ Tacotron2 DDC und VITS TTS-Modelle basieren auf meinem offenen und kostenfreien Sprachdatensatz, welcher in wenigen Tagen veröffentlicht wird. Der Datensatz trägt den kreativen Namen „Thorsten-22.10„.

Hier einige Beispiele von Originalaufnahmen aus dem Sprachdatensatz:

Einige Angaben zum Sprachdatensatz „Thorsten-22.10“:

Anzahl Aufnahmen	12.432
Audiodauer	11+ Stunden
Samplerate	22.050Hz
Kanäle	Mono
Normalisierung	-24dB
Sprechgeschwindigkeit (Durchschnitt)	17,5 Zeichen / Sekunde

Hier einige Beispiele einer darauf trainierten künstlichen Stimme:

Ja, ja – schön und gut, aber wo kann ich es runterladen?

Noch einen Augenblick Gedult. Der Datensatz wird die nächsten Tage veröffentlicht und der Link hier, auf meinem Twitter Account (@ThorstenVoice) und auf meinem Youtube Kanal bekanntgegeben.

Ihr habt abgestimmt und euch für „Variante 2“ entschieden. Das neue Modell ist seit heute per Coqui 🐸 TTS Version 0.8.0 direkt einsetzbar. Danke für eure Rückmeldungen und eure Unterstützung auf dem Weg zu diesem neuen Modell 😊.

Großer Dank gilt natürlich auch meinem mehrjährigen TTS-Weggefährten Dominik und allen weiteren TTS Enthusiasten 👏.

pip install TTS==0.8.0
tts-server --model_name tts_models/de/thorsten/tacotron2-DDC
http://localhost:5002

Ich bin langsam „betriebstaub“, daher brauche ich etwas hilfe von Dir. Aktuell habe ich zwei neue TTS Modelle trainiert, aber nur einer davon wird es in die Veröffentlichung schaffen.

Daher die Frage – welche Variante gefällt besser?

Variante 1

Variante 2

JAHRE der Passion für offene Sprachtechnologien,
MONATE Aufnahmesessions am Mikrofon,
WOCHEN Rechenzeit für das Modell Training,
TAGE für die Audio Optimierung,
STUNDEN der Verzweiflung.

All dies, für den EINEN MOMENT, die nächste Version der offenen, künstlichen, deutschen, offline-fähigen „Thorsten-Voice“ mit Euch zu teilen!

Die neue Version basiert auf einem komplett neu aufgenommen Sprachdatensatz (Thorsten-22.05-neutral).

Es wurde mit Coqui 🐸 TTS erstellt und es handelt sich um ein VITS Modell (nur als Info für die TTS-Insider).

tl;dr

- pip install tts==0.7.1
- tts-server --model_name tts_models/de/thorsten/vits
- Open webbrowser on http://localhost:5002

Jetzt wünschen wir euch viel Spaß
🗣️🎉😄

Dominik & Thorsten

Das neue Modell ist noch nicht verfügbar.

Gesprochen wird der Satz:

Dieser Satz dient als Vergleich zwischen dem bestehenden Thorsten Modell und dem Modell, welches aktuell noch erarbeitet wird.

Dominik und ich experimentieren weiterhin um die bestmögliche TTS-Konfiguration zu finden aber so klingt der aktuelle Stand mit Sätzen von Mycroft Skills.

Nachdem ich (erneut) Monate meiner Freizeit für Audioaufnahmen investiert habe (dieses Mal mit gutem Mikrofon und Aufnahmesetup) und Dominik seine „Audio-Magic“ angewendet hat ging es für uns beide richtig los.

Wir haben diverse Konfigurationen ausprobiert (und machen das auch aktuell noch). Dennoch möchten wir euch heute einen aktuellen Stand vorstellen.

• > 12.000 mono Aufnahmen mit einer Samplerate von 22kHz
• Trainiert mit Coqui TTS (0.5.0)
• Tacotron2 DDC (TTS-Modell)
• HifGAN (Vocoder) – vielen Dank an Olaf, der uns hier mit „Compute Power“ sehr unterstützt hat
• Ganz viel Liebe 🙂

Natürlich kann auch dieses Modell offline erzeugt werden und steht kostenfrei unter der CC0 Lizenz frei zur Verfügung.

Und so klingt es derzeit

Es gibt noch keinen Zeitpunkt wann das Modell und das zugrundeliegende Dataset veröffentlicht werden, da die „Finetuning“ Arbeiten noch laufen. Allerdings sind wir dem Ziel näher als dem Anfang :-).

Über Feedback zum aktuellen Stand des Modells würden wir uns freuen. Entweder per Kontaktformular oder per eMail an tm@thorsten-voice.de.

Aber es gibt doch schon ein „neutrales“ Thorsten Dataset – wozu noch eins?

Stimmt. Aber als ich das erste neutrale Dataset aufgenommen habe war ich etwas naiv. So habe ich beispielsweise die Aufnahmen mit einem schlechten Audio Setup begonnen. Das wurde zwar Dank Dominiks Audio-Optimierungsfähigkeiten verbessert, aber war trotzdem etwas ärgerlich. Außerdem wollte ich so klar und deutlich wie möglich lesen. Das ist mir zwar gelungen, aber dadurch ist der natürliche Sprachfluss etwas verloren gegangen. Basierend auf meinen Erfahrungen wollte ich ein „besseres“ neutrales Dataset aufnehmen.

Und wo ist dieses fabelhafte neue Dataset?

Noch in Arbeit.

Ich plane ca. 11 Stunden reines Audio im Dataset zu haben. Aktuell bin ich bei ca. 9 Stunden. Ich bin sicher einige Minuten fallen bestimmt auch der Nachbearbeitung zum Opfer. Also so Pi * Daumen noch gute 2 Stunden Audio fehlen – und da bin ich aktuell dran.

Ich hoffe, dass ich das neue Dataset dann Anfang 2022 veröffentlichen kann. Weitere Details dazu folgen zu gegebener Zeit.

Bis dahin dürft ihr euch gerne meine beiden bisheren Datasets anschauen, bzw. anhören:

• Thorsten (neutral)
• Thorsten (emotional)

Details zu den veröffentlichten Datasets findet ihr hier: https://www.thorsten-voice.de/datasets/

Wer meinen Werdegang rund um offene Sprachtechnologien verfolgt weiß – ich habe eine Leidenschaft für das Thema TTS oder auch „Text-to-Speech“.

Ob auf Github, Twitter oder meinem Youtube Kanal dreht sich alles um das Thema von freiem deutschen TTS – getreu dem Motto:

Eine qualititativ hochwertige, deutsche, künstliche Stimme, die offline erzeugt werden kann, sollte jedem Projekt kostenlos und ohne lizenzrechtliche Einschränkungen zur Verfügung stehen.

Nach einiger Überlegung geht heute meine Webseite zu dieser Leidenschaft online. Zugegeben, sie ist ist kein leuchtendes Beispiel beeindruckenden Webdesigns, aber das war auch nicht mein Ziel. Viel mehr hoffe ich, dass ich mit meinen Bemühungen um freies und offenes TTS „punkten“ kann.

Auf dieser Seite plane ich auch Neuigkeiten zu neuen „Datasets“ und neuen trainierten TTS-Modellen zu veröffentlichen.

Mehr Details zu meiner Stimme findest Du auf meiner Github Projektseite.