Generovanie Textu

Strojové učenie

Author

Tech stack

Python Python PyTorch PyTorch Wandb Wandb

Generovanie Textu

📜 Popis

Projekt strojového učenia, ktorý generuje doménovo-špecifický text pomocou klastrovania a doladených jazykových modelov. Systém analyzuje texty z piatich odlišných domén (Právo, Veda, Matematika, Fantasy a Sci-Fi), vytvára embeddingy, klastruje ich pomocou redukcie dimenzionality a generuje kontextovo vhodný text pre každú doménu pomocou GPT-2.

⚙️ Funkcie

  • Delenie textu – Spracovanie a delenie veľkých textov z viacerých domén
  • Sémantické embeddingy – Generovanie embeddingov pomocou Sentence Transformers
  • K-Means klastrovanie – Klastrovanie textových embeddingov do doménovo-špecifických skupín
  • Doladenie GPT-2 – Trénovanie jazykového modelu na doménovo-špecifických dátach
  • Generovanie textu – Generovanie textu na základe vybranej domény