genius-lyrics-cleaned
קוד פתוחtheelderemomit2026-03-09
מאגר מסונן של מילות שירים באנגלית מאתר ג'יניוס, שעבר ניקוי זבל ושאריות ממשק. הוא מיועד למי שרוצה לאמן מודלי שפה על טקסט שירי בלי להשקיע שבועות בהכנת הדאטה.
- 3,468הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל 3,179,588 רשומות שמקורן בסט נתונים גולמי מקגל בשם carlosgdcj/genius-song-lyrics-with-language-information. במקור הקבצים שקלו מעל 9 גיגה בייט וכללו שפות שונות וטקסטים שאינם שירים, כמו שירה כתובה או קטעי ספרים.
המפרסם סינן את המאגר כך שיכלול רק שירים באנגלית ותחת 15 ז'אנרים מוזיקליים מוגדרים, בהם ראפ, רוק, פופ, מטאל ואלקטרוני. תגיות כלליות נזרקו לחלוטין. בנוסף, הוסרו שאריות ממשק של ג'יניוס, תגיות HTML, ספירות צפיות וקטעים קצרים ממאה תווים, ונשמרו שירים לפי כמות הצפיות במקרה של כפילויות.
המבנה של כל רשומה כולל חמישה שדות: שם השיר, שם האמן, תגית הז'אנר, שנת יציאה ומילות השיר לאחר ניקוי. כל הנתונים יושבים בחלוקה יחידה של אימון, ללא חלוקה מובנית לולידציה או בדיקה.
מתאים ל
- אימון מודלי שפה לכתיבה
כוונון עדין של מודלי שפה ליצירת מילות שירים לפי סגנון אמן או ז'אנר מוגדר.
- ניתוח סגנון וטקסט במוזיקה
חקר מגמות לשוניות, מבני חריזה וז'אנרים מוזיקליים לאורך עשורים באנגלית.
- סיווג שירים לפי ז'אנר
בניית מודלים לסיווג טקסט שמנבאים את הסגנון המוזיקלי מתוך מילות השיר בלבד.
איפה זה נופל
הנתונים מוגבלים לשפה האנגלית בלבד, כך שאינם מתאימים לפרויקטים בעברית או מודלים רב-לשוניים. שדה שנת היציאה כולל ערכים חסרים, מה שדורש טיפול בקוד לפני שמסתמכים עליו. בנוסף, חלוקת הז'אנרים מבוססת על 15 קטגוריות בלבד ועלולה להשמיט סגנונות מורכבים. רוב הטקסטים קצרים מ־512 מילים, ולכן חלון הקשר של 1024 טוקנים מספיק לרובם, אך קטעים חריגים עדיין ייחתכו.
שאלות
נפוצות
האם המאגר כולל שירים בעברית?
לא. המאגר עבר סינון מחמיר וכולל אך ורק שירים שהוגדרו באנגלית, כך שאין בו שירים בעברית כלל.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון שהמפרסם הגדיר הוא MIT, שמתיר שימוש מסחרי בקוד ובדאטהסט עצמו. הבעיה היא שמילות השירים עצמן שייכות ליוצרים ולחברות תקליטים, ולכן שימוש כזה כרוך בסיכון של הפרת זכויות יוצרים.
כמה שטח אחסון נדרש כדי להוריד ולעבוד איתו?
קובצי ההורדה שוקלים כ־2.38 גיגה בייט, אך לאחר פריסה בזיכרון או על הדיסק המאגר תופס כ־4.51 גיגה בייט. מומלץ להחזיק לפחות 10 גיגה בייט פנויים כדי לטעון ולעבד אותו בנוחות.
במה הוא שונה מהמאגר המקורי בקגל?
המאגר המקורי שקל מעל 9 גיגה בייט וכלל שפות שונות, כפילויות, זבל מתוך ממשק האתר וטקסטים שאינם שירים. הגרסה הזו מנוקה לחלוטין, שוקלת כרבע מהמקור, ומכילה רק מוזיקה באנגלית.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בהאגינג פייס ללא צורך באישור גישה. גודל ההורדה עומד על כ־2.38 גיגה בייט, ובדיסק הקבצים תופסים כ־4.51 גיגה בייט בפורמט Parquet שמחולק לעשרה חלקים. לפני שמתחילים להריץ אימון, חובה לפצל את הנתונים עצמאית לסט בדיקה ואימות כי המאגר כולל רק פיצול אימון. השדות המרכזיים לעבודה הם lyrics, שבו כותרות המבנה מנורמלות, לצד tag, artist ו־year אם רוצים לבנות פרומפט מותנה.
from datasets import load_dataset
ds = load_dataset("theelderemo/genius-lyrics-cleaned")הרישיון
המאגר מופץ תחת רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, למעט מתן קרדיט. עם זאת, התוכן עצמו מורכב ממילות שירים המוגנות בזכויות יוצרים של אמנים וחברות תקליטים. אימון מודל עלול לחשוף אתכם לסיכונים משפטיים של זכויות יוצרים, גם אם הרישיון הטכני של הקובץ פתוח לחלוטין.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש