transformer-from-scratch-tutorial
קוד פתוחbird-of-paradisemit2024-12-18
המאגר הזה לא מכיל נתוני אימון אלא מדריך קוד מפורט למימוש ארכיטקטורת טרנספורמר מלאה מאפס בפייתורץ׳. הוא מתאים למי שרוצה להבין לעומק שכבות קשב ומסכות לפני שהוא ניגש לפיתוח מודלים מורכבים.
- 197הורדות בחודש
- 44לייקים
מה זה
למרות שהוא מקוטלג תחת דאטהסטים, אין כאן רשומות טקסט, טבלאות נתונים או דוגמאות שפה. המאגר כולל שלושה קבצים בלבד, שהעיקריים שבהם הם קובץ התיעוד ומחברת ג׳ופיטר בשם Transformer_Implementation_Tutorial.ipynb. התוכן כולו סובב סביב בנייה של ארכיטקטורת הטרנספורמר הקלאסית מתוך המאמר המקורי משנת 2017, כולל פירוק הרכיבים השונים והמחשה שלהם בקוד.
המחברת מציגה מימושים מלאים לשכבות השיבוץ והקידוד המיקומי על בסיס סינוס וקוסינוס, מנגנון קשב עצמי מרובה ראשים וקשב מוצלב, שכבות הזנה קדימה, ושילוב של כל אלה במבנה של מקודד ומפענח. לצד הקוד יש בדיקות שמוודאות גדלים של טנזורים ומעבר תקין של גרדיאנטים, וכן יצירה של ויזואליזציות לדפוסי קשב ולמסכות סיבתיות. אין כאן נתונים שנאספו מהרשת או סוננו ממקור חיצוני.
מתאים ל
- לימוד מעשי של פייתורץ׳
מעבר שורה אחר שורה על המימוש של מנגנון הקשב כדי להבין פעולות על טנזורים.
- בדיקת מימושי קשב פרטיים
שימוש בבדיקות המובנות במחברת כדי לוודא שמימוש עצמאי שומר על גדלים ומסכות נכונות.
- חומר עזר להדרכות צוות
הדגמת אופן הפעולה של מקודד ומפענח באמצעות השרטוטים והוויזואליזציות שבקוד.
איפה זה נופל
אם אתם מחפשים קורפוס לאימון מודל שפה, המאגר הזה פשוט לא יעזור לכם. אין בו שום טקסטים, לא בעברית ולא באנגלית, ואי אפשר להעריך עליו ביצועי מודל קיים. בנוסף, המימוש מציג את הטרנספורמר המקורי משנת 2017 ולא כולל חידושים עכשוויים שהפכו לסטנדרט במודלים מודרניים, כמו נורמליזציה מקדימה או קידודי מיקום רוטטיביים. צריך לראות בו כלי עזר לימודי ותשתית להבנה, לא ספריה מוכנה לשימוש מסחרי.
שאלות
נפוצות
האם אפשר לאמן מודל שפה על המאגר הזה?
לא. המאגר אינו מכיל דאטהסט של טקסטים או נתונים לאימון. הוא מכיל רק קוד פייתון שמממש את המודל עצמו, כך שתצטרכו להביא מקור נתונים נפרד כדי להתחיל לאמן.
האם יש במאגר תמיכה בשפה העברית?
הקוד עצמו גנרי לחלוטין ומטפל במזהי מילים וטנזורים בלי תלות בשפה ספציפית. עם זאת, אין במאגר טוקנייזר מוכן או דוגמאות אימון בעברית, ותצטרכו לבנות אותם בעצמכם אם תרצו להריץ מודל על טקסט עברי.
האם מותר להשתמש בקוד בתוך פרויקט מסחרי של החברה?
כן, רישיון MIT מתיר שימוש מסחרי מלא בלי הגבלות על שילוב הקוד במוצרים סגורים. כל מה שנדרש מכם הוא להשאיר את הצהרת הרישיון המקורית בקובצי המקור.
כמה המאגר שוקל ואיך מורידים אותו?
המאגר קטן מאוד ושוקל פחות ממגה בייט בודד, כיוון שיש בו רק מחברת קוד ומסמכי טקסט. מורידים אותו ישירות דרך הדפדפן מעמוד הקבצים בהגינג פייס או בעזרת גיט רגיל למחשב שלכם.
איך טוענים
אין צורך להשתמש בפונקציית טעינת הדאטהסטים הרגילה של הגינג פייס ואין צורך במפתחות גישה. פשוט מורידים את קובץ המחברת ישירות מהמאגר או משכפלים אותו לסביבת העבודה באמצעות גיט. כדי להריץ את הקוד צריך סביבת פייתון סטנדרטית עם ספריית פייתורץ׳ מותקנת, ומספיק מעבד רגיל כי מדובר בבדיקות יחידה וטנזורים קטנים להדגמה.
from datasets import load_dataset
ds = load_dataset("bird-of-paradise/transformer-from-scratch-tutorial")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי בקוד, כולל העתקה, שינוי, שילוב בפרויקטים פרטיים ושימוש מסחרי מלא. הדרישה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד שלכם. אין דרישה לשתף את הקוד שפיתחתם באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש