transformer_calculator
רץ בדפדפןderek-thomasopenrail2024-09-13
מחשבון שנועד למהנדסי למידה עמוקה שרוצים להעריך משאבי חומרה למודלי שפה. מזינים שם מודל מובנה או פרמטרים ידניים, ומקבלים חישובי זיכרון, כמות פרמטרים וחישובי צף.
- —הורדות בחודש
- 36לייקים
מה זה
אתם מזינים שם של מודל מתוך Hugging Face או מגדירים ידנית את גודל השכבות, ממדי הזיכרון, גודל המילון ואורך הרצף. המערכת מושכת את נתוני המודל דרך AutoConfig בקוד, ומאפשרת לכוונן ערכים נוספים כמו יחס ההרחבה ברשתות, מספר ראשי הקשב, ופרמטרים של מודלי תערובת מומחים הכוללים כמות מומחים וחלוקת המשימות ביניהם.
הממשק מחולק לשלוש לשוניות נפרדות, אחת לכל סוג בדיקה. לשונית זיכרון מחשבת את הנפח הנדרש בכרטיסי מסך לפי הגדרות מקביליות, גודל אצווה ודיוק מעורב. הלשונית השנייה מחשבת את סך הפרמטרים במודל, והשלישית מחשבת את פעולות הנקודה הצפה הדרושות לאימון או להסקה ומחזירה מבנה נתונים מפורט על המאמץ החישובי.
מתאים ל
- תכנון חומרה לאימון
חישוב כמות הזיכרון הנדרשת בכרטיסי מסך לפי מספר כרטיסים, גודל אצווה ומקביליות.
- ספירת פרמטרים למודל
בדיקת נפח הפרמטרים הכולל של ארכיטקטורת שנאי, כולל תמיכה במודלי תערובת מומחים.
- אומדן פעולות צף להסקה
הערכת כמות ה־FLOPs הנדרשת לעיבוד טוקנים בהרצת המודל מול גדלי אצווה שונים.
איפה זה נופל
זהו מחשבון תאורטי בלבד ולא סביבת הרצה, כך שהוא לא מייצר טקסט ולא בודק ביצועים בפועל. החישובים מבוססים על קונפיגורציות ונוסחאות מתמטיות, ולכן עשויים לפספס צווארי בקבוק אמיתיים בחומרה, תקשורת רשת או תקורה ספציפית של ספריות אימון. בנוסף, מודל שלא ניתן לטעון את הגדרותיו או ארכיטקטורה לא סטנדרטית יגרמו לשגיאה במשיכת הנתונים.
שאלות
נפוצות
האם הכלי הזה מריץ את המודל בפועל?
לא, אין כאן הרצה של שום מודל שפה. מדובר במחשבון שמבצע נוסחאות מתמטיות על בסיס קובץ ההגדרות של המודל. התוצאה היא הערכה תאורטית של זיכרון וכוח עיבוד, ולא פלט של טקסט.
כמה עולה להשתמש במחשבון?
הכלי חינמי לחלוטין ואין בו תשלום או מנוי. הוא רץ על סביבת מעבד בסיסית וזמין כקוד פתוח. אם תרצו להריץ אותו כשהוא מושהה, תצטרכו להפעיל או לשכפל אותו בחשבון שלכם.
מה קורה עם המידע או המודלים שאני מזין?
אתם לא מעלים קבצים כבדים או נתונים פרטיים אלא מזינים שמות מודלים פתוחים או מספרים. המערכת רק פונה להוריד את קובץ התצורה הציבורי. שום מידע אישי שלכם לא מעובד או נשמר במערכת.
אפשר להריץ את הקוד באופן מקומי במחשב?
כן, הקוד כתוב בפייתון ומשתמש בספריית Gradio הפתוחה. אפשר להוריד את הקבצים ולהפעיל אותם מקומית בכל סביבה שתומכת בספריות הדרושות. אין תלות בחומרה מיוחדת או בכרטיסי מסך יקרים.
איך משתמשים
בוחרים לשונית, מקלידים שם מודל או מזינים את המספרים בתיבות הקלט, ולוחצים על כפתור החישוב המתאים. החישוב הוא מתמטי טהור ומתבצע על מעבד רגיל, כך שהוא לוקח שניות בודדות ולא דורש הרצה של המודל עצמו. כרגע העמוד במצב מושהה, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל מחדש את הסביבה או לשכפל את הקוד.
הרישיון
הפרויקט מפורסם ברישיון openrail. הרישיון מאפשר שימוש חופשי בקוד ובממשק, אך כולל מגבלות שימוש אתיות ואוסר על ניצול המודלים והחישובים למטרות פוגעניות או אסורות. המידע שתזינו לא נשמר במאגר ציבורי.
- שימוש מסחרי
- שינוי הקוד
- מגבלות שימוש ברישיון