GPT
הוספת כלי
S

Smaug-34B-v0.1

קוד פתוח

abacusaiapache-2.02024-01-25

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסת כוונון עדין למודל בייגל עם 34 מיליארד פרמטרים שנועדה לתת דיוק גבוה במיוחד. המפתחים השתמשו בשיטת אימון חדשה שמונעת בעיות נפוצות בהעדפת תשובות קצרות.

  • 34Bפרמטרים
  • 200,000טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 8,501הורדות בחודש

מה זה

מדובר במודל שנוצר על ידי כוונון עדין ישיר של מודל קודם בשם בייגל, בלי שימוש במיזוג משקלים של מודלים שונים. הייחוד העיקרי כאן הוא שיטת אימון שנקראת די-פי-או-פי, שפותחה כדי לפתור כשל טכני מוכר באימוני העדפה, במיוחד במשימות שבהן ההבדל בניסוח בין התשובה הנכונה לשגויה הוא מזערי, כמו בפתרון בעיות מתמטיקה.

במבחני הביצועים הרשמיים המודל השיג ממוצע של 77.29, עם ציונים בולטים של 86.76 בהלאסוואג ו־72.18 בבחינת החשבון ג'י-אס-אם-אייט-קיי. הנתונים האלה מעידים על יכולת הסקת מסקנות חזקה יחסית לגודלו, לצד ציון של 70.22 במבחן טרות'פול-קיו-איי שמצביע על ניסיון מובנה לצמצם תשובות שגויות.

מתאים ל

  • ניתוח מסמכים ארוכים

    חלון הקשר של 200,000 טוקנים מאפשר להזין תיקי מסמכים שלמים בלי צורך בחלוקה מוקדמת.

  • הסקה לוגית באנגלית

    ציונים גבוהים במבחני עובדות והיגיון הופכים אותו למתאים למערכות שדורשות מענה עובדתי מנומק.

  • בסיס לכוונון פנימי

    רישיון אפאצ'י פתוח מאפשר לאמן אותו הלאה על נתוני ארגון ולהטמיע במוצר סגור.

איפה זה נופל

הנתון הבעייתי ביותר מופיע בבדיקת הזיהום של מבחני הביצועים, שם נרשם ציון זיהום של 0.88 במבחן ג'י-אס-אם-אייט-קיי בהשוואה למודל הבסיס. זה אומר שיש סבירות גבוהה שדוגמאות מתוך המבחן עצמו דלפו לתהליך האימון, ולכן הציונים במתמטיקה עלולים להיות מנופחים לעומת ביצועים על נתונים חדשים לגמרי.

בנוסף, אין בכרטיס שום מידע על תמיכה בשפות אחרות מעבר לאנגלית. אל תבנו עליו לעיבוד טקסטים מורכבים בעברית לפני שבדקתם אותו בפועל.

אותה משפחה

Smaug יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Smaug-72B-v0.18,596

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב פיתוח רגיל?

לא. המודל דורש לפחות 64 ג'יגה-בייט של זיכרון גרפי רק כדי להיטען בזיכרון בדיוק המקורי שלו. תצטרכו שרת עם כרטיסי מסך מקצועיים או גרסאות מכווצות שמישהו אחר ימיר.

האם כדאי להסתמך על תוצאות מבחני המתמטיקה שלו?

רצוי להיזהר. מדד הזיהום מול מאגר ג'י-אס-אם-אייט-קיי עומד על 0.88, מה שרומז שחלק משאלות המבחן נכללו באימון. תבדקו את היכולות החישוביות שלו על בעיות ייעודיות משלכם.

איך מריצים

כדי להריץ אותו במשקל מלא של 64.1 ג'יגה-בייט בפורמט בי-פלואוט16, תצטרכו שרת עם שני כרטיסי מסך של 48 ג'יגה זיכרון לפחות, או כרטיס A100 עם 80 ג'יגה. אם תנסו לנצל את חלון ההקשר העצום שמגיע עד 200,000 טוקנים, דרישות הזיכרון של כרטיסי המסך יזנקו הרבה מעבר למשקל הבסיסי של הקבצים.

למי שאין שרת ייעודי כזה בחברה או גישה לענן מתאים, הרצה מקומית תהיה יקרה וכבדה מאוד. במקרים של עומס עבודה משתנה או ניסויים ראשוניים, עדיף בהרבה לפנות לפתרונות אירוח חיצוניים או שירותי ענן לפי שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="abacusai/Smaug-34B-v0.1")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר ברישיון אפאצ'י 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗