Minitron-8B-Base
קוד פתוחnvidiaother2024-07-19
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
גרסת שמונה מיליארד פרמטרים שנוצרה מדחיסה וזיקוק של מודל גדול יותר. מתאים למי שרוצה משקל קל יחסית ששומר על יכולות סבירות בלי לאמן מאפס.
- 4,096טוקנים בהקשר
- 30.8 GBמשקל הקבצים
- 4,313הורדות בחודש
- 71לייקים
מה זה
הפיתוח הזה מבוסס על חיתוך של מודל נמוטרון 15B המקורי של אנבידיה ולא על אימון רגיל. החוקרים קיצצו שכבות, ראשי קשב וממדים פנימיים, ואז העבירו את המשקלים תהליך זיקוק מול 94 מיליארד טוקנים כדי לפצות על הפגיעה בביצועים.
במבחני השוואה הוא מציג ציון של 64.5 ב־MMLU וציון של 31.6 ב־HumanEval לכתיבת קוד. אלה מספרים דומים למדי למה שתקבלו ממודלים פתוחים אחרים בקטגוריה כמו מיסטרל או למה 3, אבל עם ארכיטקטורה שנועדה להוכיח יעילות דחיסה ולא בהכרח לשבור שיאי דיוק חדשים.
מתאים ל
- מחקר על דחיסת מודלים
בסיס מעולה להבנת טכניקות חיתוך וזיקוק ידע ממודל מקור גדול בלי לשלם על אימון מלא.
- בסיס לאימון משימתי באנגלית
מתאים לכוונון עדין על משימות ספציפיות שדורשות גודל קומפקטי ומשאבי מחשוב מוגבלים.
- ניסויי יצירת טקסט מקומיים
טוב להשלמת טקסט חופשית בסביבות פיתוח מבודדות עם חומרת אנבידיה ייעודית.
איפה זה נופל
זה מודל בסיס שלא עבר אימון הנחיות מסודר לצ'אט, והכרטיס מגדיר אותו מפורשות למחקר ופיתוח בלבד. הנתונים שלו נחתכו ביוני 2023, כך שכל מה שקרה מאז פשוט לא קיים אצלו. חלון ההקשר קצר מאוד ועומד על 4,096 טוקנים בלבד, מה שמגביל עבודה עם מסמכים ארוכים.
בנוסף, אנבידיה מזהירה ישירות מפני פליטה של תוכן פוגעני, הטיות חברתיות, חזרתיות ותשובות שגויות לגמרי. בלי שכבת יישור והתאמה נוספת, לא הייתי מציג את הפלט שלו למשתמשי קצה.
אותה משפחה
Minitron יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם הוא מבין ומייצר עברית?
האימון שלו מוגדר בעיקר לאנגלית עם מעט תוכן רב לשוני, כך שהוא לא מיועד לעבודה שוטפת בעברית. אפשר לצפות לשגיאות תחביר והזיות אם תנסו לפנות אליו בשפה שאינה אנגלית.
האם אפשר להשתמש בו ישירות כבוט שיחה?
לא. מדובר במודל בסיס שמשלים טקסט ולא במודל שעבר התאמה לשיחה (Instruct). כדי לנהל איתו דיאלוג תצטרכו להלביש עליו שכבת פרומפטים מורכבת או לאמן אותו קודם על דאטה של שאלות ותשובות.
איך מריצים
כדי להריץ אותו מקומית בפורמט המקורי צריך להוריד כמעט שלושים ואחד ג'יגה בייט של קבצים ולהחזיק כרטיס מסך רציני עם לפחות עשרים וארבעה ג'יגה זיכרון וידאו, כמו A100 או מקבילים חזקים. ההרצה דורשת התקנה של ספריית הטרנספורמרס ישירות מהגיטהאב כדי לקבל תמיכה בארכיטקטורה שלו.
אם אתם מחפשים משהו שפשוט עובד בלי לנהל תלויות קוד או שאין לכם כרטיס תואם עם תמיכה ב־bfloat16, עדיף להשתמש במודלים מבוססים יותר שיש להם כבר שירותי ענן מוכנים.
from transformers import pipeline
pipe = pipeline("text-generation", model="nvidia/Minitron-8B-Base")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 30.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ תחת רישיון המודלים הפתוח של אנבידיה מחודש יוני 2024, שמוגדר כרישיון מותאם אישית. בכרטיס המודל נכתב בפירוש שהוא מיועד למחקר ופיתוח בלבד, כך שלא תוכלו לקחת אותו ולהטמיע ישירות בתוך מוצר מסחרי בלי בדיקה מעמיקה של תנאי ההסכם.