mistral-7b-instruct-v0.3-bnb-4bit
קוד פתוחunslothapache-2.02024-05-22
גרסה מכווצת בארבעה ביטים של מיסטרל בהוראות שנועדה לאימון והרצה מהירים. היא חוסכת משאבי זיכרון רציניים ונכנסת בלי בעיה לכרטיסי מסך בסיסיים.
- 7.5Bפרמטרים
- 32,768טוקנים בהקשר
- 3.9 GBמשקל הקבצים
- 25,610הורדות בחודש
מה זה
מדובר במודל שפה של שבעה וחצי מיליארד פרמטרים בגרסה שלוש, שכבר עבר כיול עדין לפקודות וכווץ מראש באמצעות BitsAndBytes. המטרה של המפרסמים פה ברורה, לחסוך לכם את ההתעסקות הטכנית עם כימות המודל ולאפשר אימון מהיר ישירות מהקופסה.
לפי נתוני הבדיקה של אנלוט, העבודה עם המודל הזה מהירה פי 2.2 וצורכת שישים ושניים אחוזים פחות זיכרון בהשוואה לתהליך רגיל. זה הבדל מהותי, כי הוא מאפשר לאמן או להריץ מודל עם חלון הקשר של שלושים ושניים אלף טוקנים על גבי כרטיסי מסך פשוטים, בלי להתרסק על חוסר בזיכרון גרפי.
מתאים ל
- אימון מקומי בתקציב נמוך
הוא צורך 62% פחות זיכרון, מה שמאפשר כוונון עדין על מעבדי GPU זולים או חינמיים.
- עיבוד טקסטים ארוכים
תמיכה בחלון של 32,768 טוקנים מתאימה לקריאת מסמכים כבדים באנגלית.
- בוט שיחה ייעודי באנגלית
המודל עבר אימון להוראות ומותאם לתבניות שיחה מבוססות ShareGPT.
איפה זה נופל
המודל מוגדר רשמית לשפה האנגלית בלבד, כך שלא הייתי בונה עליו ליישומים בעברית בלי בדיקה מעמיקה או אימון ממוקד. בנוסף, מודלים של שבעה מיליארד פרמטרים מכווצים נוטים להמציא עובדות בקלות רבה יותר ממודלים ענקיים, ולכן חובה להצליב נתונים במשימות קריטיות.
שאלות
נפוצות
האם המודל מתאים לעבודה עם טקסטים בעברית?
הכרטיס מציין תמיכה באנגלית בלבד. מודלים מהסדרה הזו מסוגלים לעיתים לפלוט עברית בסיסית, אבל לרוב התחביר פגום והתוצאות אינן אמינות לשימוש רציני בלי אימון ייעודי.
איזה כרטיס מסך מינימלי צריך כדי להריץ אותו?
הקבצים שוקלים פחות מארבעה גיגה בייט. כרטיס מסך פשוט עם שמונה עד שישה עשר גיגה זיכרון, כמו טי ארבע, יספיק לגמרי להרצה ואפילו לאימון קל.
איך מריצים
המשקל הכולל של הקבצים הוא שלושה נקודה תשעה גיגה בייט בלבד. בזכות הכיווץ לארבעה ביטים, אפשר להריץ ולאמן אותו על כרטיס בסיסי כמו טסלה טי ארבע החינמי בקולאב, בלי להשקיע בחומרה מקצועית ויקרה.
מריצים אותו דרך ספריית הטרנספורמרס או ישירות עם הקוד של אנלוט. אם אתם רק צריכים מענה לכמה שאלות בודדות ביום ולא מתכננים אימון על נתונים משלכם, עדיף להשתמש בנקודת קצה מנוהלת של ספק חיצוני במקום להחזיק שרת דלוק.
from transformers import pipeline
pipe = pipeline("text-generation", model="unsloth/mistral-7b-instruct-v0.3-bnb-4bit")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 3.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים מלאים, לשנות אותו, להפיץ אותו ולהטמיע בתוך מוצרים סגורים, כל עוד שומרים על הודעת הרישיון המקורית והקרדיט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים