GPT
הוספת כלי
P

Phi-3-mini-4k-instruct-bnb-4bit

קוד פתוח

unslothmit2024-04-29

  • transformers
  • safetensors
  • mistral
  • text-generation
  • unsloth

גרסה מכווצת בארבעה ביט של מודל קטן וחזק, שמיועדת לאימון והרצה מקומיים בלי לרוקן את התקציב על שרתים. פתרון ישיר למי שרוצה ביצועי הוראות טובים בחומרה צנועה.

  • 3.9Bפרמטרים
  • 4,096טוקנים בהקשר
  • 2.1 GBמשקל הקבצים
  • 7,960הורדות בחודש

מה זה

מדובר בהסבה של המודל של מיקרוסופט לארכיטקטורת MistralForCausalLM עם כימוס של bitsandbytes, שמכווץ את כל הסיפור לנפח של 2.1 גיגה בייט בלבד. עם 3.9 מיליארד פרמטרים, המטרה כאן היא לתת יכולת מעקב אחרי הוראות ויצירת טקסט בלי המשקל הכבד של מודלי שבעה או שמונה מיליארד פרמטרים.

הצוות של unsloth מתמקד בהאצת אימונים וחיסכון בזיכרון, והגרסה הזו בנויה בדיוק כדי שתוכלו לעשות fine-tuning מהיר על כרטיסים פשוטים יחסית. את התוצאה אפשר לייצא אחר כך לפורמטים כמו GGUF או להגיש ישירות ב־vLLM.

מתאים ל

  • אימון מודל על חומרה זולה

    הוא שוקל 2.1 גיגה בלבד ונכנס בלי בעיה לכרטיסי מסך בסיסיים כמו T4 לצורך התאמה אישית.

  • מעקב אחר הוראות באנגלית

    מבנה ה־instruct והמשקל הנמוך מאפשרים להפיק תשובות מדויקות וממוקדות לפקודות קצרות.

  • הרצה מקומית במכשיר קצה

    הכימוס ל־4 ביט מאפשר לייצא אותו ל־GGUF ולהריץ אותו ישירות ללא תלות ברשת חיצונית.

איפה זה נופל

חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, כך שלא תצליחו לדחוף לתוכו מסמכים ארוכים, קבצי קוד מורכבים או היסטוריית שיחה ממושכת בלי לחתוך מידע. מעבר לזה, המודל מוגדר רשמית לשפה האנגלית בלבד, ואין כאן תמיכה מובנית בעברית, מה שידרוש בדיקה קפדנית אם אתם בונים על טקסט מקומי.

אותה משפחה

Phi-3-mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

unsloth/Phi-3-mini-4k-instruct3,478

שאלות
נפוצות

האם אפשר להריץ אותו ישירות עם ספריית transformers רגילה?

עדיף לעקוב אחרי ההנחיה ולהתקין את גרסת הפיתוח מגיטהאב. המודל יושב על ארכיטקטורה של מיסטרל ושינויים שבוצעו בו עלולים ליפול על גרסאות ישנות.

האם הוא מתאים לעיבוד טקסטים ארוכים?

לא. המגבלה עומדת על 4,096 טוקנים לקלט ולפלט יחד, מה שמגביל אותו למשימות ממוקדות וקצרות בלבד.

איך מריצים

בגלל הכימוס והגודל, אפשר להריץ ולאמן אותו אפילו על כרטיס בסיסי כמו Tesla T4 חינמי ב־Colab, מה שהופך את סף הכניסה לאפסי כמעט. כדי לעבוד איתו צריך להתקין את גרסת הפיתוח של transformers ישירות מגיטהאב, כפי שהיוצרים מציינים במפורש.

אם כל מה שאתם צריכים זה רק מענה נקודתי לפרומפטים בלי התאמה אישית של משקלים, סביר להניח שקריאה ל־API של מודל גדול תהיה פשוטה וזולה יותר מתחזוקת שרת. ההרצה העצמית כאן שווה את המאמץ בעיקר כשרוצים לאמן על דאטה פנימי או לחסוך עלויות תעבורה.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/Phi-3-mini-4k-instruct-bnb-4bit")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי קוד, אימון מחדש והפצה של המודל בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗