unsloth/Phi-3-mini-4k-instruct

מה זה

מדובר בהתאמה של המודל הקטן למבנה של MistralForCausalLM. המטרה של ההמרה הזו היא לאפשר הרצה ואימון מהירים בכלים סטנדרטיים בלי להיתקל בבעיות תאימות שאפיינו את המבנה המקורי. המודל מחזיק 3.8 מיליארד פרמטרים, גודל שמציע פשרה הגיונית בין ביצועי שפה ובין דרישות זיכרון נמוכות.

לפי הנתונים של אנסלות', תהליך האימון של הדגם הזה מהיר פי שניים וחוסך חמישים אחוז מצריכת הזיכרון בהשוואה להרצה רגילה. המשמעות בפועל היא יכולת לבצע כוונון עדין על גבי כרטיסי מסך בסיסיים, במקום להזדקק לשרתים יקרים. המודל מכוון למשימות שיחה ומענה להוראות, ומגיע עם חלון הקשר של 4,096 טוקנים שמתאים לרוב משימות הטקסט הקצרות והבינוניות.

מתאים ל

• אימון מקומי חסכוני

  מתאים לכוונון על נתונים פרטיים בתוך סביבות מוגבלות זיכרון כמו כרטיס T4 יחיד.

• עוזר שיחה ומענה להוראות

  מבנה ההוראות והגודל הקומפקטי מאפשרים מענה מהיר באנגלית למשימות טקסט מוגדרות.

• עיבוד טקסטים קצרים

  טוב למיצוי מידע וסיווג של פסקאות בודדות שנכנסות בתוך מגבלת ארבעת אלפים הטוקנים.

איפה זה נופל

ההקשר מוגבל ל־4,096 טוקנים בלבד. מסמכים ארוכים, קבצי קוד כבדים או שיחות מתמשכות פשוט ייחתכו ולא ייכנסו פה. מעבר לזה, המודל אומן והוגדר עבור השפה האנגלית בלבד, כך שלא כדאי לבנות עליו לפרויקטים בעברית או תרגום מקומי בלי לבדוק קודם איך הוא מתמודד עם השפה.

בנוסף, הכרטיס מציג בעיקר כוונון של תהליך האימון ומחייב התקנה של גרסת פיתוח מגיטהאב, מה שעלול לייצר תקלות יציבות במערכות ייצור. אין בכרטיס מבחני ביצועים שמראים דיוק מול מודלים אחרים, ולכן תצטרכו לבדוק בעצמכם את איכות התשובות וההזיות לפני הטמעה.

אותה משפחה

Phi-3-mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־7.1 גיגה בייט בדיוק bfloat16, כך שכרטיס מסך בודד עם 8 עד 16 גיגה זיכרון יספיק לחלוטין לצורך הסקת מסקנות. הדף כולל מחברת עבודה ייעודית שרצה על גבי מעבד גרפי מסוג Tesla T4, ולכן אפשר לבצע כוונון עדין ישירות בסביבות חינמיות בלי להקים תשתית עצמאית.

כדי לעבוד איתו צריך להתקין את גרסת הפיתוח של ספריית transformers ישירות מגיטהאב. אם אתם צריכים רק מענה מהיר לבקשות בודדות ולא מתכוונים לאמן אותו על דאטה פנימי, עדיף להשתמש בשרותי ענן קיימים ולא להחזיק שרת דלוק.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/Phi-3-mini-4k-instruct")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors2.7 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json23.9 KB
• README.md3.8 KB
• tokenizer_config.json3.3 KB
• .gitattributes1.5 KB
• config.json724 B
• special_tokens_map.json458 B
• added_tokens.json293 B
• generation_config.json194 B

הרישיון

הפרויקט מופץ תחת רישיון mit. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקולות, הפצה ושילוב בתוך מוצרים סגורים, בלי דרישה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗