GPT
הוספת כלי
P

phi-4-unsloth-bnb-4bit

קוד פתוח

unslothmit2025-01-08

  • transformers
  • safetensors
  • llama
  • text-generation
  • phi

גרסה מכווצת של Phi-4 שמאפשרת להריץ יכולות חשיבה ומתמטיקה ברמה גבוהה מאוד על חומרה מקומית נגישה, בלי להסתמך על שרתים של חברות ענק.

  • 15Bפרמטרים
  • 16,384טוקנים בהקשר
  • 9.7 GBמשקל הקבצים
  • 5,995הורדות בחודש

מה זה

מדובר במודל שמיקרוסופט אימנה על 9.8 טריליון טוקנים עם דגש חזק על דאטה סינתטי איכותי וספרי לימוד, וכאן Unsloth המירו אותו לארכיטקטורת Llama וארזו בכימות של 4 ביט. המטרה הברורה היא להוציא מקסימום יכולת הסקה מגודל של 15 מיליארד פרמטרים.

במבחני ביצועים הוא עוקף מודלים גדולים ממנו בהרבה במשימות מסוימות. במבחן GPQA למדעים הוא מגיע לציון 56.1, מעל מודלים כמו Llama 3.3 של 70 מיליארד פרמטרים. במתמטיקה תחרותית במבחן MATH הוא מגרד את הציון 80.4, תוצאה חריגה לגודל הזה שמקבילה למודלים מסחריים סגורים.

מתאים ל

  • פתרון בעיות מתמטיקה ולוגיקה

    התוצאה שלו במבחן MATH עומדת על 80.4, רמה שמתחרה ישירות במודלים ענקיים.

  • אימון מקומי על חומרה זולה

    משקל של 9.7 גיגה מאפשר לבצע כוונון על כרטיס T4 בודד בלי תקציב ענן כבד.

  • ניתוח טקסטים ומדע באנגלית

    הוא מציג ציון חזק של 56.1 במבחן GPQA המיועד לשאלות מדע מורכבות.

איפה זה נופל

המודל הזה גרוע בעובדות יבשות. במבחן SimpleQA הוא קיבל ציון של 3.0 בלבד, שזה נמוך משמעותית כמעט מכל מתחרה, ולכן אסור להשתמש בו כמקור ידע כללי בלי מערכת שליפת מידע חיצונית. בנוסף, האימון התמקד כמעט כולו באנגלית. רק 8 אחוזים מהדאטה היו בשפות אחרות, והכרטיס מציין במפורש שהוא לא מיועד לשימוש רב לשוני, כך שאל תבנו עליו לעבודה בעברית. גם בקוד הוא מוגבל בעיקר לפייתון פשוט, ובספריות מורכבות יותר הוא נוטה לטעות.

שאלות
נפוצות

האם המודל מתאים ליישומים בעברית?

לא. רק 8 אחוזים מנתוני האימון היו בשפות שאינן אנגלית, והיוצרים כותבים במפורש שהמודל לא מיועד לעבודה רב לשונית. בעברית תקבלו הזיות או תחביר שבור.

במה הגרסה הזו שונה מהגרסה הרשמית של מיקרוסופט?

המודל המקורי דורש משאבים כבדים יותר, וכאן Unsloth כימתו אותו ל־4 ביט והמירו את המבנה לארכיטקטורת Llama. זה מאפשר להריץ ולאמן אותו מהר יותר ועל כרטיסי מסך קטנים בהרבה.

אפשר לסמוך עליו שיענה על שאלות טריוויה ועובדות?

ממש לא. המודל השיג תוצאה נמוכה במיוחד של 3.0 במבחן SimpleQA, מה שאומר שהוא ממציא תשובות כששואלים אותו על עובדות יבשות. אם צריך עובדות, חובה להצמיד לו מנגנון RAG.

איך מריצים

המשקל הכולל של הקבצים עומד על 9.7 גיגה בייט, כך שאפשר להריץ אותו ישירות על כרטיס מסך ביתי בודד עם 12 או 16 גיגה בייט זיכרון בלי להתאמץ, למשל בסביבת גוגל קולאב חינמית עם כרטיס T4. הוא מתאים למי שרוצה לעשות אימון נוסף בזול, כש־Unsloth מדווחים על חצי מצריכת הזיכרון ומהירות כפולה באימון.

אם כל מה שאתם צריכים זה שאלות כלליות מדי פעם, עדיף לפנות ל־API מסחרי. ההתקנה העצמית משתלמת רק כשחייבים פרטיות מלאה לדאטה, כשרוצים לאמן את המודל על נתונים פנימיים, או כשיש תעבורה קבועה שמצדיקה שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/phi-4-unsloth-bnb-4bit")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 9.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, אחד הרישיונות הכי מתירניים שיש בקוד פתוח. מותר לקחת את המשקלים, לשנות אותם, לאמן עליהם, ולהטמיע אותם בתוך מוצר מסחרי סגור בלי לשלם תמלוגים ובלי לפתוח את הקוד שלכם, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗