unsloth/phi-4-GGUF
קוד פתוחunslothmit2025-01-08
גרסת GGUF של מיקרוסופט שעברה התאמה לארכיטקטורת Llama על ידי Unsloth. היא מציעה חשיבה מתמטית ברמה של מודלים ענקיים, ארוזה בקובץ שמיועד להרצה מקומית יעילה.
- 88.3 GBמשקל הקבצים
- 11,472הורדות בחודש
- 190לייקים
מה זה
מיקרוסופט אימנה מודל של 14 מיליארד פרמטרים על כמות מסיבית של נתונים סינתטיים וספרי לימוד, והצוות של Unsloth המיר אותו לפורמט שמתאים לריצה ישירה דרך llama.cpp, כולל תיקוני באגים שביצעו במבנה המקורי. הפוקוס כאן הוא יכולת ניתוח עמוקה במקום שינון עובדות כלליות.
במבחני חשיבה ומדע המודל מציג תוצאות חריגות לגודל שלו. במבחן GPQA ברמת תארים מתקדמים הוא מגיע לציון 56.1, מעל GPT-4o ודגמים שגדולים ממנו פי חמישה. גם במתמטיקה מורכבת במבחן MATH הוא עומד על 80.4, תוצאה שמקבילה למודלים של 70 מיליארד פרמטרים. מצד שני, במבחני שליפת עובדות כמו SimpleQA הוא קיבל ציון של 3.0 בלבד, מה שמלמד שהוא פותר בעיות מצוין אבל גרוע בלזכור פרטי טריוויה מהעולם.
מתאים ל
- פתרון בעיות מתמטיות
מציג ציון של 80.4 במבחן MATH, תוצאה גבוהה שמתחרה בדגמי 70B ומאפשרת חישובים לוגיים כבדים.
- ניתוח והסבר קוד בפייתון
קיבל 82.6 ב־HumanEval ומותאם במיוחד לספריות הליבה של פייתון ללא צורך במשאבי ענק.
- שאלות היגיון ומדע מתקדם
מתעלה על GPT-4o במבחן GPQA ברמת מדעים מדויקים, מה שהופך אותו לבחירה מעולה לחשיבה תיאורטית.
איפה זה נופל
הכרטיס מדגיש שהמודל מיועד כמעט אך ורק לאנגלית, כשרק שמונה אחוזים מנתוני האימון אינם באנגלית, ולכן ביצועיו בעברית צפויים להיות ירודים ולא אמינים. בנוסף, הוא סובל מהזיות קשות בשאלות ידע כללי עובדתיות כפי שמשתקף בציון 3.0 ב־SimpleQA. בתחום הקוד האימון התמקד בעיקר בפייתון ובספריות בסיסיות כמו typing ו־math, כך שקוד בשפות אחרות או שימוש בחבילות חיצוניות דורש בדיקה קפדנית לפני שילוב במערכת פעילה.
אותה משפחה
phi-4 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם כדאי לבנות עליו צ'אטבוט שירות לקוחות בעברית?
לא. המודל אומן בעיקר באנגלית, ונתונים בשפות אחרות תפסו רק כ־8% מהאימון. הוא יתקשה בהבנת דקויות בעברית ועלול לספק תשובות שגויות או מנוסחות רע.
למה Unsloth שינו את הארכיטקטורה המקורית של מיקרוסופט למבנה של Llama?
ההמרה למבנה של Llama מקלה על ההרצה בכלים סטנדרטיים כמו llama.cpp, מאפשרת אימון עדין ומהיר יותר, ומספקת תיקוני באגים פנימיים שביצעו במימוש המקורי.
איך מריצים
המודל מגיע בגרסאות מכווצות שונות, למשל קובץ phi-4-Q2_K_L.gguf שמריצים ישירות בפקודת שורת פקודה עם llama-cli ושימוש בריבוי ליבות מעבד. המאגר הכולל מכיל 10 קבצים במשקל כולל של 88.3 ג'יגה בייט, אך להרצה בפועל מורידים רק את קובץ ה־GGUF ברמת הקוונטיזציה הרצויה. מודל 14B בכיול טיפוסי דורש כרטיס מסך עם לפחות 12 עד 16 ג'יגה זיכרון כדי לרוץ מהר, או לחלופין מעבד מודרני והרבה זיכרון RAM.
אם אין לכם חומרה ייעודית מקומית ואתם צריכים רק מענה מהיר לבקשות בודדות, עדיף לפנות ל־API ענן. ההרצה המקומית מתאימה בעיקר למי שחייב פרטיות מוחלטת למידע שלו או רוצה לאמן ולדייק את המשקלים בעזרת המחברות הפתוחות של Unsloth.
ollama run hf.co/unsloth/phi-4-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
10 קבצים במאגר, 88.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT מלא. אפשר להשתמש בו ליישומים מסחריים, לשנות את הקוד והמשקלים, להפיץ אותם מחדש ולשלב אותם במוצרים סגורים, בלי תשלום תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית של הפרויקט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש