Phi-4-mini-reasoning-GGUF

קוד פתוח

unslothmit2025-05-01

transformers
gguf
phi3
text-generation
nlp

גרסת GGUF מכווצת של מודל החשיבה הקטן מבית מיקרוסופט, שעבר זיקוק מנתוני דיפסיק. הוא נבנה במיוחד לפתרון בעיות מתמטיות שלב אחר שלב בלי לדרוש שרתים כבדים.

131,072טוקנים בהקשר
57.4 GBמשקל הקבצים
6,540הורדות בחודש
77לייקים

מה זה

מדובר במודל צפוף של 3.8 מיליארד פרמטרים שיועד כמעט כולו למשימות חשיבה מורכבות ומתמטיקה. מיקרוסופט אימנה אותו על נתונים סינתטיים שנלקחו מ־DeepSeek-R1, עם סינון קפדני של פתרונות נכונים בלבד. הוא מגיע עם חלון הקשר של 128 אלף טוקנים ומילון מורחב של מעל 200 אלף טוקנים, מה שמאפשר להזין לו טקסטים ארוכים במיוחד או בעיות מרובות שלבים.

במבחני ביצועים הוא עוקף מודלים גדולים ממנו בהרבה במתמטיקה טהורה. הוא השיג 94.6 במבחן MATH-500 וציון של 57.5 ב־AIME, שזה מעל מודלים מזוקקים של 7 ו־8 מיליארד פרמטרים. המשמעות בשטח היא יכולת לפרק בעיה הנדסית או הוכחה לוגית לשרשרת צעדים מדויקת, בלי לקרוס באמצע הדרך.

מתאים ל

פתרון בעיות מתמטיות
הוא מיועד להוכחות פורמליות, חישובים סימבוליים ופירוק בעיות מורכבות שלב אחר שלב.
מערכות לימוד והדרכה
המשקל הנמוך מאפשר לשלב אותו ביישומי הדרכה מקומיים כדי להסביר תרגילים לתלמידים.
הרצה על חומרת קצה
הוא מציג יכולת לוגית גבוהה בלי לדרוש שרתי ענק, ומתאים למכשירים עם זיכרון מוגבל.

איפה זה נופל

המודל הזה אומן ונבדק אך ורק על פתרון בעיות מתמטיות ולוגיות, והוא לא מתאים למשימות שפה כלליות. בגלל נפח הפרמטרים הקטן הוא כמעט לא מחזיק ידע עובדתי, ונוטה להמציא עובדות אם לא מחברים אותו למנוע חיפוש או למערכת RAG. לפי התיעוד הוא מתקשה במיוחד בשאלות שקשורות לבחירות, מייצר הזיות בשיחות ארוכות, והקוד שהוא יודע לכתוב מוגבל בעיקר לחבילות הבסיסיות של פייתון. בנוסף, הוא נתמך רשמית באנגלית בלבד, כך שבעברית הביצועים צפויים להיות נמוכים באופן משמעותי.

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

הכרטיס מציין תמיכה רשמית באנגלית בלבד. כמו רוב מודלי השפה הוא מסוגל לקרוא מעט שפות אחרות, אבל היכולת הלוגית והדיוק שלו ייפגעו בצורה חדה מחוץ לאנגלית.

האם הוא מתאים לכתיבת קוד של מערכות שלמות?

לא. האימון שלו בקוד מכסה בעיקר סקריפטים בסיסיים בפייתון סביב ספריות מתמטיות כמו math ו־random. הוא לא מיועד לבניית ארכיטקטורת תוכנה או לעבודה מול ספריות צד שלישי מורכבות.

איך מריצים

קובצי ה־GGUF שוקלים בסך הכול 57.4 גיגה־בייט ומחולקים לעשרים ותשעה קבצים בפורמטים שונים. מודל בסיס כזה בגודל 3.8 מיליארד פרמטרים רץ בקלות על מעבד גרפי ביתי פשוט, ולרוב מספיק כרטיס עם 8 עד 12 גיגה־בייט זיכרון כדי להריץ כיול של 4 או 8 ביט.

אפשר להריץ אותו מקומית דרך llama.cpp, Ollama או ספריית unsloth. אם אתם צריכים רק מענה נקודתי מדי פעם בלי לתחזק שרת, שירות ענן כמו Azure AI Studio יחסוך את כאב הראש, אבל לשימוש מקומי קבוע המשאבים הנדרשים כאן נמוכים מאוד.

ollama run hf.co/unsloth/Phi-4-mini-reasoning-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 57.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לשלב אותו במוצרים סגורים ולהפיץ אותו חופשי, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אין כאן מגבלות שימוש עסקיות מיוחדות מעבר לזה.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗