phi-4-GGUF
קוד פתוחlmstudio-communitymit2025-01-08
גרסת GGUF של המודל מבית מיקרוסופט, מותאמת להרצה מקומית דרך llama.cpp. היא מציעה שילוב של אימון רחב היקף עם חלון הקשר סביר למי שרוצה עצמאות בלי ענן.
- 41.5 GBמשקל הקבצים
- 12,406הורדות בחודש
- 56לייקים
מה זה
מדובר במודל טקסט של מיקרוסופט שהוסב לפורמט GGUF על ידי bartowski בעזרת גרסה b4456 של llama.cpp, ופורסם בחשבון הקהילה של LM Studio. המודל עבר אימון על 9.8 טריליון טוקנים, שכללו שילוב של דאטה סינתטי, אתרי אינטרנט מסוננים מנחלת הכלל, ספרים אקדמיים ומאגרי שאלות ותשובות.
הוא מגיע עם תמיכה באורך הקשר של 16k טוקנים, מה שנותן מספיק מקום לקרוא מסמכים שלמים או היסטוריית שיחה ארוכה בלי להיחנק. המבנה שלו מיועד להפקת טקסט ומענה על שאלות שמבוססות על ידע מעמיק, בעיקר בזכות הדגש על מקורות אקדמיים בזמן האימון.
מתאים ל
- מענה על שאלות באנגלית
הוא אומן על מאגרי שאלות ותשובות ייעודיים וספרים אקדמיים באנגלית.
- ניתוח מסמכים בינוניים
תמיכה ב 16k טוקנים של הקשר מתאימה לעיבוד טקסטים ארוכים בלי ענן.
- הרצה מקומית מאובטחת
הסבה לפורמט GGUF מאפשרת לטעון אותו ישירות למערכת מבודדת.
איפה זה נופל
המודל הוגדר ונתמך עבור השפה האנגלית בלבד, כך שלא הייתי בונה עליו לעיבוד או יצירה של תוכן בעברית. בנוסף, כרטיס המודל מזהיר מראש שהוא עלול לייצר מידע לא מדויק, מטעה או פוגעני, ללא שום אחריות מצד המפרסמים. חייבים לבדוק היטב את הפלטים שלו בנושאים עובדתיים לפני שמחברים אותו למערכת פעילה.
שאלות
נפוצות
האם אפשר לעבוד איתו בעברית?
המודל מוגדר רשמית עבור אנגלית בלבד. הוא לא אומן לעברית, ולכן לא מומלץ להסתמך עליו לפרויקטים מקומיים.
האם מותר להכניס אותו למוצר מסחרי של החברה?
כן, רישיון MIT מתיר שימוש מסחרי חופשי לחלוטין. התנאי היחיד הוא שמירת קרדיט והודעת הרישיון המקורית.
איך מריצים
המודל מגיע בשישה קבצים ששוקלים יחד 41.5 גיגה בייט, כך שתצטרכו שטח אחסון פנוי וזיכרון עבודה משמעותי כדי לטעון אותו מקומית. הוא בנוי להרצה דרך llama.cpp וכלים תואמים כמו LM Studio, שמאפשרים להפעיל אותו ישירות על המעבד או כרטיס המסך.
אם אין לכם חומרה חזקה עם מספיק זיכרון להחזיק קבצים בגודל כזה, ההרצה המקומית תהיה איטית מאוד עד בלתי אפשרית. במקרה כזה, עדיף להשתמש בפתרון ענן מרוחק במקום להשבית את המחשב שלכם.
ollama run hf.co/lmstudio-community/phi-4-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 41.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT, מה שאומר שיש לכם חופש מלא. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לשלב אותו בתוך תוכנה סגורה ולהפיץ אותו ללקוחות, כל עוד משאירים את הצהרת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש