phi-2

מה זה

מיקרוסופט אימנו את המודל הזה על 1.4 טריליון טוקנים, שמשלבים דאטה סינתטי מבוסס GPT-3.5 לצד אתרי אינטרנט מסוננים ממאגרי Falcon RefinedWeb ו־SlimPajama. הדגש כאן הוא על איכות הטקסטים שנכנסו ללמידה ולא על כמות גולמית, מה שמאפשר לו להציג ביצועים שמתחרים במודלים של עד 13 מיליארד פרמטרים במבחני שפה, הבנה והיגיון לוגי.

המודל מגיע כמודל בסיס לחיזוי הטוקן הבא ולא עבר כוונון בעזרת משוב אנושי. הוא יודע לענות על שאלות, לנהל שיחה ולכתוב קוד פייתון פשוט תוך שימוש בספריות סטנדרטיות, אבל סגנון הפלט שלו נוטה להיות אקדמי או אנציקלופדי בגלל חומרי הלימוד. מי שמחפש מנוע קטן למשימות מוגדרות ימצא כאן נקודת פתיחה טובה, כל עוד זוכרים שלא מדובר בצ'אטבוט מלוטש לשימוש מיידי.

מתאים ל

• השלמת קוד פייתון

  מתאים לעבודה עם מודולים סטנדרטיים בפייתון על חומרה מקומית חלשה יחסית.

• מענה לשאלות מובנות

  מייצר פתרונות לוגיים ואנלוגיות במבנה של שאלה ותשובה מוגדרת מראש.

• מחקר בטיחות במודלים

  גודל קומפקטי ללא יישור אנושי שמתאים לבדיקת הטיות ורעילות ישירות מהקופסה.

איפה זה נופל

המודל לא עבר כוונון להוראות מורכבות, ולכן הוא מתקשה לעקוב אחרי הנחיות עדינות ונוטה לפטפט ולהוסיף מלל מיותר מעבר לתשובה המבוקשת. הוא אומן בעיקר על אנגלית תקנית, כך שסלנג ושפות אחרות, כולל עברית, יובילו לטעויות הבנה. תחום הקוד מוגבל כמעט רק לפייתון ולספריות בסיסיות, ובנוסף קיימת סכנה לפליטת מידע שגוי, הטיות חברתיות או תוכן פוגעני בהינתן פקודה מתאימה. חלון ההקשר עומד על 2,048 טוקנים בלבד, מה שחוסם עיבוד של מסמכים ארוכים.

איך מריצים

המודל שוקל 5.2 גיגה בייט בפורמט float16, כך שהוא נכנס בקלות לכרטיס מסך ביתי בודד עם 8 עד 12 גיגה זיכרון. בספריית transformers יש תמיכה מובנית מגרסה 4.37.0 ומעלה, וגרסאות ישנות יותר דורשות הפעלה מפורשת של הרצת קוד מרוחק. יש לשים לב לבעיית גלישת זיכרון בחישובי תשומת לב בדיוק FP16, שלעיתים מחייבת שינוי בהגדרות ה־autocast של פונקציית הקשב.

אם אתם צריכים רק מדי פעם פלט טקסט או שאין לכם כרטיס מסך מקומי זמין, עדיף לפנות ל־API חיצוני שמארח אותו. הרצה עצמית משתלמת ברגע שרוצים פרטיות מלאה או אינטגרציה ישירה במכשיר קצה.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/phi-2")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 5.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors563.8 MB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• model.safetensors.index.json35.7 KB
• README.md7.9 KB
• tokenizer_config.json7.3 KB
• data_summary_card.md3.9 KB
• SECURITY.md2.7 KB
• NOTICE.md1.8 KB
• .gitattributes1.5 KB
• LICENSE1.1 KB
• added_tokens.json1.1 KB
• config.json735 B
• CODE_OF_CONDUCT.md444 B
• generation_config.json124 B
• special_tokens_map.json99 B

הרישיון

רישיון MIT פתוח לחלוטין ומתיר שימוש מסחרי, שינוי קוד והפצה בלי תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של מיקרוסופט בקוד המקור. מותר לשלב אותו ישירות בתוך מוצר מסחרי, אך הסימנים המסחריים של מיקרוסופט נשארים מוגנים ואסור להשתמש בשמם לצורכי שיווק או כמתן חסות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗