Phi-3-mini-4k-instruct

מה זה

מדובר במודל שפת צד-שרת קטן עם 3.8 מיליארד פרמטרים, שמיקרוסופט אימנה על שילוב של מידע רשת מסונן מאוד ודאטה סינתטי שנועד ללמד חשיבה לוגית. בגרסת יוני 2024 שלו הוא קיבל שיפור חד בהבנת הוראות, במיוחד בהחזרת פלט מובנה, כשהציון שלו במבחן פלט JSON זינק מ־11.5 ל־52.3, וב־XML מ־14.4 ל־49.8.

התוצאות במבחנים מראות פער ברור ביחס לגודל. במבחן GSM8K שבודק פתרון בעיות במתמטיקה הוא מקבל 85.7, תוצאה שעוקפת מודלים כמו Llama-3-8B ואפילו מתקרבת ל־GPT-3.5-Turbo, למרות שהוא שוקל חצי מהם. הוא מצטיין גם בהבנת קוד פייתון פשוט, אבל מקריב ידע כללי רחב כדי להישאר קל משקל.

מתאים ל

• חילוץ מידע למבנה JSON

  הקפיצה לציון 52.3 במבחני פלט מובנה מאפשרת להשתמש בו לפרסור טקסט ומיפוי שדות ישירות לתוך קוד.

• פתרון בעיות היגיון במכשיר קצה

  הוא מציג ציון 85.7 במתמטיקה למרות גודל של 3.8B, ולכן מתאים למערכות שרצות אופליין על לפטופים.

• בוט שיחה קצר באנגלית

  פורמט השיחה שכולל תמיכה בתגית המערכת עבר כוונון ייעודי לדיאלוגים מרובי שלבים במסגרת 4,096 טוקנים.

איפה זה נופל

החולשה הכי בולטת שלו היא חוסר בידע עובדתי. בגלל הממדים שלו הוא פשוט לא מכיל מספיק זיכרון לעובדות עולם, מה שרואים בבירור בציון הנמוך במבחן TriviaQA של 61.4 לעומת מעל 80 במודלים גדולים יותר. בנוסף, הוא אומן בעיקר על אנגלית וצרפתית ולא מתאים לשימוש בעברית. הידע שלו בקוד מוגבל כמעט רק לפייתון עם ספריות סטנדרטיות, כך שלא כדאי לסמוך עליו בשפות אחרות בלי בדיקה ידנית, וחלון ההקשר קצר מדי לניתוח קבצים שלמים.

אותה משפחה

Phi-3-mini יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המקורי בפורמט bfloat16 תופס 7.1 ג'יגה-בייט, כך שכרטיס מסך בודד עם 12 או 16 ג'יגה זיכרון יחזיק אותו בקלות. מיקרוסופט בדקה אותו על חומרות כמו A100, A6000 ו־H100 עם Flash-Attention, אבל אם יש לכם חומרה ישנה יותר כמו V100 תצטרכו להגדיר מימוש eager. קיימות גם גרסאות מקוונטטות רשמיות בפורמטים ONNX ו־GGUF שמאפשרות להריץ אותו מקומית על מעבדי מחשב רגילים וסלולר.

הגרסה הזו מוגבלת לחלון של 4,096 טוקנים בלבד. אם אתם צריכים לסכם מסמכים ארוכים עדיף לקחת את גרסת ה־128K של אותו המודל, ואם אתם לא רוצים לתחזק שרתים מקומיים, אפשר לפנות אליו ישירות דרך Azure AI Studio.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/Phi-3-mini-4k-instruct")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors2.7 GB
• tokenizer.json1.9 MB
• tokenizer.model499.7 KB
• modeling_phi3.py73.2 KB
• README.md21.7 KB
• model.safetensors.index.json16.5 KB
• configuration_phi3.py11.2 KB
• sample_finetune.py6.4 KB
• data_summary_card.md4.6 KB
• tokenizer_config.json3.4 KB
• SECURITY.md2.7 KB
• NOTICE.md1.8 KB
• .gitattributes1.6 KB
• LICENSE1.1 KB
• config.json967 B
• special_tokens_map.json599 B
• CODE_OF_CONDUCT.md453 B
• added_tokens.json306 B
• generation_config.json181 B

הרישיון

המודל משוחרר ברישיון MIT מלא. זה אומר שמותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים וקוד סגור, לשנות אותו, ולהפיץ אותו חופשי. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים המקורית והסרת אחריות של מיקרוסופט על תוצרי המודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗