Phi-3-medium-4k-instruct

מה זה

מיקרוסופט אימנה כאן מודל שמבוסס בעיקר על נתונים סינתטיים מובחרים במבנה ספרי לימוד וטקסטים מסוננים היטב מהרשת, סך הכול 4.8 טריליון טוקנים. הרעיון היה לסנן בכוונה מידע עובדתי שטוח, כמו תוצאות משחקי כדורגל, כדי לפנות את קיבולת הפרמטרים להסקה לוגית, קוד ומתמטיקה.

במדדי ההיגיון והחישוב הוא מציג תוצאות גבוהות מאוד. במבחן המתמטיקה GSM8K הוא מקבל 91.0, ציון שעוקף מודלים גדולים ממנו כמו Command R פלוס ומתקרב למודלים של שבעים מיליארד. עם זאת, התוצאה שלו במבחן הידע העובדתי עומדת על 48.3 בלבד, נמוך יותר מרוב המתחרים שנבדקו מולו. זה אומר שהוא מצטיין בלפתור בעיות מורכבות, אבל לא ישמש תחליף לאנציקלופדיה.

מתאים ל

• פתרון בעיות מתמטיות

  מציג ציון גבוה של 91 ב־GSM8K, מה שמבטיח פירוק מדויק של שאלות חישוביות מורכבות.

• סיווג והסקת מסקנות לוגיות

  האימון התמקד בצפיפות לוגית, ולכן הוא מזהה דפוסים ומשמעויות מתוך טקסטים קצרים בדיוק רב.

• כתיבת סקריפטים בפייתון

  אידאלי לאוטומציות פשוטות שנשענות על הספריות המובנות של השפה, שם מירב האימון שלו.

איפה זה נופל

התורפה המרכזית היא ידע כללי ועובדות. מאחר שהאימון סינן מידע כזה במכוון, הוא נוטה לפברק פרטים או לתת מידע לא מעודכן מעבר למועד הניתוק באוקטובר 2023. הוא גם פחות מתאים לשפות שאינן אנגלית, שכן רק עשרה אחוזים מחומרי האימון היו רב־לשוניים והעברית שלו צפויה להיות חלשה.

בנוסף, יצירת הקוד שלו נשענת בעיקר על פייתון עם ספריות סטנדרטיות. שימוש בספריות חיצוניות או שפות פיתוח אחרות מייצר שגיאות ומחייב בדיקה ידנית קפדנית.

אותה משפחה

Phi-3-medium יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הגולמי בדיוק המקורי תופס 26 גיגה בייט, ובברירת המחדל שלו הוא משתמש בטכנולוגיית פלאש אטנשן שנבדקה על כרטיסי שרת כמו A100, A6000 ו־H100. אם תרצו להריץ אותו מקומית על כרטיס ביתי, תצטרכו גרסאות מכווצות של ONNX בפורמט של ארבעה ביט, שזמינות גם לריצה על מעבדים רגילים או בסביבת ווינדוס עם DirectML.

קיימת למודל הזה גרסה נוספת עם חלון של 128 אלף טוקנים. אם הצורך שלכם הוא עיבוד מסמכים ארוכים או קבצים כבדים, הגרסה הנוכחית של 4,096 טוקנים תגביל אתכם מהר מאוד ועדיף לפנות לגרסה הרחבה, או לחלופין לצרוך אותו דרך הענן של מיקרוסופט אם אין לכם חומרה ייעודית מתאימה.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/Phi-3-medium-4k-instruct")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 26.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00006.safetensors5.0 GB
• model-00001-of-00006.safetensors4.9 GB
• model-00003-of-00006.safetensors4.9 GB
• model-00004-of-00006.safetensors4.8 GB
• model-00005-of-00006.safetensors4.8 GB
• model-00006-of-00006.safetensors3.6 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• modeling_phi3.py73.9 KB
• model.safetensors.index.json20.4 KB
• README.md19.3 KB
• configuration_phi3.py10.4 KB
• sample_finetune.py6.2 KB
• data_summary_card.md4.6 KB
• tokenizer_config.json3.2 KB
• SECURITY.md2.7 KB
• NOTICE.md1.8 KB
• .gitattributes1.5 KB
• LICENSE1.1 KB
• config.json934 B
• special_tokens_map.json568 B
• CODE_OF_CONDUCT.md444 B
• added_tokens.json293 B
• generation_config.json172 B

הרישיון

הרישיון הוא MIT, שזה הרישיון הכי פתוח ונוח שיש. אפשר לקחת את המשקלים, להטמיע אותם במוצר מסחרי, למכור שירות סביבו, לשנות אותו או לאמן עליו בלי לשלם תמלוגים ובלי לפתוח את הקוד שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗