Phi-3-vision-128k-instruct

מה זה

מיקרוסופט ארזה כאן מודל רב מודלי של 4.1 מיליארד פרמטרים שמשלב מקודד תמונה יחד עם שפת הבסיס של סדרת פאי 3. הוא נבנה לעיבוד משולב של תמונות וטקסט, בעיקר למשימות של פענוח מסמכים סרוקים, שאלות ותשובות על תרשימים והבנת טבלאות מורכבות.

במבחני ביצועים מול מודלים גדולים ממנו כמו לאמה 3 מבוסס ראייה או מודלים קנייניים, הוא מציג תוצאות מפתיעות. בבדיקות של קריאת תרשימים וגרפים כמו צ'ארט קיו איי הוא הגיע לציון של 81.4 נקודות, גבוה יותר ממודלים ענקיים כמו ג'יפיטי 4 וי. ההישג הזה מגיע מאימון ייעודי על נתונים סינתטיים וספרי לימוד ויזואליים שמיקרוסופט יצרה עבורו.

מתאים ל

• חילוץ מידע מגרפים

  מפענח צירים, מקראות ומספרים מתוך תמונות של גרפים ברמת דיוק שמנצחת מודלים כבדים בהרבה.

• ניתוח טפסים ומסמכים

  קריאת טקסט וטבלאות סרוקות באנגלית והמרת המבנה הנתון לתשובות מדויקות.

• הרצה מקומית על שרת יחיד

  בזכות גודל של 4.1 מיליארד פרמטרים אפשר לעבד מסמכים מאובטחים בתוך הרשת הפנימית בלי שירותי ענן חיצוניים.

איפה זה נופל

המודל מותאם בעיקר לקלט של תמונה בודדת בכל שיחה, ולא בנוי היטב להשוואה בין מספר תמונות ברצף. האימון התמקד באנגלית בלבד, כך שהביצועים בעברית או בשפות אחרות ירודים משמעותית ולא מתאימים לעבודה רצינית. בנוסף, קוד מוגבל בעיקר לספריות פייתון בסיסיות, ויש לו נטייה לייצר הזיות על עובדות ישנות כי בסיס הנתונים שלו נחתך במרץ 2024.

איך מריצים

כדי להריץ אותו צריך פייתון עם ספריית טרנספורמרס, פייטורץ' ותמיכה בפלאש אטנשן. המשקלים שוקלים כמעט שמונה גיגהבייט בדיוק של ביפלוט 16, כך שכרטיס מסך בודד עם 16 גיגה זיכרון וידאו יספיק לטעינה בסיסית. מיקרוסופט בדקה אותו על חומרות כמו איי 100, איי 6000 ואייץ' 100 בגלל דרישות הקשב המהיר.

אם אתם לא רוצים לנהל תשתית כרטיסי מסך יקרה בענן או מקומית, הוא זמין ישירות בתוך שירותי אז'ור של מיקרוסופט דרך קריאות ממשק. יש גרסאות נוספות בפורמט אונקס שמיועדות להאצה על חומרה תואמת.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/Phi-3-vision-128k-instruct")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 7.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors4.9 GB
• model-00002-of-00002.safetensors3.3 GB
• tokenizer.json1.9 MB
• modeling_phi3_v.py75.4 KB
• model.safetensors.index.json68.9 KB
• README.md15.7 KB
• image_embedding_phi3_v.py14.1 KB
• image_processing_phi3_v.py11.4 KB
• processing_phi3_v.py11.3 KB
• configuration_phi3_v.py10.6 KB
• tokenizer_config.json9.4 KB
• sample_inference.py5.7 KB
• data_summary_card.md4.4 KB
• config.json3.7 KB
• SECURITY.md2.7 KB
• .gitattributes1.5 KB
• SUPPORT.md1.2 KB
• LICENSE1.1 KB
• special_tokens_map.json670 B
• preprocessor_config.json464 B
• CODE_OF_CONDUCT.md444 B

הרישיון

הרישיון הוא רישיון אם איי טי פתוח לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו במוצר סגור ולהפיץ אותו בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗