Pangea-7B

מה זה

מדובר במודל שמשלב עיבוד תמונה וטקסט על בסיס הארכיטקטורה של LLaVA-NeXT, כשהמנוע הטקסטואלי שלו נשען על Qwen2-7B-Instruct. היוצרים שלו אימנו אותו על מאגר ייעודי של 6 מיליון דוגמאות בשם PangeaIns במטרה לחזק את ההבנה הרב-תרבותית והרב-לשונית שלו.

רוב מודלי הראייה בקטגוריית ה־7B עובדים מצוין באנגלית ומתקשים מאוד ברגע שעוברים לשפות אחרות. כאן כיוונו מראש לתמיכה רחבה שכוללת עשרות שפות, כולל שפות שנחשבות לפחות נפוצות במודלים כאלה, יחד עם חלון הקשר של 32,768 טוקנים שמאפשר לצרף הקשר טקסטואלי ארוך לצד התמונה.

מתאים ל

• ניתוח תמונות בשפות מרובות

  מענה על שאלות לגבי תמונות בערבית, יוונית, גרמנית ושפות נוספות שנתמכות במודל.

• חילוץ מידע ויזואלי ותרבותי

  זיהוי פרטים בתמונות מתוך התחשבות ברקע תרבותי רחב שנלמד על מאגר של 6 מיליון דוגמאות.

• הסבר תמונות עם טקסט ארוך

  ניתוח ויזואלי לצד טקסט נלווה נרחב בזכות חלון הקשר של 32,768 טוקנים.

איפה זה נופל

למרות הדגש על 39 שפות ברשימת הדגלים של הפרויקט, המטא-דאטה מפרט תמיכה רשמית מוגדרת רק לחלק מהן. מי שבונה על עברית צריך לבדוק אותו בזהירות לפני שילוב במערכת, כי הכרטיס לא מציג תוצאות מדידה מסודרות שמראות איך הוא מתפקד בעברית בפועל.

נוסף על כך, המעבר בין מצב מולטימודלי להזנת טקסט בלבד אינו שקוף לגמרי ודורש טעינה מחדש של המודל לפי הנחיות הכרטיס.

איך מריצים

כדי להריץ אותו צריך לשבט את המאגר של LLaVA-NeXT, להתקין את התלויות ולטעון את המשקלים ישירות דרך הקוד שלהם, או לחלופין לפנות לגרסת ה־hf של הפרויקט. המשקלים תופסים 14.8 גיגה-בייט בפורמט bfloat16 על פני 15 קבצים.

מבחינת חומרה, קובץ כזה דורש כרטיס גרפי ייעודי עם מספיק זיכרון וידאו להחזקת המשקלים ועיבוד התמונות יחד, כך שמי שאין לו כרטיס חזק יעדיף לפנות לממשק API מרוחק או לבצע קוונטיזציה.

pip install -U huggingface_hub
hf download neulab/Pangea-7B

הקבצים

15 קבצים במאגר, 14.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json77.0 KB
• README.md8.0 KB
• config.json1.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• special_tokens_map.json367 B
• generation_config.json243 B
• added_tokens.json80 B

הרישיון

הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל במוצר שלכם. התנאים העיקריים הם שמירה על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗