gme-Qwen2-VL-2B-Instruct

מה זה

מדובר במודל הטמעה שנבנה על בסיס מודל הראייה והשפה של עליבאבא, עם 2.2 מיליארד פרמטרים. במקום לעבוד רק על טקסט כמו רוב מודלי הדמיון הסמנטי הנפוצים, הוא מעבד גם תמונות ומחזיר ייצוג וקטורי שמאפשר להשוות ביניהם. חלון ההקשר מגיע ל־32,768 טוקנים, כך שאפשר להזין מסמכים ארוכים מאוד או שילובים כבדים של תוכן ויזואלי וטקסט בלי לחתוך אותם מראש.

במדדי ההערכה הרשמיים רואים שהוא מתפקד טוב במיוחד במשימות דירוג מחדש בסינית, עם תוצאות MRR של סביב 88 עד 89 נקודות במאגרים רפואיים, וסיווג מדויק של מעל 96 אחוזים בקוטביות ביקורות באנגלית. מנגד, באחזור נתונים טכניים באנגלית מתוך מאגרי שאלות ותשובות התוצאות צנועות בהרבה, עם ציון MAP שעומד לעיתים על 16 עד 30 נקודות בלבד. זה אומר שהוא מצטיין בהבנת כוונות וסיווג, אבל בשליפה מדויקת של פריט בודד מתוך ערימה גדולה כדאי לבדוק אותו היטב מול הנתונים שלכם.

מתאים ל

• חיפוש מוצרים ויזואלי

  מאפשר לחפש תמונות של מוצרים לפי תיאור טקסטואלי באנגלית או בסינית, ולהפך.

• סיווג מסמכים משולבי תמונה

  מייצר וקטור מייצג לדפי מסמך שלמים בלי לחתוך אותם, הודות להקשר של 32,768 טוקנים.

• דירוג מחדש בסינית

  מציג ביצועים גבוהים במיוחד במיון ודירוג תוצאות חיפוש בסינית במאגרי מידע שונים.

איפה זה נופל

החולשה המרכזית שלו היא היעדר תמיכה בשפות שאינן אנגלית וסינית. אם תנסו להזין לו עברית, תקבלו תוצאות חלשות ולא עקביות כי הוא לא אומן עליה. בנוסף, משימות אחזור מורכבות בנושאים טכניים ומתמטיים הניבו ציונים נמוכים במבחנים, כך שהוא לא תמיד ימצא את המסמך הנכון בחיפוש טכני קשה.

אותה משפחה

gme-Qwen2-VL יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 8.2 גיגה בייט בדיוק float32, כך שנדרש כרטיס מסך עם לפחות 10 עד 12 גיגה זיכרון כדי להחזיק אותו בזיכרון ולהריץ הטמעות בצורה יציבה. הרצה על גבי מעבד רגיל תהיה איטית מדי לכל תרחיש של זמן אמת, בעיקר כשמשלבים עיבוד תמונה. הטעינה נעשית בצורה ישירה דרך ספריית sentence-transformers או קוד transformers רגיל.

אם יש לכם שרת עם כרטיס תואם פנוי, ההרצה העצמית פשוטה ולא מצריכה תשתית מסובכת. אם מדובר בשימוש מזדמן או שאין גישה לחומרה ייעודית, עדיף להשתמש בנקודת קצה מנוהלת בענן שגובה לפי קריאה, במקום לשלם על שרת ייעודי שפועל בלי הפסקה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Alibaba-NLP/gme-Qwen2-VL-2B-Instruct")
v = m.encode(["שלום עולם"])

הקבצים

24 קבצים במאגר, 8.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors4.1 GB
• model-00001-of-00003.safetensors4.0 GB
• model-00003-of-00003.safetensors726.7 MB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• images/gme_logo.png525.6 KB
• README.md101.5 KB
• model.safetensors.index.json56.4 KB
• results.json15.9 KB
• modeling_gme_qwen2vl.py13.3 KB
• gme_inference.py13.2 KB
• custom_st.py8.6 KB
• tokenizer_config.json4.3 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• chat_template.json1.1 KB
• special_tokens_map.json613 B
• added_tokens.json392 B
• preprocessor_config.json347 B
• modules.json341 B
• 1_Pooling/config.json316 B
• generation_config.json249 B
• config_sentence_transformers.json161 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי, בלי תשלום תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗