GPT
הוספת כלי
G

gte-Qwen2-7B-instruct

קוד פתוח

Alibaba-NLPapache-2.02024-06-15

  • sentence-transformers
  • safetensors
  • qwen2
  • text-generation
  • mteb

זהו מודל שיכוך ודמיון טקסטואלי מבוסס Qwen2 שמביא חלון הקשר עצום של 131,072 טוקנים. הוא נותן מענה למי שצריך לחפש ולאחזר מידע מתוך מסמכים שלמים וארוכים בלי לחתוך אותם לחתיכות קטנות.

  • 7.6Bפרמטרים
  • 131,072טוקנים בהקשר
  • 28.4 GBמשקל הקבצים
  • 111,882הורדות בחודש

מה זה

מדובר במודל ייעודי למשימות דמיון בין משפטים, אחזור וסיווג, שנבנה על גבי ארכיטקטורת Qwen2ForCausalLM עם 7.6 מיליארד פרמטרים. השילוב בין גודל של מודל שפה מלא לבין משימת שיכוך טקסט מביא הבנה סמנטית עמוקה בהרבה מזו של מודלי שיכוך קטנים רגילים, במיוחד כשמדובר בהוראות מורכבות.

במבחני MTEB המודל מציג ביצועים גבוהים בסיווג רגש כמו דיוק של 97.49% במערך הנתונים של אמזון, וגם באחזור מורכב כמו ArguAna עם ציון MRR@10 של 55.14. הנתונים האלה מראים שהוא מחזיק קשרים לוגיים וסמנטיים מורכבים בחיפוש, אבל המחיר הוא מודל כבד בהרבה ממודלי שיכוך מסורתיים.

מתאים ל

  • אחזור מסמכים משפטיים ארוכים

    חלון הקשר של 131,072 טוקנים מאפשר לשכך חוזים ופסקי דין שלמים בלי לקטוע את ההקשר.

  • מנועי חיפוש סמנטי למאמרים

    התוצאות במבחני אשכולות Arxiv ו־Biorxiv מראות יכולת קיבוץ טובה של חומר מדעי.

  • מיון פניות תמיכה

    דיוק של 87.56% במבחן Banking77 מאפשר לזהות כוונות משתמש מורכבות במערכות שירות.

איפה זה נופל

הנקודה החלשה בולטת במשימות טכניות ספציפיות. במבחני אחזור של TeX ו־Mathematica המודל נעצר על MRR@10 של 31.92 ו־35.84 בהתאמה, תוצאות נמוכות יחסית שמעידות על קושי בהבנת תחביר מתמטי עמוק. בנוסף, בסיווג ביקורות רב־לשוניות הוא משיג רק 62.56% דיוק, כך שאי אפשר לסמוך עליו בעיניים עצומות לטקסטים מגוונים ללא בדיקה מקדימה על המידע שלכם.

אותה משפחה

gte-Qwen2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gte-Qwen2-1.5B-instruct759,464

שאלות
נפוצות

האם כדאי להשתמש בו לחיפוש טקסטים קצרים ופשוטים?

לא. בשביל משפטים קצרים יש מודלים של כמה מאות מיליוני פרמטרים שעושים את העבודה במהירות כפולה ובשבריר מעלות החומרה. המודל הזה משתלם בעיקר כשיש הקשר ארוך או צורך בהבנת הוראות ספציפיות.

כמה זיכרון וידאו צריך בפועל בשביל להריץ אותו?

הקבצים עצמם שוקלים 28.4 ג'יגה־בייט בפורמט float32. חומרה עם פחות מ־32 ג'יגה־בייט VRAM לא תחזיק אותו במצב הגולמי, ואם תנצלו את כל חלון ההקשר דרישות הזיכרון יקפצו משמעותית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־28.4 ג'יגה־בייט בדיוק float32. כדי לטעון אותו במצב המקורי ולהריץ שיכוך בלי לקרוס תצטרכו כרטיס מסך חזק של 32 עד 40 ג'יגה־בייט זיכרון לפחות, ובמידה ותרצו לנצל חלק ניכר מחלון 131,072 הטוקנים תצטרכו זיכרון רב אף יותר.

המריצים נעזרים בספריית sentence-transformers או ישירות בקוד של transformers. אם המטרה היא שיכוך קצר ומהיר בכמויות גדולות של פניות בשנייה, להריץ 7.6 מיליארד פרמטרים על תשתית עצמית עלול לעלות יותר מדי, ועדיף לבדוק פתרונות קלים יותר או שירות ענן מנוהל.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Alibaba-NLP/gte-Qwen2-7B-instruct")
v = m.encode(["שלום עולם"])

הקבצים

25 קבצים במאגר, 28.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני ופשוט. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים פנימיים או ציבוריים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗