GPT
הוספת כלי
Q

Qwen-7B-Chat

קוד פתוח

Qwenother2023-08-03

  • transformers
  • safetensors
  • qwen
  • text-generation
  • custom_code

יש כאן גם סקירה על Qwen עצמו.

מודל שיחה של עליבאבא בגודל שבעה מיליארד פרמטרים, שמציג תוצאות קוד ומתמטיקה חזקות ביחס לגודלו. הוא מתאים למי שצריך תמיכה מעמיקה בסינית ובאנגלית ורוצה להריץ שרת מקומי.

  • 7.7Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.4 GBמשקל הקבצים
  • 35,640הורדות בחודש

מה זה

מדובר במודל שיחה שפותח על בסיס מודל הבסיס של עליבאבא, עם ארכיטקטורת שנאי סטנדרטית של שלושים ושתיים שכבות. המאפיין הבולט שלו הוא מילון ענק של מעל מאה וחמישים אלף טוקנים המבוסס על טיקטוקן, שנועד לייעל עיבוד של סינית, אנגלית וקוד, יחד עם חלון הקשר נרחב.

במדדי ביצועים הוא עוקף מודלים מקבילים מאותו מחזור. במבחן הקוד היומן־אוול הוא קיבל 37.2 נקודות, לעומת 12.2 בלבד של לאמה שתיים בגודל זהה. במתמטיקה הוא השיג 50.3 נקודות לעומת 26.3 של המתחרה. בנוסף, המפתחים כיוונו אותו במיוחד להפעלת כלים חיצוניים דרך תבניות ריאקט והרצת קוד פייתון.

מתאים ל

  • הפעלת פונקציות וכלים

    המודל הציג 98 אחוזי דיוק בבחירת פלאגינים במבחן המפתחים, ומתאים לחיבור מערכות דרך תבניות ריאקט.

  • פתרון בעיות מתמטיות

    תוצאה של 50.3 במדד ג׳י אס אם שמונה קיי הופכת אותו לשימושי בחישובים יחסית לגודלו הקומפקטי.

  • מערכות שיחה בסינית

    הוא אומן על טקסטים מקצועיים ורשת בסינית, עם דיוק של 59.7 במבחן סי־איוול בהשוואה למתחרים.

איפה זה נופל

המודל תומך רשמית רק בסינית ובאנגלית. עברית אינה מופיעה ברשימת השפות הנתמכות, ולכן שימוש מקומי ייכשל או יניב פלט משובש. בקוונטיזציה של אינט ארבע הביצועים בכתיבת קוד צונחים מ־37.2 ל־29.9 נקודות במבחן הייעודי. בנוסף, טעינה רגילה דרך ספריית הטרנספורמרס איטית בעשרים אחוזים בהשוואה לספריית אוטו ג׳י פי טי קיו הייעודית, וניצול חלון ההקשר המלא דורש הגדרות ידניות בקובץ התצורה.

אותה משפחה

Qwen יצא ב־9 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Qwen-72B3,784,922 Qwen-7B31,973 Qwen-14B5,840 Qwen-14B-Chat3,520 Qwen-72B-Chat1,012 Qwen-7B-Chat-Int4383 Qwen-14B-Chat-Int4274 Qwen-72B-Chat-Int4203

שאלות
נפוצות

האם כדאי לבחור בו לפיתוח יישום בעברית?

לא. כרטיס המודל מציין תמיכה באנגלית ובסינית בלבד. הטוקנייזר והאימון אינם מותאמים לעברית, ולכן עבודה בשפה זו תייצר תוצאות גרועות ואיטיות.

איזה כרטיס מסך מינימלי צריך כדי להריץ אותו?

עבור המודל המלא דרוש כרטיס עם 24 גיגה בייט זיכרון, שכן יצירת טקסט ארוך תופסת 22.53 גיגה בייט. אם משתמשים בגרסת אינט ארבע המכווצת, אפשר להסתפק בכרטיס של 16 גיגה בייט.

איך מריצים

המשקלים המלאים שוקלים 14.4 גיגה בייט ומחייבים כרטיס מסך עם זיכרון ייעודי של לפחות 24 גיגה בייט להרצה רגילה. קידוד הקשר של 2048 טוקנים תופס 16.99 גיגה בייט בזיכרון בפורמט בי פלוט שש־עשרה, ויצירה ארוכה מגיעה ליותר מעשרים ושניים גיגה בייט. יש גרסאות קוונטיזציה של אינט שמונה ואינט ארבע שמבוססות על אוטו ג׳י פי טי קיו. גרסת האינט ארבע מורידה את צריכת הזיכרון ל־8.21 גיגה בייט בלבד בהקשר קצר, כך שכרטיס של 16 גיגה בייט יספיק לה.

ההרצה המקומית דורשת התקנת חבילות ספציפיות כולל פלאש אטנשן שתיים כדי לקבל מהירות סבירה של כארבעים טוקנים לשנייה. למי שלא מחזיק חומרה כזו או זקוק לזמינות מיידית בלי תחזוקת תלויות, עדיף לפנות לממשק הרשת שהחברה מציעה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen-7B-Chat")
print(pipe("שלום"))

הקבצים

30 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כאחר ואינו רישיון קוד פתוח מוכר. כדי להפיץ אותו בתוך מוצר מסחרי או להשתמש בו בסביבה עסקית, חובה לקרוא את תנאי השימוש המקוריים של עליבאבא במאגר הגיטהאב שלהם ולוודא שאין הגבלות שימוש או תלות ברישוי פרטני.

הרישיון המלא בעמוד המודל ↗