GPT
הוספת כלי
Q

Qwen1.5-7B

קוד פתוח

Qwenother2024-01-22

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס במשקל 7.7 מיליארד פרמטרים שמיועדת לאימון המשך או כוונון, עם תמיכה מובנית ב־32 אלף טוקנים בלי צורך בהרצת קוד מרוחק.

  • 7.7Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.4 GBמשקל הקבצים
  • 108,909הורדות בחודש

מה זה

מדובר בגרסת הבטא לקראת Qwen2, ארכיטקטורת מפענח בלבד שכוללת שינויים כמו שילוב SwiGLU והטיה ב־QKV, יחד עם טוקנייזר שאמור להתמודד טוב יותר עם מגוון שפות וקוד. בניגוד לגרסה הקודמת של Qwen, לא צריך כאן את הדגל של הרצת קוד צד שלישי כדי לטעון אותו, כי התמיכה בארכיטקטורת Qwen2 כבר יושבת בתוך ספריית transformers הרשמית.

הנקודה הקריטית היא שזהו מודל בסיס ולא מודל שיחה. הוא אומן על כמויות גדולות של מידע כדי להשלים טקסט, אבל הוא לא עבר יישור או התאמה לפקודות, ולכן הוא לא מתאים לעבודה ישירה מול משתמש קצה בלי שתאמנו אותו קודם.

מתאים ל

  • אימון המשך על דאטה פנימי

    נקודת מוצא טובה עם חלון של 32 אלף טוקנים למי שרוצה לבצע pretraining נוסף על מסמכים של הארגון.

  • כוונון ייעודי למשימות מוגדרות

    בסיס גולמי של 7.7 מיליארד פרמטרים שמתאים להתאמה ממוקדת באמצעות SFT או RLHF בלי שכבות התנהגות קודמות.

  • התאמה למשימות קוד ושפות

    הטוקנייזר המעודכן בארכיטקטורה בנוי להתמודדות טובה יותר עם מבני שפות מגוונים ותחביר של קוד.

איפה זה נופל

המפתחים עצמם כותבים במפורש לא להשתמש במודל הבסיס הזה ישירות למשימות של יצירת טקסט. בלי כוונון מקדים הוא בעיקר ימשיך טקסטים בצורה גולמית ולא יענה על הוראות. בנוסף, בגרסת הבטא הזו הושמטו מנגנונים כמו Group Query Attention וחלונות קשב מתחלפים שהיו בתוכניות המקוריות לגודל הזה, כך שניהול הזיכרון בהקשרים ארוכים לא מנצל את כל האופטימיזציות האפשריות.

אותה משפחה

Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen1.5-0.5B-Chat71,372 Qwen1.5-0.5B51,618 Qwen1.5-32B-Chat49,496 Qwen1.5-1.8B-Chat30,941 Qwen1.5-4B19,357 Qwen1.5-4B-Chat15,521 Qwen1.5-14B15,485 Qwen1.5-1.8B14,486

שאלות
נפוצות

אפשר לפתוח איתו צ'אט ולתת לו פקודות ישר אחרי ההורדה?

לא. זהו מודל בסיס שנועד להשלמת טקסט ולא עבר התאמה לשיחה. אם תנסו לדבר איתו תקבלו השלמות אסוציאטיביות במקום תשובות ישירות, ובשביל צ'אט עדיף לקחת את גרסת ה־Chat הייעודית.

למה מופיעה לי שגיאה כשאני מנסה לטעון את המודל בקוד?

הארכיטקטורה דורשת ספריית transformers בגרסה 4.37.0 לפחות. אם הגרסה בסביבה שלכם ישנה יותר, הפייתון יזרוק שגיאת מפתח על המזהה של qwen2 ולא ידע לקרוא את המשקלים.

איך מריצים

כדי להעלות את 14.4 הג'יגה-בייט של המשקלים בפורמט המקורי נדרש כרטיס מסך עם לפחות 16 עד 24 ג'יגה-בייט של זיכרון, וזאת עוד לפני שלוקחים בחשבון את המקום שיתפוס חלון ההקשר כשתתחילו להעמיס עליו טוקנים. חובה לוודא שמותקנת אצלכם גרסת transformers מ־4.37.0 ומעלה, אחרת הספרייה פשוט תיכשל בזיהוי הארכיטקטורה עם שגיאת מפתח.

אם כל מה שאתם צריכים זה בוט שיחה מוכן או מודל שעונה לשאלות, אל תטרחו להריץ את גרסת הבסיס הזו. עדיף לפנות לגרסת ה־Chat המוכנה שלהם או לשירות מנוהל.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen1.5-7B")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי. תנאי השימוש המלאים לא מפורטים בכרטיס המודל עצמו אלא יושבים במאגר החיצוני של הפרויקט, מה שמחייב אתכם לבדוק ידנית את נוסח הרישיון המקורי של עליבאבא לפני שאתם משלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗