GPT
הוספת כלי
G

GPT-JT-6B-v1

קוד פתוח

togethercomputerapache-2.02022-11-24

  • transformers
  • pytorch
  • gptj
  • text-generation
  • en

גרסה מכווננת של GPT-J שמיועדת למשימות סיווג והבנת הוראות באנגלית. היא מתאימה למי שרוצה ביצועים של מודלים ענקיים בקובץ של 11.4 גיגה בלבד.

  • 2,048טוקנים בהקשר
  • 11.4 GBמשקל הקבצים
  • 195הורדות בחודש
  • 301לייקים

מה זה

המודל הזה הוא פיצול של GPT-J הוותיק שעבר אימון המשך על 3.53 מיליארד טוקנים בעזרת אלגוריתם מבוזר. היוצרים שלו החליפו את תשומת הלב החד-כיוונית הרגילה במנגנון UL2, שמאפשר למודל לקרוא את הפרומפט בצורה דו-כיוונית ורק אז לייצר טקסט קדימה. השינוי הזה נותן לו הבנה עמוקה בהרבה של מה שביקשתם ממנו לעשות.

האימון כלל שילוב של מאגרי הוראות מגוונים, כולל שרשראות חשיבה, דאטה-סטים של שאלות ותשובות ומאגר הפייל. בזכות זה, המפתחים מדווחים שהוא עוקף מודלים של מעל מאה מיליארד פרמטרים במבחני סיווג, למרות שהוא מחזיק שישה מיליארד פרמטרים בלבד.

מתאים ל

  • סיווג טקסטים באנגלית

    קריאת הקלט הדו-כיוונית נותנת לו דיוק גבוה במיוחד בניתוח כוונות וסנטימנט.

  • ביצוע משימות עם הנחיות

    הוא אומן על מאגרי פקודות ודוגמאות חשיבה ומבין הנחיות מובנות היטב.

  • תיוג דאטה על שרת פנימי

    משקלו הקל מאפשר להריץ סיווג מקומי ופרטי בלי לשלוח מידע החוצה.

איפה זה נופל

חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, כך שהוא לא מתאים למסמכים ארוכים או לשיחות ממושכות. בנוסף, המודל אומן על אנגלית בלבד ואין לו שום תמיכה רשמית בעברית, כך שניסיון להזין לו טקסט מקומי יוביל לפלט משובש לחלוטין. הוא תוכנן בעיקר לסיווג ולהוראות קצרות, ולא ליצירת תוכן ארוך.

שאלות
נפוצות

האם המודל תומך בעיבוד טקסטים בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד. אם תזינו לו עברית, תקבלו תוצאות שבורות או חוסר הבנה מוחלט של ההוראות.

כמה זיכרון גרפי נדרש בפועל להרצה?

הקבצים שוקלים 11.4 גיגה, ולכן כרטיס של 16 גיגה זיכרון גרפי יספיק לטעינה ולהסקה בסיסית בדיוק הרגיל. לעומס כבד או רצפים ארוכים עדיף כרטיס חזק יותר.

איך מריצים

כדי להעלות אותו לזיכרון תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי עבור עבודה בפורמט חצי דיוק. הקבצים שוקלים 11.4 גיגה בפורמט transformers סטנדרטי, כך שטעינה עם pipeline מקומית דורשת שורות קוד בודדות בפייתון.

אם יש לכם שרת עצמאי עם כרטיס תואם, ההרצה המקומית הגיונית כי המודל קל יחסית. אם המטרה היא בדיקת היתכנות מהירה או שאין לכם חומרה ייעודית זמינה, עדיף להשתמש בדמו המקוון של togethercomputer ולא לבזבז זמן על הגדרת סביבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="togethercomputer/GPT-JT-6B-v1")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 11.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המשקלים מופצים תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗