GPT
הוספת כלי
G

GPT-NeoXT-Chat-Base-20B

קוד פתוח

togethercomputerapache-2.02023-03-03

  • transformers
  • pytorch
  • gpt_neox
  • text-generation
  • en

מודל שיחה פתוח עם 20 מיליארד פרמטרים שאומן על 43 מיליון הוראות. הוא מציע פתרון למי שרוצה בסיס דיאלוג עצמאי באנגלית תחת רישיון פתוח לחלוטין.

  • 2,048טוקנים בהקשר
  • 38.5 GBמשקל הקבצים
  • 220הורדות בחודש
  • 694לייקים

מה זה

המודל הזה נבנה כחלק מפרויקט OpenChatKit, והוא מתבסס על GPT-NeoX של EleutherAI שעבר אימון ייעודי על 43 מיליון הוראות שנאספו בשיתוף LAION ו־Ontocord.ai. בנוסף, הוא עבר כיוונון נוסף באמצעות כמות קטנה של נתוני משוב אנושי כדי להתאים את סגנון התשובות לאופי של שיחה.

המטרה העיקרית שלו היא אינטראקציות דיאלוג, והוא מתמקד במשימות כמו מענה על שאלות מתוך טקסט, סיווג משפטים, חילוץ מידע ותמצות. הוא תוכנן במיוחד לעבוד טוב עם פרומפטים של few-shot, בעיקר במשימות סיווג שבהן דוגמה או שתיים מביאות אותו לרמת דיוק גבוהה בהרבה.

חשוב לזכור שמדובר במודל משנת 2023 עם חלון הקשר קצר של 2,048 טוקנים בלבד ומשקל קבצים של 38.5 גיגה-בייט. הוא תומך באנגלית בלבד, כך שלשימושים בעברית אין מה לחפש כאן בלי אימון מקיף נוסף.

מתאים ל

  • סיווג טקסטים באנגלית

    הוא מציג ביצועים טובים במיוחד במשימות סיווג רגש וקטגוריות בעזרת דוגמאות בודדות בפרומפט.

  • חילוץ מידע ותמצות ממוקד

    הוא אומן לעבד טקסט נתון ולהוציא ממנו פרטים ספציפיים או תקציר, כל עוד הטקסט נכנס ב־2,048 טוקנים.

  • מחקר על מודלי שיחה

    קוד ומשקלים פתוחים שמאפשרים לחקור הטיות ודפוסי התנהגות של בוטים בלי תלות ב־API סגור.

איפה זה נופל

המודל נופל במשימות ידע כללי סגור ונוטה להזיות כשהוא נשאל על עובדות שלא מופיעות ישירות בטקסט שסיפקתם. הוא לא מתאים לכתיבת קוד כי הוא לא אומן על מאגר תוכנה גדול, והוא מתקשה מאוד בטקסטים יצירתיים ארוכים כמו סיפורים או מאמרים. בנוסף, הוא סובל מבעיה של חזרתיות בתשובות, ומתקשה להתמודד עם החלפת נושא באמצע השיחה, מצב שבו הוא ממשיך לענות על הנושא הקודם.

שאלות
נפוצות

האם המודל מתאים לפיתוח צ'אטבוט בעברית?

לא. המודל אומן והוגדר רשמית עבור אנגלית בלבד. חלון ההקשר הקצר והיעדר נתוני אימון בעברית יגרמו לפלט משובש לחלוטין ולא שימושי.

כמה זיכרון GPU מינימלי נדרש כדי להרים אותו?

ההרצה בדיוק רגיל דורשת 48GB של VRAM. באמצעות שימוש בקוונטיזציה של 8 ביט, אפשר להסתפק בכרטיס עם 24GB זיכרון.

האם כדאי להשתמש בו לכתיבת קוד?

לא. המפתחים מציינים במפורש שהמודל לא אומן על נפח מספק של קוד מקור, ולכן הוא אינו מתאים למשימות תכנות.

איך מריצים

כדי להריץ אותו בדיוק המקורי של float16, תצטרכו מעבד גרפי עם לפחות 48GB זיכרון. אם המשאבים מוגבלים, אפשר לטעון אותו ב־Int8 באמצעות transformers ולקבל דרישת זיכרון של 24GB, מה שמאפשר להריץ אותו על כרטיס בודד מהסוג שנמצא בשרתים שכורים פשוטים יותר.

קיימת אפשרות להריץ אותו גם על המעבד המרכזי עם bfloat16, אבל המהירות תהיה אטית מאוד בפועל. אם אין לכם חומרה ייעודית עם לפחות 24GB עד 48GB VRAM זמינים, עדיף להשתמש בפתרון חיצוני ולא לנסות להחזיק תשתית כזו בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="togethercomputer/GPT-NeoXT-Chat-Base-20B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 38.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, והפצה מחדש של המודל בתוך מוצרים. אין חובה לפתוח את הקוד שלכם, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗