GPT
הוספת כלי
X

xgen-7b-8k-base

קוד פתוח

Salesforceapache-2.02023-06-28

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

בסיס לאימון עם חלון של שמונת אלפים טוקנים עוד משלב האימון המקדים, בלי הרחבות מאוחרות. הוא מיועד למי שרוצה להתאים מודל משלו על מסמכים ארוכים ברישיון חופשי.

  • 8,192טוקנים בהקשר
  • 25.7 GBמשקל הקבצים
  • 603הורדות בחודש
  • 317לייקים

מה זה

מדובר במודל שפה גולמי של שבעה מיליארד פרמטרים, שנבנה על ארכיטקטורת LLaMA ואומן מראש על רצפים באורך שמונת אלפים טוקנים. רוב מודלי הבסיס בגודל הזה באותה תקופה אומנו על אלפיים עד ארבעת אלפים טוקנים בלבד, והרחבה שלהם נעשתה בדרך כלל בדיעבד. כאן ההקשר הרחב מובנה ישר מהקופסה.

הוא משתמש בטוקנייזר של ספריית tiktoken במקום בטוקנייזר הרגיל של משפחת LLaMA. מכיוון שמדובר בגרסת בסיס ולא במודל שעבר התאמה להוראות, הוא מיועד בעיקר להשלמת טקסט, אימון המשך או כוונון עדין למשימות מוגדרות.

מתאים ל

  • בסיס לכוונון עדין

    אימון מודל ייעודי על נתונים פנימיים שדורשים חלון הקשר של שמונת אלפים טוקנים ברישיון קוד פתוח.

  • השלמת טקסטים ארוכים

    יצירה או המשך של קטעי טקסט וקוד גדולים יחסית שבהם יש צורך בהבנת הקשר רחב יותר מהרגיל.

  • מחקר על רצפים ארוכים

    בדיקת התנהגות של מודלי שפה בגודל שבעה מיליארד פרמטרים שאומנו מראש על רצפים של 8k.

איפה זה נופל

זהו מודל בסיס שלא עבר אימון על הוראות, כך שהוא לא יענה לשאלות כמו צ'אט בוט אלא פשוט ימשיך את הטקסט שתתנו לו. Salesforce מציינים שהשחרור מיועד למחקר ולא נבדק לכל תרחיש קצה, כך שאין כאן מנגנוני בטיחות, סינון תוכן או בדיקות דיוק מיוחדות.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר אישי לשיחה?

לא. זו גרסת הבסיס ולא גרסת ההוראות, ולכן הוא לא יודע לענות לשאלות אלא רק להמשיך את הרצף שקיבל. אם תרצו מודל שיחה, תצטרכו לאמן אותו קודם על דאטה של שיחות או להשתמש בגרסת ה־Inst.

האם מותר להשתמש בו במוצר מסחרי?

כן. רישיון apache-2.0 מאפשר שימוש מסחרי מלא ללא תמלוגים, כולל שינוי המשקלים והטמעה במערכות שלכם, בכפוף לשמירה על תנאי הרישיון.

למה הטעינה שלו נכשלת עם שגיאה על הטוקנייזר?

המודל משתמש בטוקנייזר שנשען על ספריית tiktoken. כדי שהוא ייטען בהצלחה צריך להתקין את החבילה הזו בנפרד ולהעביר את הפרמטר trust_remote_code כשטוענים אותו בקוד.

איך מריצים

המשקלים תופסים כמעט עשרים ושישה ג'יגה בייט על הדיסק בדיוק מלא, אבל בריצה מומלץ לטעון אותו בדיוק bfloat16. כדי להריץ אותו מקומית תצטרכו כרטיס מסך עם לפחות שישה עשר עד עשרים ג'יגה בייט זיכרון רק כדי לטעון אותו, ועוד זיכרון פנוי כדי לנצל את מלוא חלון ההקשר.

הטעינה נעשית דרך ספריית transformers הרגילה, אך חובה להתקין את ספריית tiktoken ולהפעיל את הדגל trust_remote_code בעת טעינת הטוקנייזר.

from transformers import pipeline

pipe = pipeline("text-generation", model="Salesforce/xgen-7b-8k-base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 25.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים המקורית ותנאי הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗