GPT
הוספת כלי
P

persimmon-8b-chat

קוד פתוח

adeptapache-2.02023-09-07

  • transformers
  • pytorch
  • persimmon
  • text-generation
  • endpoints_compatible

adept עומדים גם מאחורי Twitter, ויש עליו סקירה כאן.

גרסת צ'אט של שמונה מיליארד פרמטרים שאומנה מאפס על חלון הקשר של 16 אלף טוקנים. היא נבנתה כחלק מפיתוח סוכנים אוטונומיים לעבודה מול מחשב.

  • 16,384טוקנים בהקשר
  • 17.5 GBמשקל הקבצים
  • 1,374הורדות בחודש
  • 43לייקים

מה זה

הצוות של adept אימן את המודל ישירות על חלון של 16,384 טוקנים, בלי להרחיב אותו בדיעבד. כשפורסם בספטמבר 2023, זה היה חלון גדול פי ארבעה מזה של LLaMA2 ופי שמונה מזה של MPT או GPT-3 המקורי, מה שנותן יתרון ברור בעיבוד של טקסטים ארוכים במיוחד בלי לחתוך אותם לשברים.

זו גרסה שעברה כוונון ייעודי לשיחה מתוך מודל הבסיס. המפתחים עצמם מבהירים שהם לא מתעסקים בהפצת מודלי שפה בודדים כמוצר סופי, אלא שחררו תוצר מוקדם מתוך תוכנית פיתוח סוכני ה־AI שלהם, כך שמדובר בבסיס עבודה מעניין ולא בפתרון מדף מלוטש.

מתאים ל

  • עיבוד מסמכים ארוכים

    חלון של 16 אלף טוקנים מאפשר להזין טקסטים שלמים בלי לחתוך אותם לחלקים קטנים.

  • בוט שיחה ייעודי

    המודל כבר עבר כוונון לפורמט שיחה מובנה שמגיב לשאלות משתמש.

  • ניסויי סוכני תוכנה

    הוא נוצר מראש כתשתית לבניית סוכנים שמבצעים משימות מול ממשקי מחשב.

איפה זה נופל

המודל ישן יחסית, מספטמבר 2023, ואין בכרטיס שום מידע על נתוני מדידה, ציוני בנצ'מרק או בטיחות. המפתחים ציינו במפורש ששחררו אותו כתוצר לוואי מוקדם של מחקר ולא כמוצר עצמאי, מה שאומר שתצטרכו לבדוק בעצמכם הזיות ואיכות מענה לפני כל שילוב בקוד אמיתי.

שאלות
נפוצות

איך צריך לנסח את הפרומפט כדי לקבל תוצאה טובה?

בכרטיס המודל מוגדר מבנה ספציפי של human: ולאחריו השאילתה, ואז שורה חדשה עם adept: כדי שהמודל ימשיך את התשובה.

האם המודל דורש ארכיטקטורה מיוחדת בטעינה?

כן, הוא רץ תחת PersimmonForCausalLM עם 36 שכבות, ונתמך ישירות בספריית transformers הרגילה.

איך מריצים

המשקלים תופסים 17.5 גיגה בייט בדיוק bfloat16 ומחולקים לעשרה קבצים דרך ספריית transformers. כדי לטעון אותו כמו שהוא תצטרכו כרטיס מסך עם לפחות 24 גיגה בייט של זיכרון גרפי, במיוחד אם אתם מתכננים לנצל את כל 16 אלף הטוקנים של ההקשר.

אם אין לכם חומרה כזו מקומית, עדיף לכמת אותו או להשתמש במודלים מקבילים שנגישים דרך API מסחרי, בעיקר כי תחזוקה של שרת ייעודי בשביל 8B מיושן יחסית תעלה יותר ממה שהיא נותנת.

from transformers import pipeline

pipe = pipeline("text-generation", model="adept/persimmon-8b-chat")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 17.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, מה שמאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה חופשית. אתם יכולים לשלב אותו במוצר שלכם בלי תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומסמך הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗