GPT
הוספת כלי
O

oasst-sft-4-pythia-12b-epoch-3.5

קוד פתוח

OpenAssistantapache-2.02023-04-03

  • transformers
  • pytorch
  • gpt_neox
  • text-generation
  • sft

גרסת כוונון מבוססת שיחות אנושיות על בסיס פיתיה של 12 מיליארד פרמטרים. היא מתאימה למי שמחפש מודל שיחה בקוד פתוח עם רישיון חופשי לחלוטין.

  • 2,048טוקנים בהקשר
  • 22.2 GBמשקל הקבצים
  • 776הורדות בחודש
  • 368לייקים

מה זה

מדובר באיטרציה הרביעית של כוונון מונחה באנגלית מבית פרויקט אופן אסיסטנט, המבוססת על המודל של אלוותר איי. האימון נשען על שיחות והדגמות שנאספו ממשתמשים אנושיים לפני מרץ 2023, בתוספת דאטה סט כמו אלפקה. המטרה כאן היא לקחת מודל בסיס גולמי ולהפוך אותו לעוזר שמגיב לפניות שיחה במקום רק להשלים טקסט באופן עיוור.

המשקל שלו עומד על למעלה מ־22 גיגה בייט בפורמט חצי דיוק. זה מודל שמדבר אנגלית ומשתמש בטוקנים ייעודיים לניהול חילופי הדברים בין המשתמש לעוזר, כך שהוא יודע מתי תורו לענות ומתי לעצור.

מתאים ל

  • בוט שיחה באנגלית

    אימון ייעודי על הדגמות שיחה אנושיות מאפשר מענה ישיר לשאלות.

  • מחקר כוונון שיחות

    בסיס פתוח שמאפשר לבדוק שיטות אימון על מודל של 12 מיליארד פרמטרים.

  • עיבוד פניות קצרות

    מענה לפרומפטים נקודתיים באנגלית שאינם דורשים הקשר היסטורי ארוך.

איפה זה נופל

חלון ההקשר קצר מאוד ומגיע ל־2,048 טוקנים בלבד, מה שלא מאפשר לנהל איתו שיחות ארוכות או לנתח מסמכים רחבים. מעבר לכך, המודל אומן על שיחות באנגלית ולא הוכשר לעברית, כך שניסיון לדבר איתו בעברית צפוי להוביל לפלט שבור. הוא גם דורש פורמט פרומפט קשיח עם טוקנים מיוחדים של יוזר ואסיסטנט, ובלי הקפדה עליהם הוא לא מייצר תשובה קוהרנטית.

שאלות
נפוצות

האם המודל תומך בשיחה בעברית?

הכרטיס מגדיר את שפת המודל כאנגלית בלבד, ואימון השיחות בוצע באנגלית. הוא לא יתאים לממשק בעברית ללא כוונון נוסף.

איך צריך לבנות את הפרומפט כדי לקבל תשובה?

יש לעטוף את שאלת המשתמש בטוקן ייעודי של פרומפטר ולסגור בטוקן סיום טקסט. מיד לאחר מכן מוסיפים את הטוקן של האסיסטנט כדי לאותת למודל להתחיל לכתוב.

איך מריצים

כדי להריץ אותו מקומית בספריית טרנספורמרס צריך זיכרון וידאו שמסוגל להחזיק קבצים בנפח של מעל 22 גיגה בייט בדיוק המקורי, או לחלופין לבצע קוונטיזציה. ארכיטקטורת הבסיס היא ג'י פי טי ניאו אקס עם 36 שכבות, והוא אומן באמצעות דיפ ספיד ופלאש אטנשן.

אם אין לכם כרטיס גרפי מתאים עם נפח זיכרון כזה, הריצה תיפול מיד על שגיאות זיכרון. במצב כזה, פנייה לשירות ענן או שימוש בשרת ייעודי היא הדרך היחידה להריץ אותו במהירות סבירה.

from transformers import pipeline

pipe = pipeline("text-generation", model="OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 22.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י 2.0. זהו רישיון פתוח לחלוטין שמאפשר שימוש מסחרי, שינוי של המשקלים והפצה מחדש בתוך מוצרים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗