GPT
הוספת כלי
S

starchat-beta

קוד פתוח

HuggingFaceH4bigcode-openrail-m2023-06-07

  • transformers
  • pytorch
  • tensorboard
  • safetensors
  • gpt_bigcode

עוזר קוד פתוח של 16 מיליארד פרמטרים שמתמקד בשיחה ובתכנות. הוא אומן על דאטה ללא יישור כדי לענות ישירות בלי לחסום בקשות.

  • 16Bפרמטרים
  • 8,192טוקנים בהקשר
  • 58.4 GBמשקל הקבצים
  • 395הורדות בחודש

מה זה

מדובר בגרסת שיחה של StarCoderPlus שעברה אימון נוסף על גרסה לא מצונזרת של openassistant-guanaco. ההסרה של מנגנוני היישור המובנים הקפיצה את הציונים שלו בלוח המבחנים של Hugging Face ושיפרה את העבודה שלו במשימות תכנות, בעיקר באנגלית ומעל 80 שפות פיתוח.

תוצאות האימון מראות שהפסד הוולידציה הגיע לשיא של 1.26 באפוק השני ואז התחיל לעלות עד 1.47, בזמן שהפסד האימון המשיך לרדת עד 0.56. המודל אומן שש תקופות, ולפי המספרים האלה הוא נכנס למצב של התאמת יתר בשלבים המאוחרים, מה שמסביר למה הוא מיועד למחקר ולא לסביבות ייצור קריטיות.

מתאים ל

  • עוזר שיחה למפתחים

    מבין מעל 80 שפות קוד ועונה במבנה שיחה בלי לחסום שאלות טכניות מורכבות.

  • מחקר על מודלים לא מצונזרים

    מאפשר לבחון השפעה של הסרת יישור וצנזורה על ביצועי מודל שפה בתכנות.

  • יצירת קוד פנימית בסביבה סגורה

    מתאים להרצה בארגון שצריך חלון של 8k טוקנים ולא רוצה לשלוח קוד לשירות חיצוני.

איפה זה נופל

הכרטיס מדגיש שהמודל לא עבר שום תהליך של RLHF ולא כולל סינון תשובות, ולכן הוא מייצר בקלות פלטים בעייתיים אם מבקשים ממנו. בנוסף, הקוד שהוא כותב עלול להיראות תקין לגמרי תחבירית אבל להכיל שגיאות לוגיות, לא להתקמפל או לכלול פרצות אבטחה ידועות. בעיה נוספת שמצוינת במפורש היא הנטייה שלו להמציא כתובות אינטרנט מזויפות.

שאלות
נפוצות

האם אפשר לשלב אותו במוצר מסחרי?

עקרונית הרישיון מאפשר זאת תחת תנאי bigcode-openrail-m, אבל המפתחים מציינים במפורש שהוא מיועד למטרות מחקר וחינוך בלבד. בגלל היעדר סינון והנטייה לייצר קוד עם חולשות אבטחה, לא כדאי להשתמש בו מול לקוחות קצה ללא מעטפת בדיקות כבדה.

איך מתמודדים עם תבנית השיחה בריצה ישירה?

המודל דורש מבנה ספציפי של ChatML עם תגיות מערכת, משתמש ועוזר. בנוסף חייבים להגדיר בפקודת הייצור את טוקן הסיום 49155 כדי שהתשובות לא ימשיכו להיכתב ברצף.

איך מריצים

כדי להריץ אותו מקומית צריך לפרוק 58.4 ג׳יגה בייט של קבצים בפורמט bfloat16. זה דורש מעבד גרפי חזק של 40 עד 80 ג׳יגה בייט זיכרון רק כדי לטעון אותו ולשמור מקום לחלון הקשר של 8,192 טוקנים.

מריצים אותו ישירות דרך ספריית transformers בפייתון עם תבנית ChatML מוגדרת וטוקן סיום ייעודי. אם אין לכם כרטיס שרת מתאים בענן או מקומית, עדיף לבדוק את הדמו הציבורי במקום לקנות חומרה כבדה רק בשבילו.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceH4/starchat-beta")
print(pipe("שלום"))

הקבצים

32 קבצים במאגר, 58.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא bigcode-openrail-m. הוא מתיר שימוש מסחרי ומחקר, אבל מטיל הגבלות שימוש ספציפיות שאוסרות על יישומים פוגעניים או מזיקים לפי נספחי הרישיון של BigCode.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗