GPT
הוספת כלי
M

manticore-13b

קוד פתוח

openaccess-ai-collectiveרישיון לא דווח2023-05-17

  • transformers
  • pytorch
  • llama
  • text-generation
  • en

זהו עיבוד מוקדם של מודל פתוח שמשלב כמה מערכי נתונים פופולריים של שיחה והוראות. הוא מעניין בעיקר למי שרוצה בסיס מגוון בלי סינוני בטיחות כבדים.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 93הורדות בחודש
  • 118לייקים

מה זה

מדובר בהרחבה של מודל Llama בגודל 13 מיליארד פרמטרים, שעבר אימון על שילוב רחב של מאגרי שיחה והוראות כמו ShareGPT, WizardLM, GPTeacher ודאטה ייעודי למשחקי תפקידים והסבר שלבי. במקום להתמקד במשימה צרה אחת, הכוונה הייתה לתפוס מגוון סגנונות מענה, החל מסיכום ועד כתיבת קוד.

הבנייה נעשתה באמצעות Axolotl על שמונה כרטיסי A100 של 80 גיגה, בריצה של שלושה מחזורי אימון שלקחה כיממה. התוצאה מציגה מודל שיודע לענות על שאלות הגיון, לייצר קוד פייתון פשוט או לנהל שיחה חופשית באנגלית, בלי הריסון שרואים במודלים מסחריים סגורים.

מתאים ל

  • בדיקות מעבדה לשיחה חופשית

    אימון על מאגרים מגוונים מאפשר לבדוק תגובות של מודל פתוח שאינו מוגבל בסינונים תאגידיים כבדים.

  • יצירת קוד בסיסי בפייתון

    יודע לייצר פונקציות קצרות וקוד פשוט באנגלית לפי הוראות ישירות מתוך הפרומפט.

  • תרחישי משחק תפקידים

    האימון כולל נתונים ספציפיים למשחקי תפקידים ומענה בסגנון חופשי.

איפה זה נופל

היוצרים מבהירים שהמודל לא עבר שום תהליך של התאמה להעדפות אנושיות כמו משוב אנושי, ואין בו מנגנוני סינון בזמן אמת. המשמעות היא שהוא יפלוט טקסט פוגעני או שגוי בלי היסוס, במיוחד אם מבקשים זאת ישירות.

הוא מוגדר לשפה האנגלית בלבד, כך שאין מה לבנות עליו לעברית. בנוסף, חלון ההקשר של 2,048 טוקנים מגביל מאוד את היכולת לעבוד עם שיחות מתמשכות או טקסטים טכניים רחבים, וקיימת נטייה להזיות עובדתיות בדיוק כמו בבסיס שממנו נוצר.

שאלות
נפוצות

האם המודל מתאים למוצר שפונה ללקוחות?

לא מומלץ לחבר אותו למוצר חי בלי שכבת בקרה נפרדת. היעדר תהליך של התאמת העדפות אנושיות ואי קיומו של סינון פלט עלולים לחשוף משתמשים לתשובות בעייתיות.

איך אפשר לנסות אותו בלי שרת יקר?

היוצרים שחררו גרסה מכווצת בפורמט GGML ומציגים הדגמה במרחב ייעודי. הגרסה הזו פועלת גם על מעבדים רגילים או כרטיסים ביתיים עם מעט זיכרון.

איך מריצים

כדי להריץ את המודל במקור בדיוק bfloat16 צריך לפרוס 24.2 גיגה של קבצים בזיכרון הראשי של כרטיס המסך, מה שמחייב כרטיס מקצועי בודד עם זיכרון גדול או פיצול על פני כמה חומרות. היוצרים מציעים גם גרסה מכווצת בפורמט GGML, שנועדה לאפשר בדיקה על כרטיסים צנועים יותר או על מעבד רגיל במחיר של פגיעה קלה באיכות.

אם אתם לא צריכים שליטה מלאה במשקלים או ריצה מקומית מאובטחת, אין טעם להרים עבור זה שרת ייעודי ויקר. חלון ההקשר קצר ועומד על 2,048 טוקנים, ולכן הוא לא יתאים למסמכים ארוכים בכל מקרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="openaccess-ai-collective/manticore-13b")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד המודל. היעדר רישיון מוגדר משאיר את השימוש בו במצב משפטי לא ברור, ובמיוחד פוסל שילוב ישיר בתוך מוצר מסחרי שדורש תנאי שימוש והפצה מסודרים.

הרישיון המלא בעמוד המודל ↗