GPT
הוספת כלי
A

airoboros-13b

קוד פתוח

jondurbincc-by-nc-4.02023-05-19

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

גרסת כוונון מוקדמת לליאמה שהתאמנה על דאטה סינתטי בלבד. היוצר עצמו ממליץ לוותר עליה ולעבור לגרסאות חדשות יותר.

  • 2,048טוקנים בהקשר
  • 48.5 GBמשקל הקבצים
  • 77הורדות בחודש
  • 107לייקים

מה זה

מדובר במודל שפה עם שלושה עשר מיליארד פרמטרים, המבוסס על הארכיטקטורה של LLaMA המקורית ועבר אימון נוסף בעזרת נתונים סינתטיים בלבד. המטרה היתה ליצור מודל להוראות בלי להסתמך על שיחות אנושיות, תוך שימוש במערכת של איירוברוס לייצור הדאטה.

במבחן הערכה שהריץ היוצר מול מאתיים שאלות שנשפטו על ידי GPT 4, המודל השיג ציון גולמי של 17,947, שזה כמעט תשעים ושמונה אחוזים מהיכולת של GPT 3.5 באותה בדיקה. התוצאה הזו הציגה אותו כעדיף על מתחרים כמו ויקונה 1.1 או מנטיקור באותו הגודל. בפועל, המפתח עצמו מבהיר בדף שהפלט לא מספיק איכותי כדי להצדיק שימוש אמיתי כיום.

מתאים ל

  • מחקר על דאטה סינתטי

    בדיקה השוואתית של איכות פלטים שנוצרו מדאטה סינתטי מוקדם.

  • בדיקות ג'יילברייק

    בחינת תגובות של מודל לא מסונן המכיל מידע שנוי במחלוקת.

  • שחזור ניסויי עבר

    השוואת ביצועים מול גרסאות מתקדמות יותר של סדרת איירוברוס.

איפה זה נופל

הבעיה המרכזית פה פשוטה: היוצר כותב במפורש שהוא לא ממליץ להשתמש בו. הפלטים לא מספיק טובים, והאימון כלל פריצות אבטחה שעלולות לגרום לו לפלוט תוכן מזיק או לא בטוח. בנוסף, חלון ההקשר מוגבל לאלפיים ארבעים ושמונה טוקנים בלבד, מה שמקשה על עבודה עם טקסטים ארוכים.

שאלות
נפוצות

האם כדאי לשלב אותו בפרויקט חדש?

לא. היוצר עצמו מזהיר מפני שימוש במודל ומפנה לגרסאות חדשות יותר של הפרויקט. מעבר לכך, מודל כזה ידרוש משאבים כבדים שלא מצדיקים את התוצאות הבינוניות שלו.

האם אפשר להריץ אותו על מחשב נייד רגיל?

לא במצבו הנוכחי. הקבצים שוקלים כמעט חמישים ג'יגה בגלל דיוק float32, כך שחובה להשתמש בחומרת שרתים חזקה או לבצע המרה ודחיסה לקבצים קלים יותר לפני ההרצה.

איך מריצים

המשקל של הקבצים מגיע לכמעט חמישים ג'יגה בגלל שמירת המשקולות בדיוק מלא של float32 בתוך תשעה עשר קבצים שונים. כדי להריץ את זה בלי המרה או קוונטיזציה תצטרכו כרטיס מסך מקצועי עם זיכרון עבודה גדול מאוד, הרבה מעבר לחומרה ביתית סטנדרטית. המודל רץ ישירות דרך ספריית transformers.

אם אין לכם שרת ייעודי פנוי לעניין, אין שום היגיון כלכלי או טכני לנסות להרים אותו לבד. עדיף בהרבה לפנות למודלים מודרניים דרך ספקי ענן או לקחת גרסאות מכווצות של מודלים עדכניים שצורכים שבריר מכוח החישוב הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="jondurbin/airoboros-13b")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 48.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CC BY-NC 4.0. המשמעות ברורה וחד משמעית: אסור לעשות שום שימוש מסחרי במודל או בתוצרים שלו. מותר להשתמש בו למחקר, בדיקות פנימיות וניסויים אישיים בלבד, וכל הפצה מחדש דורשת מתן קרדיט מלא ליוצר.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗