GPT
הוספת כלי
T

tulu-2-dpo-70b

קוד פתוח

allenaiother2023-11-12

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת מחקר מיושרת של לאמה 2 בגודל מלא שנועדה לתת מענה פתוח לצ'אט של מטא. היא מכוונת למי שרוצה ביצועים חזקים באנגלית בלי התערבות בטיחות כבדה.

  • 69Bפרמטרים
  • 8,192טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 399הורדות בחודש

מה זה

המודל הזה נבנה על גבי לאמה 2 בגודל 70B ועבר כוונון עדין בשני שלבים, אימון ראשוני על הוראות מעורבות ולאחר מכן אופטימיזציית העדפות ישירה בעזרת מתכון של זפיר ומאגר אולטרה-פידבק שמדורג על ידי מודלים חיצוניים. המטרה של מכון אלן הייתה להעמיד חלופה שקופה לגרסת הצ'אט הרשמית של מטא, עם כל המתכון והנתונים בחוץ.

במבחנים שפורסמו הוא מציג ציון של 7.89 במדד MT-Bench ושיעור ניצחון של 95.1 אחוזים ב־AlpacaEval, שזו קפיצה מורגשת לעומת גרסת ה־SFT הרגילה של אותה משפחה. בפועל זה אומר שהוא עוקב אחרי הוראות מורכבות בצורה הרבה יותר חדה ועקבית, בעיקר באנגלית, ומייצר תשובות שמרגישות טבעיות למשתמש ולא מתפזרות.

מתאים ל

  • בוט שיחה חכם באנגלית

    הוא מציג יכולת ניהול דיאלוג ומעקב הוראות מדויק בזכות יישור העדפות מתקדם.

  • מחקר על יישור מודלים

    המתכון המלא ונתוני האימון גלויים ומאפשרים לבדוק שיטות אימון מול תוצאות בפועל.

  • יצירת דאטה סינתטי

    הציון הגבוה בדירוגי שיחה מאפשר לייצר איתו דוגמאות אימון איכותיות למודלים קטנים.

איפה זה נופל

המודל לא עבר שום התאמת בטיחות ייעודית בשלב ה־RLHF ואין סביבו מנגנוני סינון תשובות בזמן אמת, כך שהוא ייצר פלטים בעייתיים או פוגעניים אם תבקשו ממנו. בנוסף, הוא אומן בעיקר על אנגלית וחלון ההקשר שלו מוגבל ל־8,192 טוקנים, מה שלא יתאים למי שמחפש לעבד מסמכים ארוכים או לעבוד בעברית.

שאלות
נפוצות

האם המודל תומך בעבודה שוטפת בעברית?

הוא אומן ומכוון בעיקר לאנגלית על בסיס לאמה 2. הוא עשוי לפלוט מילים בעברית פשוטה, אבל איכות הניסוח, הדקדוק והידע המקומי יהיו נמוכים ולא מתאימים לעבודה אמיתית.

האם אפשר להשתמש בו ישירות מול לקוחות קצה?

לא מומלץ בלי שכבת סינון ובקרה חיצונית שאתם בונים בעצמכם. המפתחים מציינים בפירוש שהמודל לא עבר סינוני בטיחות ועלול לייצר תוכן לא הולם אם משתמש ידחוף אותו לשם.

איך מריצים

כדי להריץ אותו במשקל מלא בדיוק של bfloat16 תצטרכו להוריד 257 גיגה-בייט של קבצים ולהחזיק לפחות שני כרטיסי A100 או H100 של 80GB, רק בשביל לטעון את המשקלים לזיכרון לפני שבכלל שלחתם פרומפט ראשון. הפורמט שלו דורש תבנית קפדנית של תגיות משתמש ועוזר, כולל ירידת שורה מדויקת אחרי תגית העוזר שמשפיעה ישירות על איכות הפלט.

אם אין לכם אשכול שרתים ייעודי ותקציב חומרה כבד, להריץ דבר כזה לבד בייצור זה כאב ראש מיותר. במצב כזה עדיף לחפש ספק שמגיש אותו דרך API או לפנות לגרסאות הקטנות יותר של אותה סדרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/tulu-2-dpo-70b")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון AI2 ImpACT Low-risk של מכון אלן יחד עם מגבלות הבסיס של מודלי לאמה 2. זהו אינו רישיון קוד פתוח רגיל, הוא דורש עמידה בתנאי שימוש הוגן ומגביל שימושים מסוכנים, כך שחובה לקרוא את נוסח הרישיון המלא לפני שמשלבים אותו במערכת מסחרית.

הרישיון המלא בעמוד המודל ↗