Gemma-2-9B-It-SPPO-Iter3

מה זה

החוקרים ממעבדת UCLA-AGI לקחו את הבסיס של גוגל ואימנו אותו מחדש בעזרת אלגוריתם SPPO על פני שלושה סבבים. המטרה היתה לחדד את בחירת התשובות בלי להסתמך על פידבק אנושי ישיר, אלא דרך יצירת תשובות סינתטיות ודירוג עצמי לפי פרומפטים ממאגר UltraFeedback.

התוצאה במספרים של AlpacaEval מראה שהסבב השלישי מגיע לאחוז ניצחון של 53.27 בהשוואה מבוקרת אורך לעומת 48.7 בסבב הראשון. זה אומר שבפועל התשובות שלו עקביות יותר ומנוסחות טוב יותר בהשוואה לגרסאות הקודמות, אך הן גם נוטות להיות ארוכות יותר, עם ממוצע של 1,803 טוקנים לתשובה.

מתאים ל

• מענה מפורט לשאלות באנגלית

  הסבב השלישי מייצר תשובות ארוכות ומנומקות שמתאימות למערכות תמיכה מורכבות.

• ניסויי יישור מודלים

  השוואת ביצועים מול שיטות כוונון אחרות כמו DPO על אותה ארכיטקטורה בדיוק.

• יצירת תוכן סינתטי

  הפקת דוגמאות אימון עשירות באנגלית למודלים קטנים יותר בזכות רמת הניסוח.

איפה זה נופל

האימון כולו התבסס על נתונים סינתטיים ובשפה האנגלית בלבד. אם תפנו אליו בעברית או במשימות שדורשות הבנה מקומית, הוא צפוי לקרטע ואין שום התחייבות לתוצאות סבירות.

נוסף על כך, העלייה במדד AlpacaEval לוותה בעלייה עקבית באורך התשובה. המודל עלול לחפור ולהאריך במקומות שבהם אתם צריכים תשובה קצרה ופשוטה.

איך מריצים

כדי להעלות אותו בפורמט המקורי של 16 ביט צריך כרטיס מסך עם לפחות 24 גיגה זיכרון, כמו RTX 3090 או A10G, מאחר שקובצי המשקולות עצמם תופסים מעל 17 גיגה לפני שלוקחים בחשבון את חלון ההקשר.

אם אין לכם חומרה כזו מקומית, עדיף להשתמש בגרסה מכווצת או לפנות לשרת ענן ייעודי. הרצה ישירה דרך ספריית transformers דורשת סביבה שתומכת בארכיטקטורת Gemma 2 ובדיוק bfloat16.

from transformers import pipeline

pipe = pipeline("text-generation", model="UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 17.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors3.7 GB
• tokenizer.json17.5 MB
• tokenizer.model4.2 MB
• tokenizer_config.json40.6 KB
• model.safetensors.index.json39.1 KB
• README.md2.7 KB
• .gitattributes1.6 KB
• config.json925 B
• special_tokens_map.json636 B
• generation_config.json173 B

הרישיון

הכרטיס מציין רישיון כפול, הפניה לתנאי השימוש של Gemma לצד ציון Apache-2.0 בתיאור. ברישיון המקורי של גוגל יש הגבלות על שימושים אסורים מסוימים, ולכן חובה לקרוא את תנאי השימוש לפני שמשלבים אותו במוצר מסחרי פתוח.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗