Llama3.1-8B-PRM-Deepseek-Data

מה זה

הפרויקט הזה לוקח את הבסיס של Llama 3.1 8B ומאמן אותו לשמש כמודל תגמול שלבי, Process Reward Model. במקום לשפוט רק את התוצאה הסופית של תרגיל, הוא בוחן כל שלב בפתרון בנפרד. האימון נשען על דאטהסט של דיפסיק ועבר אפוק אחד עם דגימות באורך 8192 טוקנים.

בבדיקות של החוקרים על מחוללים כמו מיסטרל ודיפסיק, שימוש בסינון שלבי כזה הקפיץ את התוצאות במבחנים מתמטיים מורכבים כמו MATH מציון בסיסי של 38.4 לציון של 58.1 בבחירה מתוך 1024 דגימות. זה מראה שהערכת צעדים עוזרת לחלץ תשובות נכונות גם כשהמודל המייצר נוטה לטעות בדרך.

מתאים ל

• דירוג פתרונות מתמטיים

  הוא מזהה איזה צעד בחישוב היה שגוי ומדרג עשרות תשובות שנפלטו ממודל אחר.

• אימון מודלים בשיטת RLHF

  הוא מספק משוב שלבי ומדויק לתהליכי שיפור של מודלים פתוחים אחרים.

• סינון תשובות בהסקה

  עוזר לבחור את המסלול הנכון מתוך דגימות מרובות של מחוללי קוד ומתמטיקה.

איפה זה נופל

המודל הזה לא נועד לכתוב טקסט חופשי, לא יודע לנהל שיחה, ואין שום מידע על היכולות שלו בעברית. כל הבדיקות שלו נעשו על מתמטיקה באנגלית דרך מדדים כמו GSM8K ו־MATH. אם תנסו לתת לו לפתור בעיות מחוץ לעולם המתמטי וההסקה הלוגית, אין שום ערובה שהוא יחזיר ציונים הגיוניים.

איך מריצים

כדי להריץ אותו בפורמט bfloat16 תצטרכו כרטיס מסך יחיד עם 24 גיגה זיכרון, למשל RTX 3090 או A10G, שמחזיק בנוחות קבצים של 15 גיגה. הקוד נשען על ספריית transformers הסטנדרטית, והדוגמאות המלאות להרצה נמצאות בריפו של הפרויקט.

אם אתם רק רוצים לבדוק צעדים בודדים מדי פעם, החזקה של שרת ייעודי כזה תעלה לא מעט ולא בטוח תצדיק את עצמה מול שירותי ענן לפי שימוש. הוא משתלם בעיקר למי שמריץ פייפליין מקומי של דגימה מרובה ודירוג.

from transformers import pipeline

pipe = pipeline("text-generation", model="RLHFlow/Llama3.1-8B-PRM-Deepseek-Data")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json55.4 KB
• model.safetensors.index.json23.9 KB
• README.md2.5 KB
• .gitattributes1.6 KB
• config.json896 B
• special_tokens_map.json444 B
• generation_config.json184 B

הרישיון

היוצרים לא הגדירו רישיון בדף המודל. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת מראש אם מותר לשלב אותו במוצר בלי להסתכן. גופים מסחריים יצטרכו לבדוק את הרישיונות של מודל הבסיס ושל הדאטהסט של דיפסיק כדי להבין את המעמד המשפטי.

הרישיון המלא בעמוד המודל ↗