Selene-1-Mini-Llama-3.1-8B

מה זה

מדובר במודל שפיטה שמבוסס על Llama 3.1 8B ועבר אימון ייעודי למשימות הערכה ובקרת איכות. במקום לכתוב טקסט חופשי, התפקיד שלו הוא לקבל פלט של מודל אחר, לנתח אותו, להחזיר נימוק מפורט ולתת ציון מספרי, הכרעה בינארית או בחירה בין שתי חלופות.

לפי נתוני הבדיקות של החברה, המודל עוקף את GPT-4o במבחנים כמו RewardBench, EvalBiasBench ו־AutoJ, והגיע למקום הראשון בין מודלי השפיטה בגודל 8B. בפועל המשמעות היא שאפשר לקבל איכות שיפוט של מודלים ענקיים ברמת דיוק גבוהה, בלי לשלם על כל בדיקה לחברות צד שלישי ובלי לשלוח מידע רגיש החוצה.

מתאים ל

• בדיקת הזיות במערכות RAG

  השוואת התשובה שנוצרה מול מסמכי המקור כדי לוודא שאין עובדות מומצאות, בלי להוציא נתונים פנימיים החוצה.

• דירוג איכות בין מודלים

  קבלת שתי תשובות ממודלים שונים ובחירת התשובה ההגיונית והעקבית יותר עבור בדיקות A/B.

• סינון תשובות מזיקות

  מתן ציון מספרי קבוע לרמת הבטיחות וההתאמה של פלט המערכת לפני שהוא מוצג למשתמשי הקצה.

איפה זה נופל

המודל לא אומן לייצור טקסט כללי, כתיבת קוד או שיחה פתוחה, ולכן לא הייתי משתמש בו כעוזר אישי. בנוסף, רשימת השפות הנתמכות כוללת אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, ספרדית, הינדי ותאילנדית, אך עברית אינה מופיעה שם. לפני שמשלבים אותו במוצר שמיועד לקהל ישראלי צריך לבדוק היטב אם הוא מסוגל לשפוט עברית בלי לאבד את כושר השיפוט.

איך מריצים

המודל שוקל 15 גיגהבייט ומגיע בדיוק bfloat16, כך שצריך כרטיס מסך יחיד עם לפחות 16 עד 24 גיגהבייט זיכרון כדי להריץ אותו מקומית בספריית transformers. כדי לקבל תוצאות טובות חובה להשתמש בתבנית השיחה של Llama 3 ובפרומפטים שהיוצרים פרסמו, אחרת הוא מייצר פלטים שגויים.

אם אתם מבצעים רק כמה עשרות בדיקות ביום, פנייה ל־API חיצוני תהיה זולה ופשוטה יותר מלהחזיק שרת ייעודי. הרצה עצמית משתלמת ברגע שבודקים אלפי פלטים בצינור עבודה רציף.

from transformers import pipeline

pipe = pipeline("text-generation", model="AtlaAI/Selene-1-Mini-Llama-3.1-8B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• trainer_state.json869.4 KB
• tokenizer_config.json55.4 KB
• model.safetensors.index.json23.9 KB
• README.md6.7 KB
• .gitattributes1.6 KB
• config.json935 B
• special_tokens_map.json325 B
• generation_config.json184 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה של המודל בתוך מוצרים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗