notus-7b-v1

מה זה

ארגילה לקחו את הבסיס של זפיר בטא ואימנו אותו מחדש בשיטת DPO. ההבדל היחיד בינו לבין זפיר הוא ניקוי הדאטה, הם גילו שבדאטה סט המקורי תגובות גרועות קיבלו ציונים גבוהים בגלל שגיאה בדירוג, סידרו את הבחירות מחדש בכחצי מהמקרים ואימנו על הנתונים המתוקנים.

התוצאה היא שיפור ישיר מול מודלים מסחריים ומודלים פתוחים אחרים. במבחן אלפקה איוול הוא קיבל ציון של 91.42 אחוז, שזה מעל קלוד 2 וזפיר המקורי. בבנצ'מרק של לידרבורד הפתוח הוא מציג שיפור קל ברוב המבחנים כולל MMLU ו־GSM8K, אם כי ב־DROP הוא רושם ירידה קלה.

מתאים ל

• בוט שיחה באנגלית

  עוקף מודלים גדולים במבחני שיחה ומחזיר תשובות מלוטשות בלי עלויות רישיון.

• חלופה מקומית לקלוד 2

  מאפשר הרצה מקומית על גבי שרת בודד למשימות שדורשות פרטיות נתונים.

• מענה אוטומטי למיילים

  מטפל היטב בניסוחים שוטפים באנגלית בתוך מסגרת ההקשר הרחבה שלו.

איפה זה נופל

המודל אומן בעיקר על אנגלית, כך שאין מה לצפות לביצועים סבירים בעברית. בנוסף, המפתחים מודים שהדאטה סט הכיל בטעות פרומפטים מתוך המבחן TruthfulQA, מה שאומר שהתוצאה שלו במבחן הזה כנראה לא משקפת אמינות אמיתית ויש לבדוק נטייה להזיות באופן ידני. בבדיקות אקדמיות כמו DROP הציון שלו אפילו ירד מול מודל הבסיס, מה שמראה שהתיקון לא שיפר את כל היכולות הלוגיות באופן גורף.

איך מריצים

המשקל הכולל של הקבצים עומד על 13.5 גיגה בייט בפורמט ביפלוט16. בשביל להריץ אותו בלי קוונטיזציה תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי, כמו RTX 4090 או כרטיס שרת מקביל. הטעינה נעשית ישירות דרך ספריית טרנספורמרס של הוגינג פייס באמצעות פייפליין או קריאה ישירה למודל.

אם יש לכם שרת עם מעבד גרפי מתאים, ההרצה המקומית פשוטה ומהירה. אם אין לכם חומרה כזו ואתם צריכים רק מענה מזדמן לפניות באנגלית, תחזוקת שרת ענן ייעודי תעלה יותר מקריאה ל־API חיצוני קיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="argilla/notus-7b-v1")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• runs/Nov19_08-47-31_130-61-173-32/events.out.tfevents.1700383712.130-61-173-32.111866.0208.5 KB
• trainer_state.json153.8 KB
• runs/Nov18_19-43-49_130-61-173-32/events.out.tfevents.1700336689.130-61-173-32.84702.072.3 KB
• model.safetensors.index.json23.9 KB
• README.md15.6 KB
• training_args.bin5.7 KB
• runs/Nov18_19-37-37_130-61-173-32/events.out.tfevents.1700336346.130-61-173-32.83547.05.6 KB
• runs/Nov19_08-42-46_130-61-173-32/events.out.tfevents.1700383428.130-61-173-32.110979.05.6 KB
• runs/Nov19_08-40-16_130-61-173-32/events.out.tfevents.1700383276.130-61-173-32.110246.04.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• runs/Nov19_08-47-31_130-61-173-32/events.out.tfevents.1700427124.130-61-173-32.111866.1828 B
• all_results.json748 B
• config.json627 B
• special_tokens_map.json624 B
• eval_results.json572 B
• train_results.json196 B
• generation_config.json111 B
• added_tokens.json41 B

הרישיון

הרישיון הוא MIT מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו בתוך מוצר סגור או להריץ אותו כשירות פנימי, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗