NeuralBeagle14-7B

מה זה

הבסיס כאן הוא מיזוג של שני מודלים קודמים, UNA-TheBeagle וגרסה של Marcoro14-7B, שעברו אופטימיזציה ישירה על דאטה-סט של העדפות בשם distilabel-intel-orca-dpo-pairs. הרעיון הוא לקחת ידע ממספר מקורות ולחדד אותו סביב תשובות מדויקות יותר לשאלות מורכבות.

בבדיקות של Nous המודל הגיע לממוצע של 60.25 נקודות, כשהחוזקות הבולטות שלו הן מבחני שאלות כלליות עם 76.77 נקודות במבחן GPT4All וציון של 70.32 ב־TruthfulQA. התוצאות האלה מציבות אותו מעל מודלים מוכרים אחרים באותו סדר גודל, והוא מיועד בעיקר להסקה לוגית, כתיבת סיפורים ומשחקי תפקידים.

מתאים ל

• משחקי תפקידים וכתיבה

  היוצר מציין התאמה למשחקי תפקידים וסיפורים, תחומים שבהם מיזוג המודלים מעניק סגנון עשיר.

• מעקב אחר הוראות מורכבות

  אימון ה־DPO מכוון אותו לעקוב בדייקנות אחרי בקשות משתמש ולבצע משימות הסקה.

• ניסויי קוד מקומיים

  גודל של 7.2 מיליארד פרמטרים שמתאים לפיתוח ומחקר מקומי ללא עלויות ענן מסחריות.

איפה זה נופל

היוצר עצמו מציין חשש משימוש יתר באותו דאטה-סט העדפות שחוזר על עצמו במספר מודלים, מה שעלול להגביל את השיפור האמיתי מעבר למבחנים סינתטיים. בנוסף, יש סתירה בתיעוד: המטא-דאטה מדווח על חלון של 32,768 טוקנים, אבל בטקסט עצמו היוצר כותב שהמודל משתמש בחלון של 8k. במשימות שדורשות הקשר ארוך במיוחד, שווה לבדוק אותו בפועל לפני שמסתמכים על המספר הגבוה.

אותה משפחה

NeuralBeagle14 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא של הקבצים מגיע ל־13.5 ג'יגה-בייט בפורמט float16, כך שהרצה שלו בצורה הגולמית דורשת כרטיס מסך עם זיכרון ייעודי שמחזיק את הנפח הזה לצד הקונטקסט. הטעינה נעשית ישירות דרך ספריית transformers בפייתון באמצעות צינור יצירת הטקסט הרגיל.

מי שאין לו חומרה מתאימה יכול לפנות לגרסאות מכווצות שקיימות עבורו, כמו GGUF, GPTQ, AWQ או EXL2. גרסאות כאלה מורידות את דרישות הזיכרון באופן משמעותי ומאפשרות להריץ אותו מקומית על כרטיסים צנועים יותר בלי לשלם על שרתי ענן ייעודיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/NeuralBeagle14-7B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• README.md8.2 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json637 B
• special_tokens_map.json624 B
• generation_config.json133 B

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחד-משמעית: השימוש מותר אך ורק למטרות לא מסחריות, מחקר או ניסויים אישיים. חברות או מפתחים שרוצים להטמיע אותו במוצר שמייצר הכנסה או בתוך שירות מסחרי פשוט לא יכולים לעשות זאת חוקית לפי תנאי ההפצה.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗