DeepHermes-3-Llama-3-8B-Preview

מה זה

הבסיס כאן הוא מודל שמונה מיליארד פרמטרים שזוקק מנתוני DeepSeek R1 ומציע משהו שלא רואים בדרך כלל בגודל הזה, מעבר מובנה בין מצב מחשבה מעמיק למצב שיחה רגיל. המעבר מתבצע פשוט באמצעות פרומפט מערכת שגורם לו לחשוב בתוך תגיות ייעודיות לפני שהוא עונה. לצד זה, המפתחים הוסיפו לו יכולות קריאת פונקציות ופליטת מבני מידע מוגדרים מראש על בסיס פורמט השיחה של לאמה.

במצב הסקה פתוח, המודל משפר משמעותית את הביצועים בפתרון בעיות מתמטיות מורכבות על חשבון זמן תגובה וטוקנים. כשהמצב הזה כבוי, הוא עובד כמו מודל שיחה רגיל ומציג תוצאות דומות לגרסת ההוראות המקורית, כך שלא צריך להחזיק שני מודלים נפרדים לתרחישים שונים.

מתאים ל

• פתרון בעיות מתמטיות

  חשיבה מובנית בתגיות מחשבה מייצרת דיוק משופר בניתוח בעיות מורכבות.

• הפעלת סוכנים וכלים

  תמיכה מובנית בקריאת פונקציות מאפשרת שליפת נתונים ממערכות חיצוניות.

• חילוץ מידע למבנה מוגדר

  שמירה על סכמת JSON מוגדרת לצורך העברת נתונים נקייה לקוד המשך.

איפה זה נופל

זהו שחרור מוקדם, והמפתחים מבהירים במפורש שייתכנו התנהגויות מוזרות ולא צפויות. בבעיות קשות המודל מסוגל לייצר שרשרת מחשבה של עד 13,000 טוקנים בתוך תגיות המחשבה, מה שמחייב להגדיל את מגבלת הטוקנים לפלט ועלול לנפח את עלויות החישוב וזמני ההמתנה לרמות לא מעשיות. בנוסף, המודל אומן ותועד באנגלית בלבד, כך שאין שום הבטחה לתמיכה סבירה בעברית או במשימות רב לשוניות.

אותה משפחה

DeepHermes-3-Llama-3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא שוקל 15 ג'יגה בייט בפורמט bfloat16, מה שדורש מאיץ גרפי עם זיכרון ייעודי מתאים כדי להחזיק את המודל ואת חלון ההקשר. המפתחים מציינים שקיימות גרסאות מכווצות בפורמט GGUF להרצה קלה יותר, ואפשר להרים אותו ישירות עם פקודת שרת בודדת בספריית vLLM כדי לקבל ממשק תואם לחלוטין לקריאות API רגילות.

אם מריצים משימות הסקה מורכבות שבהן שרשרת המחשבה ארוכה במיוחד, צריכת המשאבים קופצת והתשובה מתעכבת. במצבים שבהם אין חומרה מתאימה להחזיק את הנפח הזה, אפשר להירשם לרשימת ההמתנה לשירות המרוחק של המפתחים במקום להריץ עצמאית.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/DeepHermes-3-Llama-3-8B-Preview")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json56.6 KB
• model.safetensors.index.json23.9 KB
• README.md14.2 KB
• .gitattributes1.6 KB
• config.json958 B
• special_tokens_map.json444 B
• generation_config.json264 B

הרישיון

הרישיון הוא llama3 של חברת מטא. הוא מאפשר שימוש מסחרי ומחקר, אך כפוף למגבלות המקוריות של מטא, כולל הגבלת משתמשים חודשיים גדולים במיוחד וחובת ציות למדיניות השימוש שלהם.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗