unsloth/DeepSeek-R1-Distill-Llama-8B

מה זה

הגרסה הזו לוקחת את דפוסי החשיבה שנוצרו ברשת הגדולה של DeepSeek ומזריקה אותם ישירות לתוך משקלי הבסיס של Llama 3.1. במקום סתם חיזוי טוקנים שטחי, הוא מאומן לייצר שרשרת חשיבה מפורטת לפני שהוא פולט את התשובה הסופית למשתמש.

במבחני ביצועים, ההבדל מול מודלים רגילים בולט במיוחד בתחומים מדויקים. הוא רושם ציון של 89.1 במבחן MATH-500 וציון של 50.4 ב־AIME 2024. לשם השוואה, מודלים ענקיים כמו GPT-4o קיבלו 9.3 בלבד ב־AIME. זה אומר שבמשימות אלגוריתמיות וחישובים מורכבים, הדגם הקומפקטי הזה מצליח לפרק בעיות ביעילות מפתיעה.

מתאים ל

• פתרון בעיות מתמטיקה

  מייצר שלבי פתרון מפורטים ומתמודד היטב עם חישובים מורכבים בזכות ציון גבוה ב־MATH-500.

• בדיקת קוד אלגוריתמי

  מריץ חשיבה לוגית מסודרת לניתוח שגיאות בקוד באנגלית, עם דירוג Codeforces של 1205.

• אימון ומחקר מקומי

  מתאים לניסויי זיקוק והתאמה אישית בסביבת פיתוח פנימית בלי צורך בחומרת שרתים יקרה.

איפה זה נופל

הכרטיס מזהיר במפורש שחובה להגדיר טמפרטורה מדויקת בטווח שבין 0.5 ל־0.7. חריגה מהטווח הזה גורמת לו להיכנס ללולאות אינסופיות של חזרות, או לפלוט תשובות שבורות לחלוטין. הוא תומך באנגלית בלבד ברמת האימון שלו, כך שאי אפשר לבנות עליו לפעולות שדורשות עברית. בנוסף, מודל של 8 מיליארד פרמטרים עדיין מוגבל ביכולת להבין הקשרים רחבים מאוד ביחס למודל המלא, והוא נוטה להזיות ברגע שהבעיה דורשת ידע כללי רחב ולא לוגיקה טהורה.

אותה משפחה

DeepSeek-R1-Distill-Llama יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 15 ג'יגה בייט בפורמט bfloat16, כך שכדי להריץ אותו כמו שהוא צריך כרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון וידאו. במידה ומשתמשים בגרסאות מכווצות או בספריות של Unsloth, אפשר להריץ אותו בנוחות גם על כרטיסים צרכניים פשוטים יותר או ב־Colab חינמי עם מעבד T4 יחיד.

אפשר לטעון אותו ישירות דרך מנועי הסקה כמו vLLM בתצורת Llama סטנדרטית. אם אתם צריכים רק שאילתות בודדות ולא רוצים לתחזק שרת מקומי, ה־API הרשמי של DeepSeek יעלה פחות מאשר להחזיק שרת ענן פתוח ברציפות.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/DeepSeek-R1-Distill-Llama-8B")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• figures/benchmark.jpg777.3 KB
• tokenizer_config.json53.0 KB
• model.safetensors.index.json24.0 KB
• README.md15.6 KB
• chat_template.jinja2.2 KB
• .gitattributes1.6 KB
• LICENSE1.1 KB
• config.json891 B
• special_tokens_map.json483 B
• generation_config.json231 B

הרישיון

המודל כפוף לרישיון llama3.1 המקורי של חברת Meta. הוא מאפשר שימוש מסחרי חופשי כל עוד המוצר שלכם לא חוצה 700 מיליון משתמשים חודשיים פעילים, ומחייב לכלול את תנאי הרישיון המקוריים ואת השם Llama בתוצרים שאתם מפיצים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗