DeepSeek-R1-Distill-Qwen-7B-GGUF
קוד פתוחbartowskiרישיון לא דווח2025-01-20
גרסת קוונטיזציה של מודל ההסקה המזוקק מקוון, שמביאה יכולות חשיבה מתקדמות של שבעה מיליארד פרמטרים לחומרה ביתית פשוטה.
- 137 GBמשקל הקבצים
- 67,573הורדות בחודש
- 145לייקים
מה זה
מדובר במודל שבעה מיליארד פרמטרים ממשפחת קוון, שעבר זיקוק של שרשראות החשיבה מתוך דיפסיק אר אחת הגדול. המטרה כאן היא לתת יכולות הסקה ופתרון בעיות מורכבות במבנה קומפקטי, כזה שלא דורש שרתי ענק כדי לענות על שאלות לוגיות או לכתוב קוד. המאגר הזה ספציפית מכיל המרות בפורמט ג׳י־ג׳י־יו־אף שבוצעו באמצעות למה־סי־פי־פי, תוך שימוש במטריצת חשיבות כדי למזער את איבוד המידע בדיוקים הנמוכים.
בגזרת המשקל הזו, רוב המודלים הקיימים מתקשים לייצר תהליכי מחשבה עמוקים בלי לפלוט שטויות די מהר. הזיקוק הנוכחי שונה כי הוא מביא את תבנית החשיבה המובנית של המודל הגדול לקובץ שיכול לשבת על מעבד גרפי של שמונה או שנים עשר גיגה־בייט בלי להזיע. המשמעות בשטח היא שאפשר לבצע ניתוח טקסט, כתיבת שאילתות ופתרון בעיות מתמטיות ישירות על חומרה מקומית, תוך שמירה על רמת פירוט גבוהה יחסית לגודל המודל.
מתאים ל
- פתרון בעיות קוד על מחשב נייד
קובץ קיו־ארבע שוקל פחות מחמישה גיגה ומאפשר הסקה טכנית מהירה על כרטיס גרפי ביתי.
- מענה מקומי למערכות ללא רשת
רץ ישירות בלמה־סי־פי־פי ומאפשר חשיבה מורכבת על שרתים מבודדים משיקולי אבטחת מידע.
- ניתוח לוגי על מעבדי איי־אר־אם
גרסאות קיו־ארבע מספקות סידור משקלים מחדש בזמן ריצה לשיפור ביצועים במעבדים מתאימים.
איפה זה נופל
גודל של שבעה מיליארד פרמטרים מציב תקרת זכוכית ברורה בידע כללי ובהבנת הקשרים מורכבים מאוד. הכרטיס מדגיש שגרסאות שנדחסו מתחת לרמת ארבעה ביטים, כמו משפחת קיו־שתיים או חלק מגרסאות קיו־שלוש, סובלות מירידה ניכרת באיכות הפלט ולא מומלצות למשימות שדורשות דיוק. בנוסף, מודלים מסוג איי־קיו אינם נתמכים בסביבת וולקן, כך שמשתמשי כרטיסי איי־אמ־די חייבים לוודא שהם מריצים גרסת רוק־אם כדי לעבוד איתם. חובה גם לוודא שהאפליקציה שלכם שומרת במדויק על תבנית הפרומפט הייחודית של המודל, אחרת שרשרת ההסקה נשברת לחלוטין.
אותה משפחה
DeepSeek-R1-Distill-Qwen יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
איזה קובץ מומלץ להוריד לשימוש כללי?
קובץ קיו־ארבע־קיי־אם הוא הבחירה המאוזנת לרוב המקרים. הוא שוקל ארבעה נקודה שישים ושמונה גיגה, נכנס במלואו לכרטיסי שמונה גיגה ומציג איכות פלט טובה ללא פגיעה קשה בכושר ההסקה.
האם המודל יעבוד טוב על מעבד בלבד ללא כרטיס גרפי?
כן, קבצי ג׳י־ג׳י־יו־אף נבנו במיוחד לריצה על מעבד וזיכרון מערכת. גרסאות כמו קיו־ארבע־אפס כוללות תמיכה באופטימיזציות מובנות למעבדים, אך קצב יצירת המילים יהיה אטי משמעותית בהשוואה להרצה על כרטיס מסך.
איך מריצים
כדי להריץ אותו בצורה מקומית ופשוטה אפשר להשתמש בתוכנת אל־אם סטודיו או ישירות בספריית למה־סי־פי־פי מגרסה בי־ארבע־אלף־חמש־מאות־וארבע־עשרה ומעלה. אם יש לכם כרטיס מסך עם שמונה גיגה זיכרון ייעודי, גרסת קיו־ארבע־קיי־אם ששוקלת ארבעה נקודה שישים ושמונה גיגה תרוץ במלואה על המעבד הגרפי ותיתן מהירות טובה. לחומרה חזקה יותר עם שנים עשר גיגה זיכרון מומלץ לקחת את קיו־שש־קיי־אל בנפח של שישה נקודה חמישים ושניים גיגה, שכוללת משקלי פלט באיכות מלאה.
אם אין לכם כרטיס מסך מתאים והמחשב מבוסס מעבד רגיל בלבד, המודל עדיין יעבוד על הזיכרון הראשי, בעיקר בגרסאות מכווצות כמו איי־קיו־שלוש או קיו־ארבע־אפס שתומכת בסידור מחדש של משקלים בזמן אמת. עם זאת, אם אתם צריכים לשרת עשרות משתמשים במקביל או שאין לכם לפחות שמונה גיגה זיכרון פנוי במחשב, עדיף לפנות לממשקי תכנות בענן שמארחים את המודל במקום להילחם בביצועים איטיים.
ollama run hf.co/bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
28 קבצים במאגר, 137 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- DeepSeek-R1-Distill-Qwen-7B-f32.gguf30.5 GB
- DeepSeek-R1-Distill-Qwen-7B-f16.gguf15.2 GB
- DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf8.1 GB
- DeepSeek-R1-Distill-Qwen-7B-Q6_K_L.gguf6.5 GB
- DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf6.3 GB
- DeepSeek-R1-Distill-Qwen-7B-Q5_K_L.gguf5.8 GB
- DeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf5.4 GB
- DeepSeek-R1-Distill-Qwen-7B-Q5_K_S.gguf5.3 GB
- DeepSeek-R1-Distill-Qwen-7B-Q4_K_L.gguf5.1 GB
- DeepSeek-R1-Distill-Qwen-7B-Q4_1.gguf4.9 GB
- DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf4.7 GB
- DeepSeek-R1-Distill-Qwen-7B-Q3_K_XL.gguf4.6 GB
- DeepSeek-R1-Distill-Qwen-7B-Q4_K_S.gguf4.5 GB
- DeepSeek-R1-Distill-Qwen-7B-Q4_0.gguf4.4 GB
- DeepSeek-R1-Distill-Qwen-7B-IQ4_NL.gguf4.4 GB
- DeepSeek-R1-Distill-Qwen-7B-IQ4_XS.gguf4.2 GB
- DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf4.1 GB
- DeepSeek-R1-Distill-Qwen-7B-Q3_K_M.gguf3.8 GB
- DeepSeek-R1-Distill-Qwen-7B-IQ3_M.gguf3.6 GB
- DeepSeek-R1-Distill-Qwen-7B-Q2_K_L.gguf3.5 GB
- DeepSeek-R1-Distill-Qwen-7B-Q3_K_S.gguf3.5 GB
- DeepSeek-R1-Distill-Qwen-7B-IQ3_XS.gguf3.3 GB
- DeepSeek-R1-Distill-Qwen-7B-Q2_K.gguf3.0 GB
- DeepSeek-R1-Distill-Qwen-7B-IQ2_M.gguf2.8 GB
- DeepSeek-R1-Distill-Qwen-7B.imatrix4.5 MB
- README.md14.1 KB
- .gitattributes3.4 KB
- LICENSE1.1 KB
הרישיון
בדף המודל הנוכחי לא דווח רישיון שימוש. מבחינה משפטית זה אומר שאין לכם אישור מפורש להפיץ אותו, להטמיע אותו במוצר מסחרי או להשתמש בו בסביבה עסקית בלי לבדוק תחילה את תנאי הרישיון המקוריים של דיפסיק ושל קוון במאגר המקור.