lmstudio-community/DeepSeek-R1-Distill-Qwen-32B-GGUF
קוד פתוחlmstudio-communityרישיון לא דווח2025-01-20
גרסה מכווצת ומזוקקת של מודל החשיבה R1, שיושבת על בסיס של 32 מיליארד פרמטרים. היא נותנת יכולות הסקה לוגית ושרשרת מחשבה בלי המפלצת המלאה.
- 92.0 GBמשקל הקבצים
- 14,559הורדות בחודש
- 37לייקים
מה זה
מדובר במודל שנוצר מזיקוק היכולות של DeepSeek R1 אל תוך ארכיטקטורה של Qwen בגודל שלושים ושניים מיליארד פרמטרים. ההתמקדות כאן היא על משימות שמחייבות חשיבה בשלבים, פתרון בעיות מורכבות ושרשראות היסק ארוכות. במקום לזרוק תשובה מיידית, המודל מנווט את דרכו לתשובה בצורה מובנית יחסית לגודל שלו.
הוא תומך בחלון הקשר של עד 128 אלף טוקנים, מה שמאפשר להזין לו מסמכים ארוכים או שיחות מתמשכות בלי לאבד את הידיים והרגליים באמצע. ההמרה לפורמט GGUF נעשתה בעזרת llama.cpp, מה שהופך אותו לנגיש ישירות על מעבדים מקומיים או כרטיסי מסך ביתיים חזקים. זה נותן פשרה סבירה בין משקל המודל לבין עומק ההסקה, במיוחד למי שלא רוצה להיות תלוי בשרתים מרוחקים.
מתאים ל
- פתרון בעיות לוגיות
מתאים למשימות שמצריכות פירוק שלב אחרי שלב בזכות אימון ייעודי לשרשרת מחשבה.
- ניתוח מסמכים עמוק
תמיכה בחלון הקשר של 128 אלף טוקנים מאפשרת לעבד טקסטים ארוכים במיוחד.
- הרצה מקומית מאובטחת
מתאים למי שחייב לשמור את המידע אצלו ולא יכול להוציא נתונים לענן.
איפה זה נופל
הכרטיס מזהיר במפורש שהמודל עלול לייצר תוכן פוגעני, מטעה, שגוי או מזיק, ושאין שום ערבות לדיוק התשובות. בנוסף, מודלים של חשיבה ושרשרת מחשבה נוטים לפעמים להתפזר או להיתקע בלופים של ניתוח עצמי. לפני שמשלבים אותו במערכת, חייבים לבדוק שהוא לא חופר יותר מדי או ממציא עובדות שנשמעות משכנעות בדרך לפתרון.
אותה משפחה
DeepSeek-R1-Distill-Qwen יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להריץ את זה על מחשב נייד רגיל?
בדרך כלל לא, אלא אם יש לכם מחשב חזק במיוחד עם עשרות ג'יגה בייט של זיכרון פנוי. קבצי המודל כבדים מאוד ודורשים חומרה חזקה כדי לייצר קצב קריאה סביר.
איך משתמשים בו בפועל?
מורידים את קובץ ה־GGUF המתאים לחומרה שלכם וטוענים אותו בתוכנות תואמות llama.cpp, כמו LM Studio. משם אפשר לשלוח אליו פרומפטים דרך הממשק או בשרת מקומי.
איך מריצים
כדי להריץ אותו מקומית צריך לקחת בחשבון את המשקל הכולל של הקבצים, שמגיע ל־92 ג'יגה בייט בגרסאות השונות שפורסמו. תצטרכו כרטיס מסך עם זיכרון וידאו רציני, או כמות גדולה של זיכרון עבודה במחשב אם אתם מריצים על המעבד, אחרת הביצועים ייפלו לרצפה.
אם יש לכם מחשב רגיל בלי חומרה ייעודית כבדה, עדיף להשתמש ב־API חיצוני של מישהו אחר. להוריד קבצים במשקל כזה רק כדי לגלות שהם זוחלים בטוקן לשנייה זה סיוט מיותר.
ollama run hf.co/lmstudio-community/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 92.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בעמוד המודל לא דווח רישיון כלל. מבחינה משפטית, היעדר רישיון מוגדר אומר שאין לכם אישור רשמי להשתמש בו במוצר מסחרי, ועדיף לבדוק את תנאי המקור של DeepSeek ושל Qwen לפני שאתם בונים עליו.