lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF
קוד פתוחlmstudio-communityרישיון לא דווח2025-01-20
גרסה מכווצת של מודל החשיבה מבית DeepSeek על בסיס Qwen, שמיועדת להרצה מקומית. הפתרון מביא יכולות של שרשרת חשיבה ופתרון בעיות לקבצים בגודל שמתאים למחשב אישי.
- 21.5 GBמשקל הקבצים
- 18,888הורדות בחודש
- 88לייקים
מה זה
המודל הזה נבנה באמצעות זיקוק הידע של מודל הדגל DeepSeek R1 אל תוך הארכיטקטורה של Qwen 7B. המטרה כאן היא להביא תהליכי חשיבה מובנים והסקה לוגית שלביים לחבילה קטנה יחסית, בלי לדרוש חוות שרתים ענקית. הוא מגיע בפורמט GGUF שהומר באמצעות llama.cpp, מה שהופך אותו לנגיש ישירות בתוכנות כמו LM Studio.
הוא תומך בחלון הקשר של עד 128k טוקנים, שזה נפח עצום למודל של שבעה מיליארד פרמטרים. השילוב בין יכולת ההסקה המזוקקת לבין ההקשר הרחב מאפשר לו להתמודד עם מסמכים ארוכים או בעיות שמצריכות פירוק מעמיק, תחום שבו מודלים קטנים רגילים נוטים לאבד את הידיים והרגליים.
מתאים ל
- פיצוח בעיות לוגיות מקומי
הוא אומן על שרשרת חשיבה מובנית, ולכן מתאים לניתוח שלבי של שאלות מורכבות בלי לשלוח מידע לרשת.
- ניתוח טקסטים ארוכים
תמיכה בחלון הקשר של 128k מאפשרת להזין לתוכו קבצים גדולים בבת אחת עבור עיבוד ממוקד.
- ניסויי פיתוח בתוכנת LM Studio
הקובץ מוכן בפורמט GGUF, כך שאפשר לטעון אותו בלחיצה ולבדוק פרומפטים מורכבים במחשב האישי.
איפה זה נופל
למרות שהוא אומן על חשיבה לוגית, מדובר עדיין במודל שעבר זיקוק למשקל קל, והוא עלול לייצר טעויות עובדתיות, הטעיות או פלפולי סרק ארוכים שלא מגיעים לשום מסקנה. המפרסמים מדגישים שהוא עלול לייצר תוכן פוגעני, לא מדויק או מטעה, כך שחובה לבדוק כל פלט לפני שמחברים אותו ללוגיקה עסקית אמיתית.
אותה משפחה
DeepSeek-R1-Distill-Qwen יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מתאים לשימוש מסחרי במוצר שלי?
עמוד המודל לא מציין רישיון בכלל, ולכן אי אפשר לדעת בוודאות. מומלץ לבדוק את תנאי השימוש המקוריים של DeepSeek ושל Qwen לפני שמשלבים אותו בקוד מסחרי.
איך מריצים קובץ שמחולק לשישה חלקים?
טוענים את החלק הראשון דרך llama.cpp או תוכנות שתומכות בפורמט כמו LM Studio, והתוכנה מחברת את שאר החלקים באופן אוטומטי מאותה התיקייה.
איך מריצים
הקבצים שוקלים סך הכול 21.5 ג'יגה בייט ומחולקים לשישה חלקים, כך שחובה שיהיה לכם מספיק מקום פנוי בדיסק. כדי להריץ את זה בצורה סבירה תצטרכו מחשב עם כרטיס מסך מודרני בעל זיכרון וידאו ייעודי, או מעבד חזק עם שפע של זיכרון RAM, שכן קבצי GGUF מיועדים לעבוד היטב דרך llama.cpp.
אם אין לכם חומרה מקומית שיכולה להחזיק מודל כזה וגם להשאיר מקום לחלון הקשר גדול, עדיף לפנות לפתרון מבוסס ענן או שירותי צד שלישי במקום להעמיס על המחשב ולסבול ממהירות הפקה איטית להחריד.
ollama run hf.co/lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 21.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המודל לא דווח בעמוד שלו. המשמעות ברורה, מבחינה משפטית אין אישור מפורש לשימוש מסחרי או להפצה בתוך מוצר, ואי אפשר לדעת מה המגבלות שחלות עליו עד שלא בודקים את הרישיון של מודל המקור של DeepSeek ושל Qwen.