lmstudio-community/DeepSeek-R1-Distill-Llama-8B-GGUF
קוד פתוחlmstudio-communityרישיון לא דווח2025-01-20
גרסת GGUF מכווצת של מודל החשיבה וההסקה של דיפסיק, שנשענת על בסיס לאמה שמונה מיליארד פרמטרים. היא מיועדת למי שרוצה להריץ שרשראות חשיבה מורכבות מקומית על מחשב בלי שרתים כבדים.
- 22.7 GBמשקל הקבצים
- 6,587הורדות בחודש
- 48לייקים
מה זה
מדובר בהמרה של המודל שזוקק מתוך דגם הריסונינג המקורי של דיפסיק ישירות אל תוך ארכיטקטורת לאמה בגודל שמונה מיליארד פרמטרים. הכוונון שלו התמקד ביכולות חשיבה, לוגיקה ובניית שלבי פתרון מפורטים, מה שנותן למודל קטן יחסית התנהגות שמזכירה מודלי ענק במשימות ניתוח.
המפרסמים מציינים תמיכה בחלון הקשר של עד 128 אלף טוקנים. זה אומר שאפשר להזין לו מסמכים ארוכים למדי או דיאלוגים מתמשכים, אם כי כדאי לזכור שזיקוק ממודל גדול לא הופך מודל שמונה מיליארד לעילוי אוטומטי, והוא עדיין מוגבל בידע הכללי שגודל כזה מסוגל לאחסן.
מתאים ל
- פתרון בעיות לוגיות מקומי
הוא מתוכנת לעבוד בשיטת שרשרת חשיבה מפורטת, שמתאימה לניתוח בעיות שלב אחר שלב על חומרה מקומית.
- ניתוח מסמכים ארוכים
תמיכה בעד 128 אלף טוקנים מאפשרת לעבד טקסטים ארוכים בלי לחתוך אותם לחלקים קטנים.
- בדיקות ופיתוח מנותק רשת
פורמט הקבצים מתאים ישירות לכלים מבוססי לאמה סי פי פי לעבודה פרטית ומאובטחת לגמרי.
איפה זה נופל
היוצרים מזהירים במפורש שהמודל יכול לפלוט תוכן פוגעני, מטעה או לא מדויק, ואין שום התחייבות לאמינות התוצאות. מעבר לזה, מודלים קטנים שמחקים שרשראות חשיבה נוטים לעיתים להתברבר בנימוקים משכנעים שנשמעים הגיוניים לחלוטין אבל מובילים למסקנה שגויה מיסודה. אסור להסתמך על תהליך ההסקה שלו בעיניים עצומות.
שאלות
נפוצות
האם המודל ירוץ לי על מחשב נייד רגיל?
הוא יכול לרוץ אם יש לכם מספיק זיכרון עבודה, לפחות 16 גיגה בייט פנויים, אבל על מעבד בלבד המהירות תהיה נמוכה. בשביל תגובה מהירה עדיף כרטיס מסך עם מספיק זיכרון ייעודי.
האם אפשר להשתמש בו ישירות במוצר שלי ללקוחות?
לא מומלץ כרגע, בעיקר כי לא צוין רישיון שימוש ולכן אין אישור חוקי ברור להפצה מסחרית. בנוסף, חובה להוסיף שכבת בדיקה לתוצאות כי הוא עלול לייצר תשובות מטעות.
איך מריצים
הקבצים שוקלים יחד 22.7 גיגה בייט ומחולקים לשישה קבצים, כשהכימוס בוצע באמצעות לאמה סי פי פי על ידי ברטובסקי. כדי להריץ את הגרסאות האלה בצורה חלקה תצטרכו מחשב עם מספיק זיכרון מעבד או כרטיס מסך עם לפחות 12 עד 16 גיגה בייט זיכרון כדי להחזיק את הקובץ וההקשר.
אם אתם צריכים רק שאילתות בודדות או שאין לכם חומרה ייעודית עם זיכרון מהיר, עדיף להשתמש במודל דרך ספק ענן חיצוני. הרצה מקומית משתלמת רק כשרוצים לשמור על פרטיות מוחלטת או כשרוצים לעבוד לגמרי בלי חיבור רשת.
ollama run hf.co/lmstudio-community/DeepSeek-R1-Distill-Llama-8B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 22.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בעמוד המודל לא דווח רישיון שימוש. המשמעות פשוטה: מבחינה משפטית אין לכם הרשאה ברורה להשתמש בו במוצר מסחרי או להפיץ אותו הלאה, וכל שימוש כזה חושף אתכם לסיכון מול היוצרים המקוריים עד שיוגדר רישיון רשמי.