DeepSeek-R1-Distill-Qwen-32B-4bit

מה זה

מדובר בהמרה של מודל ההסקה המזוקק של דיפסיק, המבוסס על הארכיטקטורה של קוון עם קרוב לשלושים ושלושה מיליארד פרמטרים, ישירות לפורמט שמתאים למחשבי אפל. במקום להריץ את המשקלים המלאים שדורשים חומרה כבדה ויקרה, עשו כאן כימות לארבעה ביט כדי שתוכלו לטעון אותו על זיכרון של מחשב אישי.

הייחוד כאן הוא השילוב בין שיטת ההסקה של דיפסיק לבין הבסיס החזק של קוון, יחד עם חלון הקשר ענקי של מעל מאה ושלושים אלף טוקנים. זה אומר שאתם יכולים להזין לו קבצי קוד ארוכים, תיעוד טכני נרחב או מסמכים מורכבים, ולתת לו לחשוב ולפרק את הבעיה לפני שהוא עונה, בלי להיחנק ממגבלת מקום בזיכרון העבודה.

מתאים ל

• ניתוח קוד מקומי

  חלון הקשר ענק מאפשר להזין פרויקט שלם ולמצוא באגים בלי להוציא קוד קנייני לענן.

• פתרון בעיות לוגיות

  תהליך ההסקה המובנה מסייע לפרק משימות אלגוריתמיות מורכבות שלב אחר שלב ישירות על המק.

• עיבוד מסמכים רגישים

  הרצה מקומית מוחלטת שמתאימה לניתוח טקסטים ארוכים ופרטיים שלא יכולים לעבור דרך שרתי צד שלישי.

איפה זה נופל

כרטיס המודל לא חושף ציוני מבחנים, מדדי דיוק או מגבלות רשמיות, ולכן חובה לבדוק אותו עצמאית לפני שסומכים עליו. הכימות לארבעה ביט עלול לפגוע באיכות הפלט במשימות שדורשות דיוק מתמטי קיצוני לעומת משקלי המקור. בנוסף, מודלים מסוג זה נוטים לפעמים להאריך מאוד בתהליך החשיבה שלהם, מה שגוזל זמן יקר ומאט את קבלת התשובה הסופית. צריך גם לבחון היטב איך הוא מתמודד עם עברית, שכן בסיס האימון ממוקד בעיקר באנגלית ובסינית.

איך מריצים

כדי להריץ אותו מתקינים את חבילת mlx-lm בפייתון וטוענים את המשקלים בקוד קצר שמפעיל את תבנית השיחה המובנית. הקבצים שוקלים קצת יותר משבעה עשר גיגהבייט, כך שתצטרכו מק עם לפחות עשרים וארבעה או שלושים ושניים גיגהבייט של זיכרון אחוד כדי שהמערכת לא תיחנק כשההקשר גדל.

אם יש לכם מחשב עם שישה עשר גיגהבייט זיכרון בלבד, הוא כנראה יקרוס או יזחל. במצב כזה, או אם אתם צריכים לשרת עשרות משתמשים במקביל בזמן תגובה מהיר, עדיף להשתמש בחיבור לשירות ענן מרוחק ולא להעמיס על המחשב המקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 17.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.4 GB
• model-00002-of-00004.safetensors5.3 GB
• model-00004-of-00004.safetensors2.4 GB
• tokenizer.json11.4 MB
• model.safetensors.index.json143.0 KB
• tokenizer_config.json6.8 KB
• .gitattributes1.6 KB
• README.md967 B
• config.json868 B
• special_tokens_map.json485 B

הרישיון

בעמוד המודל לא דווח רישיון כלל. המצב הזה מציב סיכון משפטי ברור, כי אין לכם היתר מפורש להשתמש בו במוצרים מסחריים או להפיץ אותו הלאה. אם אתם בונים פתרון לחברה או ללקוחות, כדאי לבדוק קודם את תנאי השימוש של מודל המקור המקורי.

הרישיון המלא בעמוד המודל ↗