Qwen2.5-0.5B-Instruct-GGUF

מה זה

מדובר במודל הוראות קטן מאוד עם פחות מחצי מיליארד פרמטרים, שהומר לפורמט GGUF כדי לרוץ ישירות על מעבדים רגילים דרך כלים כמו llama.cpp. למרות הגודל המזערי, הסדרה הזו כוללת שיפורים בהבנת קוד, פתרון מתמטיקה בסיסית ויצירת מבני נתונים כמו JSON, לצד עמידות טובה יותר להנחיות מערכת משתנות.

הוא תומך בהקשר מלא של 32,768 טוקנים ומסוגל לייצר עד 8,192 ברצף אחד, נתון חריג למשקל כזה. היוצרים מדווחים גם על תמיכה בלמעלה מ־29 שפות, כולל ערבית, אנגלית וצרפתית, אבל עברית לא מוזכרת ברשימה המפורטת בכרטיס.

מתאים ל

• חילוץ נתונים ל־JSON

  הוא אומן להחזיר מבנים מוגדרים ויכול לרוץ על השרת המקומי כדי לפרק טקסט לשדות ברורים.

• עוזר מקומי למכשיר קצה

  המשקל הקל מאפשר להריץ אותו ישירות על מחשב אישי או חומרה חלשה בלי חיבור לאינטרנט.

• סיווג טקסט מהיר

  מתאים למיון הודעות או ניתוב פניות פשוט, בלי לייצר עלויות קריאה לשרתים חיצוניים.

איפה זה נופל

עם 0.49 מיליארד פרמטרים בלבד, אין כאן קסמים. הידע הכללי מוגבל מאוד, ורמות הכיווץ הנמוכות יותר כמו q2_K יפגעו עוד יותר בהיגיון וביציבות הפלט. הוא יתקשה מאוד במשימות הסקה מורכבות, והתמיכה בעברית אינה מובטחת ולא נבדקה רשמית בכרטיס המודל.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

מורידים קובץ בודד באחת מרמות הדחיסה, למשל q5_K_M או q4_K_M, ומריצים אותו ישירות עם llama-cli בלי צורך בהתקנות מסובכות של פייתון. קובצי ה־GGUF הקלים תופסים שבריר זיכרון, כך שכל מחשב נייד ישן או שרת ענן פשוט מבוסס CPU יריץ אותו בלי להזיע.

אם אתם צריכים רק תיוג מהיר של טקסט או חילוץ מידע מקומי, אין טעם לשלם על API חיצוני. מצד שני, אם אתם מחפשים נימוק מעמיק או עברית מדויקת, עדיף לפנות למודלים ענקיים ברשת.

ollama run hf.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 5.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• qwen2.5-0.5b-instruct-fp16.gguf1.3 GB
• qwen2.5-0.5b-instruct-q8_0.gguf675.7 MB
• qwen2.5-0.5b-instruct-q6_k.gguf650.4 MB
• qwen2.5-0.5b-instruct-q5_k_m.gguf522.2 MB
• qwen2.5-0.5b-instruct-q4_k_m.gguf491.4 MB
• qwen2.5-0.5b-instruct-q5_0.gguf490.5 MB
• qwen2.5-0.5b-instruct-q3_k_m.gguf432.0 MB
• qwen2.5-0.5b-instruct-q4_0.gguf428.7 MB
• qwen2.5-0.5b-instruct-q2_k.gguf415.2 MB
• LICENSE11.3 KB
• README.md4.9 KB
• .gitattributes1.6 KB

הרישיון

המודל מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע בתוך מוצר סגור ולהפיץ הלאה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗