TheDrummer_Cydonia-24B-v4.3-GGUF

קוד פתוח

bartowskiרישיון לא דווח2025-12-07

gguf
text-generation
endpoints_compatible
conversational

גרסת כיול וכימות מקומית למודל שפה של עשרים וארבעה מיליארד פרמטרים. היא פונה למי שמחפש מודל בגודל ביניים ומעדיף להריץ אותו ישירות על החומרה שלו בפורמט GGUF.

351 GBמשקל הקבצים
21,974הורדות בחודש
67לייקים

מה זה

המאגר הזה מספק המרות GGUF של המודל Cydonia בגרסה 4.3, שנוצרו באמצעות llama.cpp עם כיול imatrix. מדובר במודל שנועד ליצירת טקסט כללית, כשהיתרון המרכזי כאן הוא מגוון רחב מאוד של רמות דיחוס, מקבצים זעירים ועד משקלים מלאים. זה נותן גמישות למי שרוצה לבדוק התנהגות של מודל 24B בלי להתחייב למשקל מלא של עשרות גיגה בייטים.

במקום לקבל קובץ יחיד, המפרסם מציע כאן מעל עשרים גרסאות שונות שנבנו בעזרת סט נתונים ייעודי לכיול. חלק מהגרסאות משלבות דיחוס מדויק יותר למשקלי הקלט והפלט כדי לשמור על איכות הפלט גם כשרמת הדיחוס הכללית עולה. מעבר לפרטים הטכניים על תהליך הכימות, דף המודל לא מציג מבחני ביצועים או השוואות איכות ספציפיות ליכולות של סידוניה עצמו.

מתאים ל

עבודה מקומית ב־LM Studio
מאפשר להריץ מודל בגודל 24B במחשב אישי ללא חיבור רשת וללא תלות בספק חיצוני.
הסקה על מעבדי ARM ו־AVX
גרסאות Q4 ו־IQ מנצלות סידור מחדש של משקלים בזמן אמת לשיפור קצב יצירת הטקסט.
ניסויי דיחוס זיכרון
מגוון המשקלים מאפשר לבדוק את הגבול שבו פגיעת הכימות משבשת את איכות הפלט.

איפה זה נופל

דף המודל לא כולל שום מידע על נתוני האימון המקוריים, מה שמקשה לדעת באילו משימות הוא מצטיין ואיפה הוא ממציא עובדות. בנוסף, אין נתונים לגבי יכולות המודל בשפות שאינן אנגלית, ולכן יש לבדוק אותו היטב לפני שימוש בעברית. בגרסאות הדיחוס הנמוכות במיוחד, מתחת ל־Q3, הירידה באיכות התשובות והיציבות הלוגית מורגשת מאוד ולא מתאימה לעבודה שדורשת דיוק.

שאלות
נפוצות

איזה קובץ כדאי להוריד לשימוש כללי?

הגרסה המאוזנת והמומלצת לרוב המערכות היא Q4_K_M, ששוקלת 14.33GB ומספקת יחס טוב בין צריכת זיכרון לאיכות. אם הזיכרון הגרפי מוגבל ל־8GB בלבד, עדיף לבדוק גרסאות מכוילות כמו IQ2_M, אך יש לקחת בחשבון ירידה חדה בדיוק.

האם חייבים להוריד את כל הקבצים במאגר?

ממש לא, המשקל הכולל של המאגר הוא 351GB בגלל ריבוי הגרסאות. מורידים רק קובץ GGUF בודד שמתאים לגודל הזיכרון ולחומרה שלכם.

איך מריצים

בשביל להריץ גרסה מומלצת סטנדרטית כמו Q4_K_M צריך כרטיס מסך עם לפחות 16GB זיכרון, שכן הקובץ שוקל 14.33GB ויש לקחת בחשבון מקום להקשר. אם יש לכם כרטיס של 24GB, תוכלו לכוון לגרסאות Q6 או Q8 כדי לקבל דיוק מרבי בלי זליגה לזיכרון המערכת. מי שמוגבל בחומרה יכול לרדת לגרסאות ה־IQ הקטנות שמתחילות סביב 7.21GB, אך הן ידרשו פשרות ברמת הפלט או במהירות על מעבדים.

ההרצה מתבצעת ישירות דרך llama.cpp או כלים מבוססי ממשק כמו LM Studio. הפורמט דורש תבנית פרומפט מסוימת עם תגיות מערכת והוראות, וחובה להקפיד עליה כדי לקבל תוצאות קוהרנטיות. אם אין לכם חומרה ייעודית עם מספיק זיכרון גרפי, הקריאה לשרת מרוחק תהיה מהירה וזולה יותר מהרצה איטית על מעבד מרכזי בלבד.

ollama run hf.co/bartowski/TheDrummer_Cydonia-24B-v4.3-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 351 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המודל המקורי ושל קובצי הכימות לא דווח בדף המאגר. המשמעות היא שאין אישור מפורש לשימוש מסחרי, ולא ברור אילו הגבלות חלות על הפצה או שילוב שלו במוצר פעיל. לשימוש עסקי, מומלץ להימנע עד לבירור מול היוצר המקורי.

הרישיון המלא בעמוד המודל ↗