PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF

קוד פתוח

bartowskiapache-2.02025-05-23

gguf
general-purpose
roleplay
storywriting
chemistry

גרסת קוונטיזציה של מודל 24B המכוון לעיצוב אישיות ותקשורת. הוא מתאים למי שרוצה להריץ מודל שיחה בינוני מקומית בתוכנות כמו LM Studio בלי להחזיק כרטיס שרת.

351 GBמשקל הקבצים
3,775הורדות בחודש
43לייקים

מה זה

מדובר במודל שפה בגודל 24 מיליארד פרמטרים שנוצר במקור על ידי PocketDoc, וכאן מוגש בפורמט GGUF על ידי bartowski לאחר שעבר דחיסה באמצעות imatrix בגרסת llama.cpp b5466. הכיוון המרכזי של הגרסה הזו הוא יצירת טקסט עם דגש על אישיות ואופי בשיחה. המודל תומך בשמונה שפות, ביניהן אנגלית, ערבית, גרמנית, צרפתית, ספרדית, הינדי, פורטוגזית ויפנית, אך עברית אינה מופיעה ברשימת השפות הרשמית שלו.

הקובץ המקורי בפורמט bf16 שוקל 47.15GB, אבל חבילת הקבצים מציעה מגוון רחב של רמות דחיסה, החל מאיכות מקסימלית בפורמט Q8_0 ששוקל 25.05GB ועד גרסאות IQ2 קיצוניות שיורדות לכיוון 7.21GB. המשמעות של השימוש ב־imatrix היא שגם בדחיסות אגרסיביות יחסית, אובדן המידע בחישוב המשקלים ממוזער ביחס לקוונטיזציה רגילה.

מתאים ל

סוכני שיחה מותאמים אישית
האימון הייעודי לאישיות מתאים להרצת דמויות ובוטים בתוך LM Studio או שרתי llama.cpp.
עיבוד טקסט באנגלית ובשפות זרות
תמיכה מובנית בשפות כמו צרפתית, גרמנית וערבית מאפשרת יצירת תוכן מגוון במערכות מקומיות.
בדיקות מקומיות על חומרת צרכנים
גרסאות ה־Q4 השונות נכנסות בכרטיסי 16GB VRAM סטנדרטיים ומאפשרות פיתוח אופליין מלא.

איפה זה נופל

עברית אינה נכללת בשפות הנתמכות, ולכן אין להסתמך עליו למשימות בשפה המקומית ללא בדיקה יסודית של פליטת הזיות ושיבושי תחביר. בנוסף, חלון ההקשר המדויק אינו מצוין בעמוד, וכרטיס המודל אינו כולל מבחני ביצועים (benchmarks) או מדידות איכות שמשוות אותו למודלים מובילים אחרים בגודל 24B. שימו לב גם לפורמט הפרומפט הספציפי שמשתמש בתגיות gMASK ו־sop, סטייה מהמבנה הזה תוביל לתשובות שבורות או לירידה חדה באיכות הפלט.

שאלות
נפוצות

איזה קובץ הכי כדאי להוריד מתוך הרשימה?

הקובץ המומלץ להתחלה הוא PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M.gguf ששוקל 14.33GB. הוא שומר על איזון יציב בין מהירות לאיכות הטקסט. אם החומרה שלכם מוגבלת יותר בזיכרון, אפשר לרדת לגרסת IQ4_XS ששוקלת 12.76GB.

האם המודל יפעל בצורה תקינה בעברית?

עברית אינה מוגדרת ברשימת השפות של המודל, שכוללת אנגלית, ערבית, ספרדית ועוד כמה שפות נפוצות. ייתכן שהוא יזהה מילים בודדות, אבל התחביר צפוי להיות משובש לחלוטין. אם המטרה היא עבודה בעברית, עדיף לחפש מודל שאומן ישירות עליה.

איך צריך לנסח את הפנייה כדי לקבל תוצאה טובה?

המודל תלוי לחלוטין במבנה קלט מסוים שמתחיל בתגית gMASK ולאחר מכן sop. יש להזין את הוראות המערכת בין תגיות system ו־endoftext, ואת פניית המשתמש בין user ו־endoftext. בלי הפורמט המדויק הזה, המנוע יתקשה להבין את ההקשר.

איך מריצים

בשביל להריץ את המודל הזה בצורה סבירה, תצטרכו כרטיס מסך עם זיכרון ייעודי שמתאים לקובץ שבחרתם בתוספת גיגה או שניים לתקורת זיכרון והקשר. גרסת ברירת המחדל המומלצת לרוב האנשים, Q4_K_M, שוקלת 14.33GB ולכן דורשת כרטיס של 16GB VRAM כדי לרוץ כולו על המעבד הגרפי. אם יש לכם כרטיס של 24GB, תוכלו לכוון לגרסאות Q5_K_M במשקל 16.76GB או Q6_K במשקל 19.35GB בלי לפזול לזיכרון המערכת.

אפשר לטעון את הקבצים ישירות לתוך LM Studio או להריץ אותם בטרמינל דרך llama.cpp. אם אתם עובדים על מעבדי ARM או AVX2, קובץ Q4_0 תומך בסידור משקלים אוטומטי בזמן ריצה לשיפור המהירות. אם אין לכם חומרה מקומית שמסוגלת להחזיק לפחות 14GB של משקלים בזיכרון, חבל להיאבק עם חלוקה אטית ל־RAM, ובמקרה כזה עדיף לפנות לפתרונות ענן מנוהלים.

ollama run hf.co/bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 351 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש במוצרים סגורים, בתנאי ששומרים על הודעת זכויות היוצרים והטקסט של הרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗