umt5-xxl-encoder-gguf

קוד פתוח

city96apache-2.02025-03-04

gguf
en
endpoints_compatible

ההמרה הזו לוקחת רק את האנקודר של גוגל ומנגישה אותו בפורמט קל לעבודה מקומית. הוא נועד בעיקר כדי לדחוף טקסט מורכב למודלים של יצירת תמונה ווידאו.

61.5 GBמשקל הקבצים
99,262הורדות בחודש
186לייקים

מה זה

מדובר בחלק המקודד בלבד של מודל ענק מבית גוגל, שנארז מחדש בקבצי GGUF כדי לחסוך מקום במעבד הגרפי. במקום להחזיק ארכיטקטורה מלאה שמייצרת טקסט, לוקחים כאן רק את המנוע שמבין טקסט והופך אותו לווקטורים חדים, שזה בדיוק הרכיב שצריך כדי להנחות מודלים חזותיים מתקדמים.

הייחוד כאן הוא השילוב הישיר בסביבות פיתוח מקומיות כמו קומפי בלי להסתבך עם סביבות פייתון כבדות של פייטארץ'. במקום להוריד עשרות ג'יגה בפורמט מקורי, הקבצים כאן מחולקים לרמות דיוק שונות ומאפשרים למחשב מקומי חזק לעבד הנחיות טקסטואליות בלי לקרוס.

מתאים ל

הנחיית מודלי תמונה
המרת תיאורי טקסט מורכבים לווקטורים עשירים שמזינים מחוללי תמונה מקומיים.
יצירת וידאו מטקסט
קידוד פרומפטים ארוכים הדורשים הבנה סמנטית עמוקה במערכות וידאו גנרטיבי.
חילוץ וקטורים מקומי
שימוש ישיר בכלי האמבדינגס של למה סי פי פי לניתוח טקסטואלי באנגלית.

איפה זה נופל

הקוונטיזציה כאן נעשתה בלי כיול של מטריצת חשיבות כי התוכנה לא תמכה בזה בזמן הבנייה. זה אומר שאם תרדו לגרסאות דחוסות מדי מתחת לרמה המומלצת, איכות הווקטורים תיפגע ותרגישו ירידה בדיוק של יצירת התמונות. בנוסף, המודל מתמקד באנגלית בלבד ולא מייצר טקסט בעצמו, אז הוא לא יתאים למשימות שיחה או כתיבה.

שאלות
נפוצות

אפשר לנהל שיחה עם המודל הזה?

לא. מדובר בחלק האנקודר בלבד, שמטרתו להבין טקסט ולהמיר אותו לייצוג מתמטי. אין לו את החלק שמייצר מילים חזרה ולכן הוא לא יכול לשמש כצ'אטבוט בשום צורה.

האם הוא מבין פרומפטים בעברית?

המודל הוגדר עבור השפה האנגלית בלבד. אם תזינו לו טקסט בעברית התוצאות יהיו גרועות עד חסרות משמעות, ועדיף לתרגם את הפרומפט מראש.

באיזו גרסה כדאי להשתמש אם הזיכרון שלי מוגבל?

עדיף לא לרדת מתחת לרמת Q5_K_M כדי לא לפגוע באיכות הקידוד. אם אין לכם מספיק זיכרון בחומרה, אפשר לנסות גרסאות קטנות יותר אך יש לקחת בחשבון ירידה מורגשת ברמת הדיוק.

איך מריצים

אתם מריצים את המשקלים דרך הכלי של למה סי פי פי לחילוץ אמבדינגס, או ישירות בתוך קומפי יו איי בעזרת התוסף הייעודי שהיוצר תחזק. סך כל הקבצים שוקל מעל שישים ג'יגה בייט, כך שאתם חייבים כרטיס מסך רציני עם זיכרון רחב, או לחלופין המון זיכרון מערכת אם אתם מוכנים לסבול איטיות.

היוצר ממליץ במפורש לבחור בגרסת Q5_K_M ומעלה כדי לשמור על איכות התוצאה. אם אין לכם חומרה פיזית עם עשרות גיגה זיכרון פנוי, עדיף להשתמש במודל שמארח מישהו אחר בענן מאשר לנסות להריץ משהו בכובד הזה.

ollama run hf.co/city96/umt5-xxl-encoder-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F3222.7 GB F1611.4 GB Q8_06.0 GB Q6_K4.7 GB Q5_K_M4.1 GB Q5_K_S4.1 GB Q4_K_M3.7 GB Q4_K_S3.5 GB Q3_K_M3.1 GB Q3_K_S2.9 GB

הקבצים

12 קבצים במאגר, 61.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י שתיים אפס, שזה רישיון פתוח ומתירני לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו חופשי, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗