t5-v1_1-xxl-encoder-gguf

מה זה

מדובר בהמרה של מקודד הטקסט מתוך T5 v1.1 XXL של גוגל לפורמט GGUF, שמיועד בעיקר לשימוש לצד מודלים של יצירת תמונות או להפקת וקטורים. המודל כולל רק את צד המקודד, כך שאי אפשר לייצר איתו טקסט חופשי או לנהל שיחה, אלא רק לתרגם קלט טקסטואלי לייצוג מתמטי.

המשקל הכולל של כלל הגרסאות מגיע ל־52.8 גיגה בייט ומחולק ל־13 קבצים לפי רמות דיוק שונות. הייחוד כאן הוא היכולת לטעון רכיב כבד מאוד מתוך תהליכי עבודה מקומיים כמו ComfyUI בלי להחזיק משאבי ענק שנשמרים למודלים מלאים.

מתאים ל

• הזנת טקסט למחוללי תמונות

  חיבור קל לתוך ComfyUI לצורך פיענוח הנחיות טקסט מורכבות לפני יצירת תמונה.

• חילוץ וקטורים בטקסט אנגלי

  הרצה מקומית עם llama-embedding להפקת ייצוגים מתמטיים של משפטים בלי תלות ברשת.

• עבודה על חומרה ביתית

  הפעלת מקודד ענק של גוגל על כרטיסי מסך רגילים תודות לחיתוך בפורמט GGUF.

איפה זה נופל

זה רק מקודד באנגלית. אם תנסו לתת לו פרומפטים בעברית או לבקש ממנו להשלים משפט, הוא לא יעשה עם זה כלום. מעבר לזה, בגלל היעדר כיול באמצעות imatrix, כל קובץ מתחת לרמת Q5 עלול לאבד פרטים קריטיים בהבנת הנחיות מורכבות, מה שיפגע ישירות באיכות התמונות שתקבלו בסוף התהליך.

איך מריצים

את המשקלים מריצים ישירות דרך כלי ההטמעה של llama.cpp או באמצעות הרחבת ComfyUI-GGUF שמחברת אותו למודלים גרפיים. הקבצים הגדולים יותר דורשים כרטיס מסך עם זיכרון וידאו מכובד, אבל אפשר לרדת ברמת הקוונטיזציה כדי לדחוף אותו לכרטיסים צנועים יותר.

היוצר מציין במפורש שהכיבוס נעשה בלי imatrix כי התשתית לא תמכה בזה בזמן הבנייה, ולכן מומלץ לקחת לפחות את גרסת Q5_K_M. אם אתם יורדים מתחת לזה כדי לחסוך מקום, קחו בחשבון ירידה מורגשת בדיוק ההבנה של הטקסט.

ollama run hf.co/city96/t5-v1_1-xxl-encoder-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 52.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• t5-v1_1-xxl-encoder-f32.gguf19.1 GB
• t5-v1_1-xxl-encoder-f16.gguf9.5 GB
• t5-v1_1-xxl-encoder-Q8_0.gguf5.1 GB
• t5-v1_1-xxl-encoder-Q6_K.gguf3.9 GB
• t5-v1_1-xxl-encoder-Q5_K_M.gguf3.4 GB
• t5-v1_1-xxl-encoder-Q5_K_S.gguf3.3 GB
• t5-v1_1-xxl-encoder-Q4_K_M.gguf2.9 GB
• t5-v1_1-xxl-encoder-Q4_K_S.gguf2.7 GB
• t5-v1_1-xxl-encoder-Q3_K_L.gguf2.5 GB
• t5-v1_1-xxl-encoder-Q3_K_M.gguf2.3 GB
• t5-v1_1-xxl-encoder-Q3_K_S.gguf2.1 GB
• .gitattributes2.3 KB
• README.md710 B

הרישיון

רישיון Apache 2.0 פתוח לגמרי ומתיר שימוש מסחרי, שינוי קוד והפצה. אתם יכולים לשלב אותו במוצרים פרטיים או מסחריים בלי לשלם תמלוגים, כל עוד אתם שומרים על תנאי הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗