GPT
T

TIPO-500M

קוד פתוח

KBlueLeafother2024-09-28

  • transformers
  • safetensors
  • gguf
  • llama
  • text-generation

הוא מרחיב ומשפר פרומפטים קצרים ליצירת תמונות מבוססות טקסט. המודל שוקל מעט מאוד, רץ על חומרה בסיסית ומיועד לעבודה מקומית ישירות מול כלי יצירה קיימים.

  • 508Mפרמטרים
  • 2,048טוקנים בהקשר
  • 2.8 GBמשקל הקבצים
  • 54,429הורדות בחודש

מה זה

מדובר במודל שפה בארכיטקטורת LLaMA עם 508 מיליון פרמטרים, שתפקידו לעשות אופטימיזציה לפרומפטים שמזינים למודלי תמונה. הרעיון כאן הוא לקבל קלט קצר של מילים בודדות או תגיות, ולהרחיב אותו לפרומפט מלא ועשיר בפרטים בלי שהמשתמש יצטרך להנדס ניסוחים ארוכים בעצמו.

הוא אומן על שילוב של Danbooru, GBC10M ו־Coyo11M בהיקף של 30 מיליארד טוקנים, כך שהוא מבין היטב סגנונות אנימה, תיוגים ודאטה ויזואלי מהרשת. נתוני הבדיקות בתיעוד מתייחסים לגרסת ה־200M של המשפחה, ושם נראה ציון אסתטיקה של 6.25 מול 6.36 של GPT-4o-mini בבדיקת תגיות נוף, לצד שמירה טובה יותר על המבנה המקורי. גרסת ה־500M נועדה לתת בסיס פרמטרים רחב יותר לאותה המשימה בדיוק.

מתאים ל

  • הרחבת פרומפטים מקומית

    מתאים לחיבור ישיר לתוך ComfyUI לצורך הוספת פרטים ותגיות לתיאורים קצרים.

  • שרשור אוטומטי בממשקי תמונה

    יושב כשלב מקדים שמייצר טקסט עשיר עבור מודל התמונה בלי צורך בשרת חיצוני.

  • עיבוד תגיות בסגנון אנימה

    מכיר לעומק את מאגרי Danbooru ויודע להשלים מבני תגיות מורכבים במדויק.

איפה זה נופל

זה לא מודל שפה כללי. הוא מוגבל לחלון הקשר קצרצר של 1,024 טוקנים באימון, ולא יודע לנהל שיחה, לכתוב קוד או לענות על שאלות. התוצאות מבוססות על דאטה סטים ספציפיים מאוד של תמונות, בעיקר דנבורו וקולקציות רשת, כך שההטיות שלו מוכוונות לסגנונות האלה.

בנוסף, כל המדידות וההשוואות המוצגות בדף שייכות לגרסת ה־200M ולא לגרסה הזו עצמה. אין בכרטיס שום מידע על תמיכה בשפות שאינן אנגלית, ועברית כלל לא רלוונטית כאן.

שאלות
נפוצות

האם אפשר להשתמש בו כמנוע שיחה או צ'אט?

לא. המודל אומן אך ורק למשימה של הרחבה ודיוק של תיאורי תמונות, והוא חסר את הידע והמבנה הנדרשים לשיחה כללית.

איזו חומרה צריך כדי להריץ אותו בלי צוואר בקבוק?

המשקל של הקבצים הוא 2.8 גיגה בייט בלבד. כמעט כל מעבד גרפי ביתי מודרני, אפילו עם זיכרון צנוע, יריץ אותו בקלות לצד מודל התמונה הראשי.

איך מריצים

בגלל גודל של חצי מיליארד פרמטרים ומשקל קבצים של 2.8 גיגה בייט בדיוק של float32, אפשר להריץ אותו בלי בעיה על כרטיס מסך ביתי רגיל. אין שום צורך לפנות לשרתים חיצוניים או לחפש API בתשלום, הוא תוכנן מראש לפעול מקומית ובמהירות.

החיבור מתבצע דרך ספריית transformers, או בפועל כתוסף ייעודי שנקרא z-tipo-extension ומותאם לממשקי ComfyUI ו־stable-diffusion-webui. אם אתם עובדים עם SD-Next, שימו לב שהמפתח מצהיר במפורש שהסביבה הזו לא נבדקה.

ollama run hf.co/KBlueLeaf/TIPO-500M:F16

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הרישיון

הרישיון מוגדר תחת השם Kohaku License 1.0, ולא תחת רישיונות קוד פתוח סטנדרטיים כמו MIT או Apache. תנאי הרישיון דורשים בדיקה ישירה של קובץ הרישיון המצורף לפני שילוב שלו במוצר מסחרי, כדי לוודא שאין הגבלות הפצה או שימוש שמסכנות את הפרויקט.

הרישיון המלא בעמוד המודל ↗