joy-caption-pre-alpha-mod

מה זה

אתם מעלים תמונה מהמחשב או מדביקים אותה ישירות מלוח הגזירים, בוחרים את סוג התיאור, האורך והגדרות נוספות, ומקבלים תיאור טקסטואלי מלא לצד הפרומפט המדויק שנשלח לעיבוד. יש אפשרות להוסיף שם של דמות אם התיאור דורש זאת, או להכניס הוראה חופשית שדורסת את שאר ההגדרות.

מאחורי הקלעים רץ שילוב של מודל הראייה siglip-so400m-patch14-384 עם מודלי שפה שונים ממשפחת Llama 3 וגרסאות Joy Caption Alpha Two. הממשק מאפשר להחליף מודלים, לבחור קובצי GGUF, להפעיל קוונטיזציה של NF4 או להשתמש בחיבורי LoRA ייעודיים. בהגדרות המתקדמות שולטים גם בטמפרטורה, במדד Top-P ובאורך הטקסט המקסימלי עד 4096 תווים.

מתאים ל

• תיוג תמונות לאימון

  יצירת תיאורים מפורטים עבור מאגרי תמונות שמיועדים לאימון מודלי ציור כמו סטייבל דיפיוז'ן.

• הנדסת פרומפטים הפוכה

  חילוץ סגנון, תוכן וקומפוזיציה מתמונה קיימת כדי לשחזר או לשנות אותה בכלי יצירה אחרים.

• ניסויי מודלי ראייה

  בדיקת שילובי מודלי שפה שונים וקובצי GGUF על אותה תמונה כדי להשוות איכות פיענוח.

איפה זה נופל

הבעיה המרכזית היא שהעמוד מושהה ולא רץ כרגע, וגם כשהוא מופעל על מעבד רגיל הוא פשוט לא פועל בלי GPU. בנוסף, הקוד מזהיר שגרסת Alpha Two לא יודעת לעקוב אחרי הוראות כלליות מחוץ לנתוני האימון שלה, כך שפרומפטים מותאמים אישית עלולים להניב תוצאות עקומות. המודל מיועד לתיאור תמונות בלבד ולא לשיחה חופשית או ניתוח לוגי מורכב.

איך משתמשים

כדי להתחיל מעלים תמונה, מתאימים את ההגדרות ולוחצים על Caption. הממשק כולל כפתור התחברות דרך Hugging Face, אבל כרגע האפליקציה נמצאת במצב מושהה על חומרת מעבד בסיסית. היוצר עצמו מציין במפורש שההדגמה הזאת לא עובדת על CPU ודורשת שכפול של הסביבה לחומרה עם מאיץ גרפי, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להעביר אותה למכונה מתאימה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית או פרטית. לגבי התמונות שאתם מעלים והטקסטים שנוצרים, הקוד מגדיר מחיקת מטמון אוטומטית בין 60 שניות לשעה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗