fancyfeast/joy-caption-pre-alpha

מה זה

אתם מעלים תמונה אחת ומקבלים תיאור טקסטואלי שמפרק את מה שרואים בה. הממשק פשוט מאוד, בלי הגדרות מסובכות או פרמטרים שצריך לכוונן ידנית. מה שרואים זה שדה להעלאת קובץ וכפתור הפעלה.

מאחורי הקלעים הקוד מחבר בין שני מודלים נפרדים. קודם רץ מודל הראייה SigLIP של גוגל בגרסת so400m כדי לנתח את הפרטים החזותיים של הקובץ, ואז המידע עובר למודל השפה Llama 3.1 8B של מטא, שרץ בדיוק של bfloat16 ופולט את הפסקה הסופית. התיאור שנוצר באנגלית ונשען על היכולת של המודלים להבין קומפוזיציה, סגנון ואובייקטים.

מתאים ל

• אימון מודלי תמונה

  יצירת כיתובים עשירים ומפורטים לקובצי תמונה עבור אימון מודלים מסוג diffusion.

• תיוג תוכן חזותי

  חילוץ תיאור מילוני של סצנות, חפצים וסגנונות מתוך תמונות בודדות.

• בדיקת שילוב מודלים

  בחינה מעשית של החיבור בין SigLIP של גוגל לבין מודל השפה של מטא.

איפה זה נופל

הקוד מגדיר גרסת קדם אלפא מוקדמת, והממשק דל ביותר. אין כאן אפשרות לשלוט באורך התיאור, להכניס הנחיות מותאמות אישית או לכוון את סגנון הטקסט. התיאור נוצר באנגלית בלבד, ואין אפשרות מובנית להעלות אצוות של תמונות בבת אחת דרך האתר. בנוסף, ה־README בעמוד בכלל מציג תבנית גנרית של צ'אטבוט ולא מתאר את מה שהקוד באמת עושה, כך שאי אפשר להסתמך על התיעוד הקיים.

איך משתמשים

גוררים תמונה לתיבת הקלט ולוחצים על הכפתור שמייצר את הכיתוב. האפליקציה רצה על חומרת Zero A10G של האגינג פייס בעזרת ספריית spaces, מה שאומר שהכרטיס הגרפי מוקצה לפי דרישה. אם הכרטיס במצב שינה, ייתכן שתחכו כמה שניות עד שהשרת יתעורר ויעבד את התמונה. לא צריך לפתוח חשבון מיוחד או להירשם כדי לבדוק אותה בדפדפן, אבל מאחר שמדובר בחומרה משותפת עם תור של משתמשים, העיבוד עלול להתעכב אם יש עומס באותו רגע.

הרישיון

הקוד מופץ תחת רישיון MIT הפתוח והמתירני. עם זאת, התוצאות נשענות על Llama 3.1 ו־SigLIP, ולכן שימוש מסחרי רחב כפוף לתנאי השימוש וההגבלות של מטא וגוגל על המודלים שלהן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗