joy-caption-alpha-two
רץ בדפדפןfancyfeastרישיון לא דווח2024-09-27
מעלים תמונה ומקבלים תיאור טקסטואלי מפורט שנבנה במיוחד לאימון מודלי תמונה או ליצירת פרומפטים. הכלי מיועד למי שיוצר תמונות בבינה מלאכותית וצריך כיתובים מדויקים.
- —הורדות בחודש
- 1,786לייקים
מה זה
אתם מעלים תמונה בפורמט רגיל ובוחרים את סגנון התיאור, האורך שלו והגדרות נוספות. הממשק כולל שדה ייעודי לשם של דמות או אדם, שמשתלב בתיאור רק אם סימנתם אפשרות מתאימה, ובנוסף קיימת תיבה להזנת הנחיה מותאמת אישית שעוקפת את שאר הבחירות. בצד השני מקבלים שתי תיבות טקסט: אחת מציגה את הפרומפט המדויק שנשלח למודל, והשנייה את התיאור שנוצר בפועל.
מאחורי הקלעים רץ שילוב של מודל הראייה google/siglip-so400m-patch14-384 יחד עם מודל שפה שנטען מנקודת ביקורת מקומית ומעבד טקסט בפורמט bfloat16. השילוב הזה קורא את הפיקסלים דרך מעבד התמונה של SigLIP ומייצר את התיאור ברצף, בהתאם להגדרות שבחרתם בתפריטים.
מתאים ל
- תיאור תמונות לאימון
יצירת כיתובים מפורטים ועקביים עבור מאגרי תמונות שמיועדים לכוונון עדין של מודלי מחוללי תמונה.
- הנדסת פרומפטים הפוכה
העלאת תמונה קיימת כדי לקבל נוסח טקסטואלי שמפרק את הסגנון, התאורה והאלמנטים הוויזואליים שבה.
- תיוג דמויות ספציפיות
הזנת שם של אדם או דמות כדי להטמיע אותו בצורה מסודרת בתוך תיאור הסצנה הכולל.
איפה זה נופל
היוצר מציין במפורש שהמודל אינו מודל שיחה כללי, ולכן הוא לא עוקב היטב אחרי הנחיות חופשיות שחורגות מנתוני האימון שלו. אם תכתבו פרומפט מותאם אישית מורכב מדי, התוצאה כנראה תתפרק. בנוסף, שדה שם הדמות לא עובד עצמאית ומשפיע רק אם בחרתם אפשרות נוספת שמחייבת אותו.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך הדפדפן אינה דורשת תשלום. היא רצה על תשתית שיתופית ולכן פתוחה לשימוש ישיר.
האם אפשר להריץ את זה מקומית על המחשב?
הקוד משתמש בספריות פתוחות כמו transformers וטוען את מודל SigLIP, אך הוא דורש גם משקולות מקומיות עבור מודל השפה. ללא גישה לקבצים האלה וחומרה מתאימה עם תמיכה ב־bfloat16, ההרצה המקומית לא תעבוד באופן פשוט.
מה קורה עם התמונות שמעלים לשם?
התמונות נשלחות לשרת שמריץ את הממשק כדי לייצר את התיאור. מכיוון שלא פורסמו תנאי שימוש ייעודיים ליישום, עדיף לא להעלות חומרים רגישים או פרטיים לחלוטין.
איך משתמשים
גוררים תמונה לחלון הקלט, בוחרים סגנון ואורך בתפריטים הנפתחים, ולוחצים על הכפתור Caption. היישום רץ על תשתית zero-a10g, מה שאומר שהעיבוד עצמו מתבצע על מעבד גרפי A10G ברגע שהבקשה נכנסת לביצוע, אבל ייתכן שתמתינו כמה שניות להקצאת החומרה אם יש עומס באותו רגע.
הרישיון
הרישיון לא דווח בדף המקורי. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בתוצאות, וכדאי לקחת זאת בחשבון לפני שמשלבים את הטקסטים שנוצרו במאגרי נתונים או במוצרים פתוחים.