joy-caption-alpha-one
רץ בדפדפןfancyfeastרישיון לא דווח2024-09-21
הכלי מייצר תיאורי תמונה מילוליים ומפורטים עבור מי שמאמן מודלים או מחפש פרומפטים מדויקים. אתם מעלים תמונה, בוחרים סגנון ומקבלים טקסט מנוסח תוך שניות.
- —הורדות בחודש
- 343לייקים
מה זה
אתם מעלים קובץ תמונה, מגדירים את אורך הטקסט הרצוי, בוחרים סוג תיאור וטון כתיבה, ולוחצים על הכפתור כדי לקבל פסקת תיאור מלאה.
מאחורי הקלעים רץ שילוב של שני מודלים כבדים. הראייה הממוחשבת מבוססת על SigLIP של גוגל שמנתח את הפיקסלים, ועל גביו יושב Llama 3.1 8B של מטא שמפרש את הנתונים ובונה את המשפטים באנגלית. הממשק מאפשר לייצר גם תגיות מסוג rng-tags או פורמט של training prompt לאימון מודלי תמונה, אך במצבים אלה בחירת הטון מנוטרלת לפי הקוד.
מתאים ל
- אימון מודלי תמונה
יצירת פרומפטים מובנים מדוגמאות קיימות לקראת אימון LoRA או מודלי דיפוזיה.
- הנדסת פרומפטים הפוכה
חילוץ תיאור טקסטואלי עשיר מתמונה מוצלחת כדי לשחזר את הסגנון שלה במחוללים.
- תיוג מאגרי תמונות
הפקת טקסט חלופי ותגיות מפורטות לקבצים גרפיים ללא צורך בכתיבה ידנית.
איפה זה נופל
המודל פולט תיאורים באנגלית בלבד ואין כאן תמיכה בעברית. בנוסף, לא מדובר בצ'אט רב סבבים אלא בכלי שמבצע משימה אחת של תיוג, בלי אפשרות לתקן או לשאול שאלות המשך על התמונה. צריך לזכור שזו גרסת אלפא ראשונית, והדיוק בפרטים קטנים או מורכבים במיוחד עלול לפספס.
שאלות
נפוצות
האם הכלי הזה עולה כסף?
לא, הגישה דרך הדפדפן פתוחה וחינמית לחלוטין. הוא נשען על חומרת ZeroGPU שמוקצית לפרויקטים כאלה ללא דרישת תשלום מצד המשתמש.
מה קורה לתמונות שאני מעלה לכאן?
התמונות נשלחות לשרת שמריץ את המודל לצורך עיבוד הנתונים ויצירת הטקסט. לא כדאי להעלות לשם חומרים רגישים, מסמכים מזהים או מידע פרטי.
האם אפשר להריץ את המערכת על המחשב שלי?
הקוד טוען את Llama 3.1 8B יחד עם SigLIP באמצעות ספריית transformers של פייתון. כדי להריץ את זה מקומית תצטרכו כרטיס מסך חזק של אנבידיה עם מספיק זיכרון וידאו ייעודי.
במה זה שונה משימוש רגיל בלאמה?
לאמה לבדה עוסקת בטקסט בלבד ולא קוראת תמונות ישירות. המפתח חיבר אליה את SigLIP של גוגל ומשקלים ייעודיים שמתרגמים את התמונה לייצוג שהמודל הטקסטואלי מבין.
איך משתמשים
גוררים תמונה לחלון הקלט, בוחרים את הפרמטרים מתוך שלוש תיבות הבחירה ולוחצים על Caption. היישום רץ על מעבד גרפי מדגם A10G דרך מנגנון ZeroGPU, כך שהוא מתעורר לפי דרישה. זמן התגובה תלוי בעומס על השרתים, אך החומרה הזו חזקה מספיק כדי לפלוט תיאור בכמה שניות בודדות אם אין תור של משתמשים אחרים ברקע.
הרישיון
היוצר לא פרסם רישיון שימוש מוגדר עבור הקוד והחלל הזה. במצב כזה אין אישור מסודר לשימוש מסחרי בתוצאות, אם כי המודלים ברקע כפופים לרישיונות המקוריים של גוגל ומטא. התמונות שאתם מעלים מגיעות לשרתי האחסון של השירות.