Image-to-Story
רץ בדפדפןfffiloniרישיון לא דווח2023-08-04
מעלים תמונה, בוחרים קהל יעד, ומקבלים סיפור קצר שנבנה בהשראתה. זה מתאים למי שרוצה רעיונות כתיבה מהירים מתוך דימוי ויזואלי בלי להסתבך עם פרומפטים מורכבים.
- —הורדות בחודש
- 609לייקים
מה זה
התהליך מורכב משני שלבים שקורים מאחורי הקלעים. קודם כל המערכת פונה ל־CLIP Interrogator שמנתח את התמונה שהעליתם, מזהה מה רואים בה ומייצר מילות מפתח ותיאור טקסטואלי. מיד אחר כך התיאור הזה נארז בתוך הנחיה ונשלח למודל השפה Llama 2 7b chat, שכותב את הסיפור הסופי בתיבת הטקסט.
בממשק יש שתי דוגמאות מוכנות מראש. הראשונה מציגה תמונה בשם crabby שמכוונת לקהל של ילדים, והשנייה משתמשת בתמונה בשם hopper עבור קהל בוגר. מעבר לתמונה ולבחירה בין שתי קבוצות הגיל האלו, אין כאן הגדרות נוספות שמשפיעות על אורך הסיפור או הסגנון שלו.
מתאים ל
- סיפורי ילדים מתמונות
מעלים איור או תמונה משפחתית, בוחרים בקהל יעד של ילדים ומקבלים עלילה קצרה ופשוטה.
- השראה לכתיבה יוצרת
בוחרים בקהל יעד למבוגרים כדי לקבל טיוטת סיפור המבוססת על תיאור האווירה שבתמונה.
- בדיקת שרשור מודלים
בוחנים איך ניתוח ויזואלי של CLIP מיתרגם לפרומפט טקסטואלי שעובר לעיבוד במודל שפה.
איפה זה נופל
המודל של מטא שיושב כאן הוא גרסת 7B הקטנה יחסית, והוא לא רואה את התמונה בעצמו. הוא מקבל רק את התיאור ש־CLIP הצליח לחלץ ממנה. אם הניתוח הראשוני של התמונה מפספס פרטים חשובים או מזהה אותם לא נכון, הסיפור ייבנה על בסיס הטעות הזו ולא ישקף את מה שבאמת מופיע בקובץ. בנוסף, המודל הזה הותאם לאנגלית, כך שאין כאן תמיכה מובנית בכתיבת סיפורים בעברית.
שאלות
נפוצות
האם השימוש ביישום כרוך בתשלום?
לא. אפשר להעלות תמונה ולקבל סיפור ישירות דרך הדפדפן ללא עלות, והממשק לא מבקש כרטיס אשראי או הזנת מפתח פרטי.
באיזו שפה הסיפור נכתב?
הסיפור נוצר באנגלית. הקוד שולח הנחיות באנגלית ומסתמך על Llama 2 7B, שמיועד בעיקר לשפה זו, כך שהתוצאה לא תתקבל בעברית.
כמה זמן לוקח לקבל תוצאה?
הריצה מתבצעת על חומרת zero a10g ומחולקת לשני שלבים. תראו הודעות על הפעלת CLIP ולאחר מכן על הפעלת Llama 2, תהליך שלרוב לוקח שניות ספורות אלא אם המאיץ תפוס או זקוק להפעלה מחדש.
מה קורה לתמונות שמעלים?
התמונה נשלחת ישירות לשרת שמריץ את הקוד לצורך חילוץ התיאור ב־CLIP. אין הצהרת פרטיות מפורטת בדף, ולכן לא מומלץ להעלות קבצים רגישים או אישיים מדי.
איך משתמשים
גוררים תמונה לתיבת הקלט, בוחרים אם הסיפור מיועד לילדים או למבוגרים ולוחצים על הכפתור. הקוד רץ על גבי חומרת zero a10g שמקצה מעבד גרפי בזמן הריצה, כך שפעולת הניתוח ויצירת הטקסט רצות ישירות על המאיץ. אין צורך בהתחברות מיוחדת או בהזנת מפתח אישי בדף, אבל בגלל השימוש במשאב משותף ייתכן שתמתינו קצת כשהחומרה מתעוררת או אם יש עומס.
הרישיון
הרישיון של היישום עצמו לא דווח בקוד או בתיעוד, ולכן אין הגדרה ברורה לגבי שימוש מסחרי בקוד הממשק. מודל השפה שרץ ברקע הוא Llama 2 7B של מטא, והשימוש בו כפוף לתנאי הרישיון המקוריים של החברה.