llm-from-image
רץ בדפדפןfffiloniרישיון לא דווח2023-11-23
מעלים תמונה ומקבלים רעיון להנחיית מערכת שתהפוך מודל שפה לעוזר בעל אופי מוגדר. זה מיועד למי שרוצה לבנות עוזר ב־Hugging Chat ונתקע בשלב הניסוח.
- —הורדות בחודש
- 82לייקים
מה זה
אתם מעלים תמונה של דמות, סיטואציה או חפץ, ובוחרים סוג תיאור. המערכת מחלצת קודם כל תיאור טקסטואלי של התמונה, ואז שולחת אותו הלאה כדי לייצר פרומפט מערכת מתאים. התוצאה הסופית היא טקסט שמגדיר למודל שפה איך להתנהג, באיזה טון לדבר ובמה להתמקד.
מאחורי הקלעים רץ המודל zephyr-7b-beta של HuggingFaceH4, שמייצר את הטקסט בעזרת Transformers. יש בממשק דוגמאות מוכנות כמו המונה ליזה, סנטה קלאוס, משורר אוקיינוס, טיול חורפי, שעת תה, מומחי חדשות ומנת עוף, שנועדו להמחיש איך דימוי ויזואלי הופך לאופי של עוזר וירטואלי.
מתאים ל
- השראה לעוזרי Hugging Chat
יצירת פרומפט בסיסי מתוך תמונה כדי להגדיר אישיות לעוזר חדש.
- בניית דמויות למשחקי תפקידים
המרת איור של דמות להוראות התנהגות מפורטות למודל שפה.
- חילוץ תיאור מתמונה
קבלת תיאור טקסטואלי אוטומטי של קובץ תמונה לצד ניתוח הרעיון שבו.
איפה זה נופל
האפליקציה רק מייצרת הנחיית מערכת, היא לא מפעילה צ'אט פעיל עם הדמות ולא בונה את הבוט בפועל. מודל הטקסט כאן הוא zephyr-7b-beta, מודל קטן יחסית לשנת 2023, כך שההנחיות שהוא מפיק עשויות להיות בסיסיות למדי ולדרוש עריכה ידנית לפני שימוש אמיתי.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, השימוש בדפדפן פתוח לחלוטין וללא עלות. אין צורך להזין אמצעי תשלום או להירשם לשירות.
כמה זמן לוקח לייצר את הפרומפט?
התהליך כולל שני שלבים, חילוץ תיאור התמונה ובניית הפרומפט על ידי zephyr-7b-beta. בזכות הרצה על מאיץ A10G, התוצאה מתקבלת בתוך שניות ספורות.
במה האפליקציה שונה משיחה רגילה עם zephyr-7b-beta?
היא לא מיועדת לשיחה חופשית. המטרה שלה ממוקדת בחיבור בין תמונה לבין כתיבת הנחיות מערכת שמגדירות אישיות למודלי שפה אחרים.
איך משתמשים
גוררים תמונה לממשק או בוחרים אחת מהדוגמאות, מסמנים את סוג התיאור ולוחצים על הכפתור שמייצר את הפרומפט. האפליקציה רצה על חומרת zero-a10g של Hugging Face, כך שהעיבוד מהיר יחסית ואינו דורש התקנה. אין צורך להתחבר או להירשם כדי לנסות אותה ישירות מהדפדפן.
הרישיון
היוצר לא דיווח על רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה להעתיק את הקוד לפרויקט מסחרי, אם כי אפשר להשתמש בממשק הפתוח בדפדפן ולהעתיק ממנו את הטקסט שנוצר.