חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
L

Liquid_demo

רץ בדפדפן

Junfeng5רישיון לא דווח2025-02-21

  • gradio

הדגמה רב תחומית למודל Liquid_V1_7B שמשלבת יצירת תמונות, ניתוח תמונות ושיחה רגילה. היא מיועדת למי שרוצה לבדוק יכולות מולטימודליות במקום אחד.

  • —הורדות בחודש
  • 44לייקים

מה זה

בממשק יש שלוש לשוניות עבודה נפרדות לפי הצורך שלכם. בלשונית הראשונה מקלידים תיאור טקסטואלי ומקבלים ארבע תמונות שנוצרות יחד בגלריה. בלשונית השנייה מעלים תמונה לצד שאלה ומקבלים ניתוח טקסטואלי, כשהדוגמה המובנית שואלת איך מכינים מאפה מתוך קובץ תמונה של בקלווה. הלשונית השלישית היא צ'אט טקסט רגיל לגמרי, עם דוגמה מובנית לשאלה על פריז.

מאחורי הקלעים רץ המודל Junfeng5/Liquid_V1_7B, שנשען על מנגנוני AutoModelForCausalLM ומשתמש בטוקנייזר תמונות מסוג chameleon. לפי הקוד, עיבוד התמונה כולל הרחבה לריבוע והמרה לטוקנים ייעודיים, לצד שילוב תבניות שיחה והזרמת טקסט בזמן אמת.

מתאים ל

  • יצירת רביעיית תמונות מטקסט

    מקלידים תיאור מילוני בלשונית המתאימה ומקבלים ארבע תמונות בבת אחת לבחירה.

  • הסבר מילולי על תמונה

    מעלים צילום כמו מאכל ושואלים שאלות על אופן ההכנה או על הפרטים שמופיעים בו.

  • שיחה מבוססת טקסט

    שואלים שאלות כלליות בצ'אט ומקבלים תשובות ישירות מהמודל בלי לערב תמונות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה ולא עובדת כלל. מעבר לזה, בלשונית ניתוח התמונה חובה לצרף קובץ, ואם שולחים טקסט לבד מופיעה שגיאה ישירה שמזכירה את LLaVA. הקוד מראה גם שהדוגמאות אינן נשמרות במטמון, כך שכל בקשה אמורה להפעיל עיבוד מלא מחדש, מה שעלול לייצר זמני המתנה ארוכים ברגע שהיא תחזור לפעול.

שאלות
נפוצות

האם השימוש בהדגמה עולה כסף?

לא, הגישה בדפדפן חופשית ואין דרישת תשלום. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת זמן ריצה ולכן לא מייצרת שום תוצאה.

מה קורה לקבצים שאני מעלה?

התמונות שאתם מעלים עוברות עיבוד ישירות בקוד של האפליקציה כדי לייצר את התשובה. היות שלא הוגדר רישיון שימוש, לא כדאי להעלות קבצים פרטיים או סודיים.

האם אפשר להריץ את זה מקומית במקום בדפדפן?

כן, הקוד מבוסס על ספריות transformers ו־Gradio סטנדרטיות וטוען את המשקלים מ־Hugging Face. תצטרכו חומרה עם תמיכה מתאימה להרצת מודל של 7 מיליארד פרמטרים.

למה מופיעה לי שגיאה כשאני מנסה להשתמש בה?

המערכת מדווחת כרגע על RUNTIME_ERROR בהפעלת השרת שלה. בנוסף, בלשונית ניתוח התמונות הקוד יכשיל את הבקשה בכוונה אם תשלחו הודעה בלי לצרף קובץ תמונה.

איך משתמשים

נכנסים לעמוד, בוחרים לשונית לפי סוג המשימה, מזינים טקסט או תמונה ולוחצים על שליחה. בלשונית יצירת התמונה יש הגדרות מתקדמות שמאפשרות לכוונן מדדים כמו Guidance Scale, טמפרטורה, Top K ו־Top P. בלשונית הטקסט אפשר לשנות את מדד הטמפרטורה בלבד. המערכת מוגדרת לרוץ על חומרת zero-a10g, אבל כרגע הסטטוס המדווח שלה הוא שגיאת זמן ריצה, כך שהיא פשוט קורסת ולא תגיב ללחיצות בדפדפן.

הרישיון

הרישיון של המרחב לא דווח כלל. במצב כזה אין הרשאה ברורה לגבי שימוש מסחרי, העתקת הקוד או זכויות היוצרים על הפלטים שנוצרים. לא מומלץ להעלות לשם תמונות רגישות או מידע פרטי.

הרישיון המלא ב־Hugging Face ↗