LLaMA-Adapter

מה זה

העמוד מחולק לשתי לשוניות עבודה נפרדות. בלשונית הראשונה מזינים הוראה בטקסט ולצידה קלט נוסף אם רוצים, והמערכת מחזירה תשובה כתובה של עד 512 טוקנים. בלשונית השנייה מעלים קובץ תמונה ומקבלים תיאור טקסטואלי שמנתח את מה שמופיע בה, כאשר בממשק משולבות גם דוגמאות מוכנות מראש של תמונות מקומיות להרצה מהירה.

מאחורי הקלעים רץ שילוב של מודל LLaMA בגרסת 7B עם מתאמים ייעודיים שנשמרים בנפרד, לצד מודל ראייה שמאפשר עיבוד תמונה. הטכניקה מבוססת על מנגנון קשב עם אתחול אפס, שמאפשר להוסיף יכולת מולטימודלית ומעקב אחר פקודות בלי לאמן מחדש את כל הפרמטרים של מודל הבסיס. ההגדרות המתקדמות מאפשרות לשלוט בטמפרטורה ובמדד הדיגום כדי להשפיע על מידת היצירתיות של הפלט.

מתאים ל

• מענה להוראות טקסט

  שליחת פקודות ישירות וקבלת תשובות קצרות באנגלית לפי נתוני קלט מוגדרים.

• יצירת כיתוב לתמונות

  העלאת קובץ תמונה לקבלת תיאור טקסטואלי אוטומטי של מה שרואים בה.

• בחינת שיטת המתאמים

  בדיקת איכות הפלט של מחקר כוונון יעיל מול התנהגות מודל שפה רגיל.

איפה זה נופל

הבעיה המרכזית היא שהכלי פשוט מושבת כרגע בגלל קריסה בהרצה, כך שאי אפשר להשתמש בו ישירות בעמוד. מעבר לכך, אורך הפלט מוגבל מראש לכל היותר ל־512 טוקנים, מה שלא מתאים לטקסטים ארוכים או לניתוח מעמיק. מודל הבסיס הוא גרסת שבעה מיליארד פרמטרים בלבד, כך שלא כדאי לצפות לרמת הבנה או יכולות הסקה שמשתוות למודלים הגדולים באמת בתחום.

איך משתמשים

בפועל כרגע אי אפשר להריץ כאן שום דבר, כי השרת נמצא במצב שגיאת ריצה. כשהסביבה עובדת, בוחרים לשונית, מקלידים פקודה או מעלים תמונה, ולוחצים על כפתור ההרצה כדי לקבל פלט בחלון הנגדי. החומרה המוגדרת ברקע היא מעבד גרפי יחיד מסוג A10G, שאמור לספק מענה תוך כמה שניות בודדות לטקסט קצר. אין צורך בחשבון או בהתחברות מיוחדת כדי לנסות, אבל כל עוד התקלה בקוד לא נפתרת, הדפדפן רק יציג את השגיאה.

הרישיון

הרישיון של המרחב עצמו לא דווח בעמוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, וצריך לבדוק את תנאי הרישיון המקוריים של LLaMA ושל מאגר הגיטהאב לפני שעושים בזה שימוש כלשהו.

הרישיון המלא ב־Hugging Face ↗