alpaca-lora

מה זה

הממשק מציג שדות להזנת הוראה וקלט טקסטואלי נוסף, ומחזיר תשובה כתובה בהתאם לבקשה. אפשר לשלוט שם ישירות בפרמטרים של תהליך היצירה, כמו טמפרטורה, Top-p, Top-k וכמות אלומות החיפוש (Beams), כדי לקבל תוצאות מדויקות או מגוונות יותר.

מאחורי הקלעים רץ שילוב של מודל הבסיס decapoda-research/llama-7b-hf יחד עם שכבת משקלים שאומנה בשיטת LoRA דרך ספריית peft. המודל הספציפי, tloen/alpaca-lora-7b, אומן על פי מאגר הנתונים של פרויקט Stanford Alpaca כדי להתאים מודל של שבעה מיליארד פרמטרים למעקב יעיל אחרי פקודות בשפה טבעית.

מתאים ל

• ניסוי בהרצת הוראות

  בדיקת האופן שבו מודל קל משקל מגיב להנחיות טקסט ישירות.

• כוונון פרמטרי יצירה

  בחינת השפעת טמפרטורה וחיפוש אלומות על איכות התשובה.

• השוואת ביצועי LoRA

  הערכת היכולת של אימון יעיל מול מודל הבסיס המקורי.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה כלל אינה עובדת ברשת עקב שגיאת ריצה. מעבר לכך, מדובר במודל ישן משנת 2023 עם שבעה מיליארד פרמטרים, כך שגם כשהוא פועל, היכולות שלו מוגבלות יחסית למודלים מודרניים ואינן מתאימות למשימות מורכבות.

איך משתמשים

בפועל נכנסים לדף, מקלידים את ההוראה, מוסיפים קלט אם יש צורך, ומכוונים את הסליידרים של הגדרות הריצה. האפליקציה אמורה לעבוד על חומרת a10g-large כדי לספק מענה מהיר יחסית, אך כרגע היא במצב שגיאת ריצה (RUNTIME_ERROR) ולכן אי אפשר להפיק ממנה פלט ישירות בדפדפן.

הרישיון

הפרויקט מוגדר תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד ובמשקלים. אין פירוט לגבי שמירת נתונים שהוזנו בממשק, אך הקוד והמודל עצמם פתוחים לחלוטין.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗