llm-merge-adapter
רץ בדפדפןautotrain-projectsרישיון לא דווח2023-10-21
הכלי ממזג מתאמי LoRA ישירות לתוך משקלי מודל שפה ושומר את התוצאה. הוא מיועד למפתחים שרוצים מודל מלא אחד במקום לטעון שכבות בנפרד בזמן ריצה.
- —הורדות בחודש
- 40לייקים
מה זה
מזינים כאן שלושה שדות טקסט פשוטים: מזהה מודל הבסיס, מזהה המתאם שאימנתם בנפרד, ותו גישה שלכם. הקוד מאחורי הקלעים משתמש בספריות transformers ו־peft של פייתון, טוען את מודל הבסיס מסוג CausalLM, מחבר אליו את שכבת ה־PeftModel עם המתאם שהגדרתם, וממזג את המשקלים למודל אחד שלם יחד עם הטוקנייזר המתאים.
ברקע רשום שימוש במודל meta-llama/Llama-2-7b-chat-hf, אך הממשק עצמו נותן לכם להקליד שמות מודלים ומתאמים לפי בחירה. אין כאן אזור להרצת שיחות או בדיקת טקסט, אלא רק פעולת עיבוד שדוחפת את המודל הממוזג חזרה לחשבון שלכם. בסיום הפעולה הממשק פשוט מציג הודעת טקסט על הסטטוס.
מתאים ל
- איחוד משקלי מודל
חיבור קבוע של שכבת מתאם מאומנת ישירות לתוך קובצי מודל הבסיס.
- הכנה לפריסה
יצירת מודל יחיד להורדה במקום ניהול מתאמים נפרדים בשרת השרות.
- העלאת תוצר סופי
דחיפה ישירה של המודל השלם יחד עם הטוקנייזר אל המאגר שלכם.
איפה זה נופל
כרגע המרחב נמצא במצב של שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן בלי לשכפל אותו ולתקן את ההגדרות. מעבר לזה, הכלי רק מבצע מיזוג טכני ואינו מאפשר לבדוק את התוצאה במקום, לייצר טקסט, או לוודא שהמתאם התחבר בלי לפגוע באיכות הפלט של המודל.
שאלות
נפוצות
האם אפשר להשתמש בזה עכשיו בחינם?
העמוד עצמו פתוח, אך הוא נמצא כרגע בשגיאת ריצה. כדי להפעיל אותו תצטרכו לשכפל את המרחב לחשבון שלכם ולחבר לו מעבד גרפי, מה שעשוי לעלות כסף.
מה קורה עם הטוקן והקבצים שלי?
אתם מזינים את הטוקן שלכם ישירות בשדה טקסט כדי לאפשר משיכה ושמירה של המודלים. המיזוג מתבצע על גבי השרת שמריץ את המרחב ודוחף את התוצאה למאגר שהגדרתם.
במה הכלי הזה שונה מהרצת המודל עצמו?
הוא לא מיועד להרצת שיחות או מענה על שאלות. התפקיד שלו הוא עיבוד משקלים בלבד, כלומר לקחת קובצי מתאם ולהטמיע אותם במשקלי הבסיס לצורך שמירה.
האם אפשר להריץ את הפעולה מקומית?
הקוד מבוסס על פייתון עם ספריות מוכרות כמו peft ו־transformers. אפשר לקחת את הלוגיקה מתוך app.py ולהריץ אותה ישירות במחשב שלכם, בתנאי שיש לכם חומרה מתאימה.
איך משתמשים
לוחצים על כפתור Merge and Push אחרי שממלאים את השדות הנדרשים ואת הטוקן שלכם. בעמוד המקורי מוגדרת חומרת מעבד בסיסית בלבד, אך יש הערה מפורשת שחובה לשכפל את המרחב ולהצמיד לו מעבד גרפי כדי להריץ אותו בפועל, אחרת תהליך טעינת מודלים בגודל כזה לא יחזיק מעמד.
הרישיון
הרישיון של המרחב עצמו לא דווח. המשמעות היא שאין תנאי שימוש מוגדרים מראש לקוד, ובנוסף עליכם לוודא בעצמכם את תנאי הרישיון של מודל הבסיס והמתאם שאתם ממזגים, במיוחד אם מדובר במודלים קנייניים או מוגבלים מסחרית.