AutoMerger

מה זה

אתם מספקים שמות של מודלים קיימים, והקוד מרכיב קובץ הגדרות, מריץ את המיזוג ומעלה את התוצאה תחת שם המשתמש שלכם. לפי הקוד, הוא עובד מול מודלים כמו 8xqmff94/slm ו־meta-llama/Meta-Llama-3-8B, ומשתמש בטוקנייזר ופייפליין של transformers להרצת בדיקות עם פרמטרים קבועים של טמפרטורה ודגימה.

הממשק כולל לוח תוצאות שמתעדכן מדי שעה ומציג ציונים מספריים, לצד חלון יומן מעקב שמציג את פלט הפקודות בזמן אמת. מאחורי הקלעים רץ שילוב של סקריפטים מקומיים, קריאות ל־RunPod ותבניות Jinja שיוצרות אוטומטית כרטיס מודל מלא.

מתאים ל

• מיזוג אוטומטי של מודלים

  חיבור שני מודלים שונים לקובץ אחד והעלאה מסודרת ישירות לחשבון שלכם.

• בדיקת פלט ראשונית

  הרצת פרומפט קצר מיד אחרי המיזוג כדי לראות אם הטקסט שנוצר הגיוני.

• מעקב ציונים בלוח ייעודי

  צפייה בטבלה שמשווה בין ביצועי מודלים שונים ומתעדכנת בכל שעה.

איפה זה נופל

הבעיה המרכזית היא שהעמוד מושהה לגמרי, כך שאי אפשר להשתמש בו ישירות בלי לשכפל אותו ולהפעיל מחדש. בנוסף, חלון הבדיקה מוגבל ליצירה של 256 תווים חדשים בלבד עם פרמטרים שרירותיים כמו top_k של 50, מה שלא נותן תמונה אמיתית לגבי איכות המודל הממוזג במשימות מורכבות או בעברית.

איך משתמשים

כרגע אי אפשר ללחוץ על כלום בדפדפן כי העמוד במצב מושהה. כשהוא פעיל, מזינים את הפרטים, והמערכת מפעילה תהליכים חיצוניים ברקע. הקוד מוגדר לרוץ על חומרת cpu-upgrade, מה שאומר שהמיזוגים הכבדים או הבדיקות לא נשענים על עיבוד מקומי חלש אלא כנראה נשלחים לשרתי RunPod לפי הקוד המצורף. זמן הריצה תלוי בתקשורת מול השרתים החיצוניים ובגודל המודלים שממזגים.

הרישיון

הרישיון של הפרויקט עצמו לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד המקורי, ותצטרכו לבדוק בעצמכם את תנאי השימוש של המודלים שאתם ממזגים, במיוחד כשמדובר בדגמי Llama.

הרישיון המלא ב־Hugging Face ↗