LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised
קוד פתוחMcGill-NLPmit2024-04-30
המתאם הזה הופך את Llama 3 8B למנוע אמבדינגס חזק למשימות חיפוש וסיווג. הוא מתאים למי שרוצה וקטורים איכותיים ממודל שפה פתוח בלי לאמן ארכיטקטורה מאפס.
- 160 MBמשקל הקבצים
- 101,936הורדות בחודש
- 53לייקים
מה זה
הפרויקט של McGill לקח מודל שפה של 8 מיליארד פרמטרים ואימן אותו בעזרת שיטת LLM2Vec כדי לייצר ייצוגים וקטוריים של טקסט במקום לפלוט מילים. החבילה הזו כוללת משקלי LoRA שנועדו להרצה ישירה מעל מודל הבסיס של מטא, עם דגש על משימות דמיון טקסטואלי ואחזור מידע.
במדדי ביצועים הוא מציג דיוק גבוה מאוד במשימות של סיווג כוונות ונושאים, כמו Banking77 שבו קיבל ציון דיוק של 88.04. במבחני אחזור שאלות טכניות ב־CQADupstack הוא מגיע ל־Recall של מעל 90 אחוזים בעשר התוצאות הראשונות בחלק מהתחומים, מה שמראה יכולת טובה לתפוס דמיון סמנטי עמוק ולא רק התאמת מילים יבשה.
מתאים ל
- מנוע חיפוש סמנטי לקוד
מציג מדדי אחזור של מעל 86 אחוזים בפורומים טכניים כמו אובונטו ומתכנתים.
- סיווג פניות תמיכה
קיבל ציון F1 של 88 בסיווג כוונות בבנקאות, מתאים לניתוב שיחות אוטומטי.
- איתור כפילויות בפורומים
מזהה שאלות דומות בניסוח שונה בדיוק גבוה ומקצר זמני מענה.
איפה זה נופל
הנתונים מראים שהמודל מתקשה בצורה ברורה במשימות ספציפיות. בסיווג ביקורות מוצרים של אמזון הוא קיבל דיוק נמוך של 46.83 בלבד, ובמבחני אחזור בתחומים מתמטיים מורכבים כמו CQADupstack Mathematica ה־MAP בתוצאה הראשונה צונח ל־20.6. בנוסף, הכרטיס מוגדר באנגלית בלבד, כך שאין שום הבטחה או בדיקה לגבי עברית, ולא כדאי לבנות עליו לפרויקטים בעברית בלי בדיקה מקדימה קפדנית.
שאלות
נפוצות
למה הקובץ שוקל רק 160 מגה בייט?
החבילה מכילה רק את משקלי ה־LoRA שמאומנים בספריית peft, ולא את המודל השלם. כדי להשתמש בו אתם צריכים להוריד בנפרד את מודל הבסיס של Llama 3 8B ולטעון את המתאם מעליו.
האם הוא מתאים לטקסטים בעברית?
המודל הוגדר ונבדק באנגלית בלבד, וכל המבחנים בכרטיס הם באנגלית. מודל הבסיס של מטא מכיר מעט עברית, אבל איכות הווקטורים בעברית לא נבדקה ולא מובטחת.
איך מריצים
הקבצים שוקלים 160 מגה בייט בלבד כי מדובר במתאם PEFT, אבל בשביל להריץ אותו בפועל אתם חייבים לטעון קודם את Llama 3 8B המקורי בזיכרון. זה דורש כרטיס מסך עם לפחות 16 עד 24 גיגה בייט VRAM לעבודה נוחה בלי שגיאות זיכרון, תלוי בקוונטיזציה שתבחרו.
אם אתם רק צריכים לאנדקס כמה עשרות אלפי מסמכים פעם אחת, כנראה שעדיף לקרוא למודל אמבדינגס מנוהל דרך API חיצוני. הרצה עצמית שווה את ההשקעה רק כשיש לכם שרת ייעודי, נפח עבודה שוטף שמצדיק את זה, או חובה מוחלטת שהמידע יישאר ברשת הפנימית.
pip install -U huggingface_hub hf download McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised
הקבצים
4 קבצים במאגר, 160 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המתאם מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי לחלוטין כולל שימוש מסחרי, שינוי קוד והפצה. יחד עם זאת, בגלל שהוא מתלבש על Llama 3 8B, אתם עדיין כפופים לרישיון השימוש המקורי של חברת מטא עבור מודל הבסיס.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש