LLMLingua

הסקירה

אתם מזינים פרומפט ארוך לתוך LLMLingua, ומודל קטן מסיר ממנו טוקנים שלמים לפני שהטקסט מגיע למודל השפה הגדול. הפיתוח מגיע מתוך Microsoft Corporation, והמטרה שלו היא לפתור בעיה פיננסית וטכנית כבדה בעבודה עם מודלים כמו GPT-4. במקום להעביר עשרות אלפי מילים גולמיות, השיטה מזהה מילים מיותרות לפי מדד מבוסס מודל קטן ומסלקת אותן מהשאילתה. התוצאה היא טקסט דחוס שנראה שבור לקורא אנושי, אבל מודלים גדולים מסוגלים לפענח אותו ולענות בדיוק כמו קודם.

זה לא עובד על קסמים.

הפרויקט כולל שלושה מנועים שונים, שכל אחד מהם פותר צוואר בקבוק אחר. המנוע המקורי מוחק טוקנים על בסיס חישובי הסתברות ומגיע לדחיסה של עד פי 20. הגרסה השנייה, LongLLMLingua, מטפלת ישירות בבעיה הידועה שבה מודלים שוכחים מידע שקבור באמצע טקסטים ארוכים במערכות RAG. המנוע הזה משלב דחיסה שתלויה ישירות בשאילתה שלכם, מארגן מחדש את המסמכים, ומציג שיפור של 17.1% בדיוק תוך דחיסה של פי ארבעה.

מה קורה לקלט שלכם

הגרסה החדשה בסדרה נקראת LLMLingua-2, והיא נבנתה באמצעות תהליך של זיקוק נתונים ישירות מתוך GPT-4. החוקרים השתמשו במודל בגודל BERT כדי להפוך את פעולת הדחיסה לסיווג טוקנים פשוט ומהיר, במקום חישובים מתמטיים כבדים על כל מילה. המנוע הזה מהיר פי 3 עד פי 6 בהשוואה למנוע הראשון, והוא מתמודד טוב יותר עם טקסטים מתחומים שלא הופיעו באימון. הטקסט שלכם עובר קיצוץ אגרסיבי, ומודל היעד עדיין מחלץ ממנו את כל המידע הקריטי. מודל GPT-4 משחזר את הנתונים בלי לאבד את ההקשר המקורי.

השילוב בקוד דורש עבודה.

לא הייתי משתמש בזה אם הקוד שלכם פשוט ולא שורף כמויות עצומות של טוקנים בעבודה שוטפת. התהליך הזה משתלם רק אם אתם מריצים מערכות עמוסות במסמכים, כמו Bing Chat או מנועי חיפוש פנימיים שמחברים עשרות קבצים לכל שאילתה. החוקרים הראו הדגמות מפורטות על NaturalQuestions ובדקו את הביצועים עם GPT-3.5-Turbo בתרחישים של שאלות ותשובות מרובות מסמכים. אם אתם בונים שירות שמחזיר תשובות מהירות למשתמשים, הדחיסה חוסכת זמן תגובה יקר ומקטינה את שטח החלון הדרוש.

כמה זה עולה ולמי זה מתאים

מבחינת כסף, הנתונים שמסביב לכלי מצביעים על קטגוריית תשלום, אך האתר עצמו מציע קוד פתוח בקישור אל GitHub לצד הדגמות זמינות בפלטפורמת Hugging Face. אין באתר טבלת מחירים עם מדרגות חודשיות, ולא תמצאו שם תוכניות תמחור של עשרות או מאות דולרים. ההוצאה הכספית האמיתית נגזרת מעלויות השרת שעליו תריצו את המודל המכווץ, או מחיסכון בחשבונות ה־API של המודלים הגדולים. תצטרכו להביא בחשבון את המשאבים הטכניים של הרצת מקודד מקומי מול החיסכון שנוצר בפועל.

• קוד מקורזמין בגיטהאב
• מחירון באתראין פירוט מחירים
• חיבור לפרויקטיםנתמך בספריות מרכזיות

האתר באנגלית בלבד, ואין בו שום התייחסות לשפה העברית או ליכולת של המודלים להתמודד עם דקדוק שמי. מכיוון שהשיטה מסתמכת על ניתוח טוקנים של מודלים קטנים ומודלי BERT, בעברית זה פחות טוב בגלל פירוק מחמיר של מילים לחלקי טוקנים. אם השאילתות שלכם כוללות עברית עסקית או משפטית, קיצוץ חלקי מילים עלול להרוס את המשמעות לגמרי. תצטרכו לבדוק את זה ידנית על הדאטה שלכם לפני שאתם משלבים את החבילה במוצר פעיל.

הפיתוח כבר מחובר אל LangChain ואל LlamaIndex, כך שאם אתם עובדים עם הספריות האלה החיבור לקוד מתבצע בפקודות בודדות. בנוסף, Microsoft הציגה פיתוחים משלימים כמו SCBench לבדיקת זיכרון מטמון, RetrievalAttention להאצת קריאות, ו־MInference שמקצר עיכובים פי 10 על מעבדי A100. זה כלי טכני לחלוטין שמיועד למפתחים ולמהנדסי נתונים, ולא פתרון מדף שמשתמשי קצה יכולים להפעיל בלחיצת כפתור.