LLM_compression_calibration
קוד פתוחneuralmagicרישיון לא דווח2024-06-27
המאגר מרכז דגימות שמיועדות לכיול מודלי שפה בזמן דחיסה מהירה בשיטת one-shot. הוא מתאים למי שרוצה לכווץ מודל קיים בלי לאסוף ולהתאים נתוני בדיקה בעצמו.
- 1,098הורדות בחודש
- 16לייקים
מה זה
מדובר באוסף נתונים קטן יחסית שמכיל בין אלף לעשרת אלפים רשומות, ומבוסס כולו על עשרת אלפים דגימות שנלקחו מתוך המאגר garage-bAInd/Open-Platypus. הרשומות מגיעות בשני שדות בלבד, שנועדו לכסות שני תרחישי שימוש של מודלים מודרניים. השדה הראשון הוא text רגיל שמתאים למודלים בסיסיים ללא תבנית שיחה. השדה השני הוא messages, שמכיל מילון מובנה עם חלוקה בין תפקידי משתמש ועוזר עבור מודלים שדורשים chat template.
הכרטיס לא מפרט על סינון נוסף, חלוקות למקטעי אימון ומבחן, או עיבודים מיוחדים שנעשו על הנתונים המקוריים מעבר לחילוץ הזה. בנוסף, המפתחים מציינים שמדובר בתוצר של מחקר פעיל, ולכן מבנה המאגר והתוכן שלו עשויים להשתנות בעתיד ללא הודעה מוקדמת.
מתאים ל
- כיול מודלים בדחיסה
הרצת תהליכי one-shot compression על מודלי שפה קיימים כדי להעריך משקולות.
- דחיסת מודלי שיחה
שימוש בשדה messages להזנת תבניות שיחה מוכנות בזמן כיול משקולות המודל.
- בדיקות דחיסה מהירות
כיול בסיסי של מודלים קטנים באנגלית בלי לייצר סט נתונים ייעודי מאפס.
איפה זה נופל
הנתונים מוגבלים לשפה האנגלית בלבד, כך שאם אתם עובדים על מודל עברי או רב-לשוני, הכיול פשוט לא ייצג את מה שהמודל יפגוש בפועל. מעבר לזה, הכרטיס לא מספק מידע על הטיות, אופן בחירת הדגימות מתוך Open-Platypus, או עדכניות הטקסטים. העובדה שהמאגר מוגדר כחלק ממחקר פעיל ועשוי להשתנות בכל רגע דורשת מכם לנעול גרסה מקומית, כדי שלא תגלו יום אחד שתוצאות הדחיסה שלכם השתנו.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
לא מומלץ כרגע, כי לא דווח רישיון רשמי למאגר. שימוש בנתונים ללא רישיון מוגדר חושף אתכם לסיכון משפטי, במיוחד אם אתם משלבים את התוצרים במוצר פעיל. כדי להשתמש בו בבטחה צריך לפנות ל־neuralmagic או להסתמך ישירות על תנאי המאגר המקורי שממנו הוא נגזר.
האם המאגר כולל טקסטים בעברית?
לא, המאגר מתועד כשפה האנגלית בלבד. אם תשתמשו בו כדי לכייל מודל שאמור לפעול בעברית, אתם עלולים לפגוע בביצועי השפה שלו לאחר הדחיסה. למשימות בעברית עדיף לבנות סט כיול מקומי.
איך המאגר נאסף ונוצר?
הנתונים נלקחו מתוך מאגר קיים שנקרא garage-bAInd/Open-Platypus ומכיל עשרת אלפים דוגמאות. המפתחים לא ציינו האם ביצעו סינון תוכן נוסף, אלא רק סידרו את המידע מחדש לשדות של טקסט חופשי ומבנה שיחה.
כמה המאגר שוקל וכמה רשומות יש בו?
המאגר כולל סדר גודל שנע בין אלף לעשרת אלפים רשומות ומכיל שלושה קבצים בלבד. קובץ הנתונים עצמו שמור בפורמט json דחוס, כך שנפח ההורדה זניח ומתאים לעבודה מהירה בכל סביבת פיתוח.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה של Hugging Face תחת השם neuralmagic/LLM_compression_calibration. הקובץ המרכזי שיושב במאגר דחוס בפורמט calibration.json.gz, אין צורך בבקשת אישור גישה מיוחדת, והמשקל הכולל קל מאוד להורדה. בזמן העבודה תצטרכו לבחור מראש בין שדה ה־text לשדה ה־messages, תלוי אם מודל היעד שאתם מכיילים עבר התאמת שיחה או לא.
from datasets import load_dataset
ds = load_dataset("neuralmagic/LLM_compression_calibration")הרישיון
הרישיון של המאגר לא דווח. בפועל זה אומר שאין לכם שום הרשאה ברורה להשתמש בו, לא למחקר ובטח שלא למוצר מסחרי. לפני שמשלבים אותו בצנרת העבודה של מודל כלשהו, חייבים לבדוק מול היוצרים מה הסטטוס המשפטי שלו, או לבחון את תנאי הרישיון של המאגר המקורי Open-Platypus שממנו הנתונים נלקחו.