prompt-task-and-complexity-classifier

מה זה

מדובר ברשת DeBERTa-v3-base עם כמה ראשי סיווג במקביל, שמנתחת פרומפט בודד ומחזירה גם את סוג המשימה וגם ציונים מספריים לשישה ממדי קושי שונים. הממדים האלה כוללים יצירתיות, דרישות לוגיות, אילוצים, ידע רקע, ידע מקצועי וכמות דוגמאות בפרומפט, כששקלול שלהם יוצר ציון מורכבות סופי.

הייחוד כאן הוא המיקוד בניתוח הבקשה עצמה במקום יצירת טקסט. הבדיקות בכרטיס מציגות דיוק ממוצע של מעל תשעים ושמונה אחוזים ברוב הממדים על פני עשרה חלוקות ולידציה, מה שאומר שהראשי סיווג עקביים מאוד על הנתונים שנבדקו ולא זורקים מספרים אקראיים.

מתאים ל

• ניתוב פרומפטים דינמי

  זיהוי פרומפטים פשוטים ושליחה שלהם למודל שפה קטן וזול במקום למודל ענק ויקר.

• סינון דאטהסטים

  חלוקה אוטומטית של מאגרי שיחות לפי נושאים ובדיקת רמת מורכבות לפני אימון.

• בקרת אילוצים בכניסה

  זיהוי בקשות עמוסות תנאים כדי להקצות להן מראש יותר משאבי עיבוד.

איפה זה נופל

הבעיה המרכזית היא השפה, המודל אומן על 4024 פרומפטים באנגלית בלבד ואין שום תיעוד לתמיכה בעברית. בנוסף, חלון ההקשר מוגבל לברירת מחדל של 512 טוקנים, למרות שהבסיס מסוגל תיאורטית ליותר, מה שהופך אותו ללא שמיש לפרומפטים שכוללים מסמכים ארוכים.

חלוקת הנתונים באימון לא מאוזנת. משימות חילוץ מידע וסיעור מוחות קיבלו פחות ממאה דוגמאות בכל הקטגוריה לעומת מעל אלף שאלות פתוחות, כך שבמשימות הפחות נפוצות הסיווג צפוי לזייף.

איך מריצים

המשקל הכולל של הקבצים עומד על 712 מגה בלבד, כך שלא צריך שרתים מנופחים כדי להריץ אותו. הוא נבדק על כרטיס A10G אבל יעבוד על כל כרטיס מסך של אנבידיה בארכיטקטורת וולטה ומעלה עם דרייבר של קודה 12, ואפשר להריץ אותו מקומית בסביבת פייתון 3.10 דרך הקוד של נימו קיורייטור או פייטארץ'.

אם יש לכם כרטיס מסך תואם, אין שום סיבה לחפש ספקי ענן או לקרוא לשירות חיצוני. הוא קל משקל, התשובה חוזרת מיד, והרצה מקומית תחסוך לכם זמני שהייה ועלויות תעבורה.

pip install -U huggingface_hub
hf download nvidia/prompt-task-and-complexity-classifier

הקבצים

10 קבצים במאגר, 712 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors735.5 MB
• tokenizer.json8.7 MB
• spm.model2.5 MB
• image.png395.6 KB
• README.md15.6 KB
• config.json2.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• special_tokens_map.json286 B
• added_tokens.json23 B

הרישיון

הפרויקט מופץ תחת רישיון המודלים הפתוח של אנבידיה מיוני 2024, שמוגדר בדף כרישיון מותאם אחר ומאפשר שימוש מסחרי ישיר. עם זאת, השימוש כפוף להסכם המשתמש המלא של החברה, ולכן מוטלת עליכם האחריות לוודא שההטמעה תואמת את הכללים וההגבלות המשפטיות שלהם לפני שאתם משלבים אותו במוצר חי.

הרישיון המלא בעמוד המודל ↗