prompt-routing

מה זה

מזינים טקסט של פרומפט ומגדירים רשימת קטגוריות יעד, כמו שימוש בכלים או כתיבה יוצרת. מאחורי הקלעים רץ המודל LFM2.5-Encoder-350M-Prompt-Router מבית LiquidAI, מודל אנקודר בגודל 350 מיליון פרמטרים. בקוד הבדיקה של השרת מופיעה הדוגמה של הבקשה לכיוון טיימר שמועברת בין קטגוריות של שימוש בכלים לכתיבה יוצרת.

במקום לקבל תשובה טקסטואלית לפרומפט, מקבלים הסתברויות לכל קטגוריה, את הקטגוריה המובילה ומספר הטוקנים שחושבו. הריצה מתבצעת בדיוק של 32 ביט ללא קוונטיזציה, ישירות מול הטוקנייזר והמשקולות של המודל.

מתאים ל

• מיון בקשות למודלים

  ניתוב שאלות פשוטות למודל קטן ושאלות מורכבות למודל יקר לפי סיווג הקטגוריה.

• זיהוי כוונת משתמש

  בדיקה מהירה האם הפרומפט דורש הפעלת כלי חיצוני כמו טיימר או מענה טקסטואלי.

• מדידת טוקנים מראש

  קבלת מספר הטוקנים של הקלט יחד עם ההסתברות לפני שרצים הלאה בצנרת הנתונים.

איפה זה נופל

זה לא מודל שמייצר תשובות אלא רק מנתב אותן לקבוצה מוגדרת מראש. אם תכתבו לו שאלה, הוא לא יענה עליה אלא רק יגיד לאיזו קטגוריה היא שייכת. מעבר לזה, הבדיקה נעשית על מעבד שיתופי פשוט ויכולת ההבנה של שפות שאינן אנגלית לא מצוינת בקוד, אז כדאי לבדוק ביטויים מקומיים לפני שמסתמכים על המיון.

איך משתמשים

פותחים את הדפדפן, מקלידים את הפרומפט ואת שמות הקטגוריות, ושולחים לבדיקה. היישום רץ על חומרת מעבד בסיסית, cpu-basic, ללא מאיץ גרפי. הקוד משתמש במודל קומפקטי בחוטי מעבד רגילים, כך שהחישוב להסתברויות אמור להסתיים תוך שניות בודדות ללא צורך בהתקנה מקומית.

הרישיון

הרישיון של היישום לא דווח במאגר. בלי רישיון מוגדר אי אפשר לדעת מה מותר לעשות עם הקוד בשימוש מסחרי, וטקסט שאתם מזינים עובר דרך שרת שמריץ את הדוקר.

הרישיון המלא ב־Hugging Face ↗