watt-tool-8B

מה זה

הבסיס כאן הוא LLaMA-3.1-8B-Instruct שעבר אימון ייעודי בשיטות SFT ו־DMPO, בהשראת מחקר על אופטימיזציה לסוכנים מרובי שלבים. המטרה העיקרית שלו היא לפתור בעיה מוכרת בדגמים קטנים: היכולת לבחור כלי נכון, לחלץ מתוכו את הפרמטרים המתאימים, ולא לאבד את ההקשר כשהאינטראקציה נמשכת מעבר לשאלה ותשובה בודדות.

היוצרים מדווחים על הגעה לראש טבלת המובילים של ברקלי לקריאת פונקציות (BFCL). בפועל זה מעיד שהמודל מייצר פלט במבנה תחבירי קשיח ואמין יותר מגרסת הבסיס, עם פחות הזיות של שמות פונקציות או ארגומנטים חסרים. הוא תוכנן במקור לתשתיות כמו Lupan או Coze, שבהן מחברים בין כמה ממשקי תכנות כדי לבצע תהליכי עבודה אוטומטיים.

מתאים ל

• סוכני שירות פנימיים

  חיבור למאגרי מידע ומערכות כספים לצורך שליפת נתונים מדויקת בלי לתת למודל לנסח תשובות יצירתיות מדי.

• אוטומציה של זרימות עבודה

  פירוק משימה מורכבת של משתמש לסדרה של קריאות פונקציה וביצוען שלב אחר שלב על גבי שרת מקומי.

• ממשק פקודות בשפה טבעית

  תרגום בקשות טקסט פשוטות באנגלית למבנה קריאה קשיח שמפעיל סקריפטים ורכיבי צד שרת.

איפה זה נופל

המודל אומן ותועד באנגלית בלבד. אם תנסו להעביר לו שיחה בעברית או לתאר פונקציות בעברית, הסיכוי לקבל שגיאות תחביר או הזיות עולה משמעותית. בנוסף, מדובר במודל שמתמחה בבחירת כלים ולא ביצירת טקסט חופשי, כך שהוא דורש פרומפט מערכת קשיח שמגביל אותו להחזרת שמות פונקציות בלבד. אם חסרים פרמטרים בשאילתה הוא אמור לציין זאת, אבל בגלל גודלו יש לבדוק היטב מקרי קצה שבהם המשתמש מספק מידע חלקי או סותר.

אותה משפחה

watt-tool יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 גיגה בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך יחיד עם 24 גיגה זיכרון כדי לטעון אותו ולהשאיר מקום להקשר עבודה סביר. הרצה מקומית נעשית ישירות דרך ספריית transformers הרגילה של פייתון, באמצעות הגדרת device_map אוטומטית ותבנית שיחה שמכילה את רשימת הפונקציות בפורמט ג'ייסון.

אם המוצר שלכם צריך לשרת משתמשים רבים במקביל או שאין לכם כרטיס מתאים בשרת, להחזיק מופע ייעודי של מודל כזה יעלה יותר מחיבור פשוט לממשקי ענן קיימים. הפעלת מודל עצמאי מהסוג הזה משתלמת רק כשרוצים שליטה מלאה בתעבורת המידע או שמריצים כמות קריאות עצומה שמצדיקה שרת קבוע.

pip install -U huggingface_hub
hf download watt-ai/watt-tool-8B

הקבצים

11 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json22.8 KB
• README.md5.5 KB
• .gitattributes1.5 KB
• config.json874 B
• special_tokens_map.json325 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗