ToolACE-8B

מה זה

מדובר בכיוונון של לאמה 3.1 בגודל שמונה מיליארד פרמטרים, שנבנה במיוחד למשימות של הפעלת כלים וקריאות לפונקציות. הצוות יצר תהליך מבוסס סוכנים שייצר מאגר של 26,507 ממשקי תכנות שונים, לצד דיאלוגים מורכבים שעברו אימות כפול של חוקים ומודלים. התוצאה היא מודל קטן יחסית שממוקד ביכולת להבין מתי לפנות לקוד חיצוני, באילו פרמטרים להשתמש ואיך לפרק בקשה מורכבת לרצף פעולות.

לפי לוח התוצאות של ברקלי לקריאות פונקציה, הוא מגיע לציונים שמציבים אותו בקו אחד עם הגרסאות העדכניות של מודלי שפה מסחריים מובילים. זה אומר שבמקום לשלם על קריאות שרת יקרות למודלים ענקיים רק כדי לחלץ קריאת פונקציה תקינה, אפשר לקבל את אותה רמת דיוק במודל פתוח שמתמחה בזה ישירות.

מתאים ל

• סוכן שמפעיל ממשקי תכנות

  פירוק בקשות משתמש לקריאות שרת מדויקות עם שמות פונקציות ופרמטרים מוגדרים היטב.

• חילוץ פקודות מורכבות

  הפעלת מספר פונקציות במקביל לפי פקודה אחת של המשתמש, בדיוק כמו בדוגמאות המקוריות.

• ניתוב עצמאי למערכות קוד

  חיבור בטוח בין בקשות טקסט באנגלית למערכות צד שלישי בלי להסתמך על שירותי ענן יקרים.

איפה זה נופל

המודל הזה אומן באנגלית בלבד, וכל מאגר המידע ששימש לכוונון שלו התבסס על ממשקי תכנות בשפה הזו. אם המערכת שלכם עובדת בעברית, המודל עלול להתקשות בהבנת ההקשר או לפספס פרמטרים מורכבים. בנוסף, מדובר במודל שעבר התמחות צרה מאוד. הוא מתוכנן לייצר קריאות פונקציה מדויקות, ולא מתאים למשימות כתיבה כלליות, ניסוח טקסטים או צ'אט פתוח.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 ג'יגה בייט בפורמט המקורי, ולכן הרצה מקומית מלאה מחייבת כרטיס מסך עם זיכרון גרפי מתאים כדי להחזיק את כל המשקלים בזמן אמת. הטעינה נעשית ישירות דרך ספריית טרנספורמרס הסטנדרטית באמצעות תבנית השיחה המובנית של המודל שמייצרת את קריאות הפונקציה.

אם אין לכם שרת ייעודי עם חומרה חזקה, או אם כמות הפניות שלכם קטנה, להחזיק תשתית דולקת כזו באופן קבוע יעלה יותר משימוש במודל מסחרי דרך הרשת. המאמץ משתלם בעיקר כשיש נפח תנועה גדול של קריאות שחייבות להישאר אצלכם.

pip install -U huggingface_hub
hf download Team-ACE/ToolACE-8B

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json23.9 KB
• README.md6.3 KB
• .gitattributes2.4 KB
• config.json927 B
• special_tokens_map.json325 B
• generation_config.json184 B

הרישיון

הרישיון הוא אפאצ'י 2.0 מלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר שלכם או להריץ אותו בשרתים פנימיים בלי לשלם תמלוגים, כל עוד שומרים על הודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗