GPT
הוספת כלי
X

xLAM-1b-fc-r

קוד פתוח

Salesforcecc-by-nc-4.02024-07-17

  • transformers
  • safetensors
  • llama
  • text-generation
  • function-calling

מודל זעיר שמוקדש כולו להמרת הוראות טבעיות לקריאות לפונקציות בפורמט מובנה. אם חיפשתם מוח לסוכן אוטומטי שירוץ מקומית בלי לבלוע משאבים, זה הכיוון.

  • 1.3Bפרמטרים
  • 16,384טוקנים בהקשר
  • 2.5 GBמשקל הקבצים
  • 3,786הורדות בחודש

מה זה

מדובר במודל שמבוסס על deepseek-coder ועבר כוונון ייעודי למשימה אחת בלבד, שהיא הוצאת קריאות API תקינות בפורמט של JSON. עם 1.35 מיליארד פרמטרים, הוא תוכנן במפורש להתקנה על מכשירי קצה כמו מחשבים ניידים וטלפונים. המודל מגיע עם חלון הקשר של 16,384 טוקנים, שזה מרווח סביר לגמרי להעברת תיעוד של כמה וכמה כלים במקביל.

במבחן BFCL, שבודק יכולות שימוש בכלים בשפות תכנות שונות, הוא השיג דיוק כולל של 78.94%. זה אומר שבמשימות ניתוב והפעלת פונקציות הוא עוקף מודלים ישנים יותר כמו GPT-3.5-Turbo, למרות הגודל המזערי שלו. הוא לא נועד לכתוב שירים או לנהל שיחת חולין, אלא לתרגם בקשת משתמש למבנה נתונים שמכיל את שם הפונקציה והפרמטרים הנדרשים.

מתאים ל

  • סוכן מקומי במכשיר קצה

    הפעלת פקודות מערכת וקריאות מקומיות ישירות על מחשב נייד ללא חיבור אינטרנט.

  • מנתב קריאות לכלי פיתוח

    תרגום שאלות באנגלית לקריאות לפונקציות פייתון או ג'אווה בתוך כלי אוטומציה.

  • מחקר של סוכני קוד פתוח

    בדיקת יכולות תכנון והפעלת כלים על מודל זעיר בלי הוצאות ענן.

איפה זה נופל

הכרטיס מדגיש שהמודל מיועד למחקר בלבד ולא נבדק לכל תרחיש קצה, בייחוד במערכות קריטיות. הוא רגיש מאוד לתבנית הפרומפט, ואם לא עובדים לפי הפורמט המדויק שסיילספורס הגדירו, רמת הדיוק שלו בצליפת שמות הפונקציות והפרמטרים צונחת. בנוסף, המודל אומן על אנגלית בלבד. אם תזרקו עליו הוראות בעברית, סביר להניח שתקבלו הזיות או כשלים בפענוח הארגומנטים.

שאלות
נפוצות

האם אפשר להשתמש בו למוצר מסחרי שפתוח למשתמשים?

לא. הרישיון כולל סעיף NC שאוסר שימוש מסחרי, ובנוסף מחיל את מגבלות הרישיון של DeepSeek. לשימוש במוצר אמיתי תצטרכו לחפש מודל עם רישיון אפאצ'י או MIT.

האם הוא מבין הוראות בעברית?

המודל מוגדר ומתועד עבור אנגלית בלבד. הוא לא אומן על טקסט עברי לשימוש בכלים, ולכן לא הייתי מסתמך עליו לפענוח פקודות בעברית ללא כוונון נוסף.

איך מקבלים ממנו את התוצאות הכי טובות?

חייבים להשתמש בתבנית הפרומפט המדויקת של היוצרים ובערכי ברירת המחדל שהם מציעים, כמו טמפרטורה נמוכה מאוד של 0.001 עד 0.3. סטייה מהתבנית פוגעת בייצור ה־JSON.

איך מריצים

במשקל של כ־2.5 גיגה בייט בלבד, אפשר להריץ אותו דרך ספריית transformers או להרים שרת מקומי עם vLLM שמספק תאימות ל־API של OpenAI. כדי לקבל ביצועים סבירים ב־bfloat16 מספיק כרטיס מסך בסיסי עם 4 עד 6 גיגה זיכרון, וקיימת גם גרסת GGUF שמאפשרת הרצה על מעבד רגיל במחשב אישי.

אם כל מה שאתם צריכים זה לחבר סוכן חכם פשוט בלי להעביר נתונים לרשת, הרצה מקומית של הגרסה הזו פותרת את הבעיה בחלקיק מהמשאבים הרגילים. כשרוצים קריאות מורכבות יותר ברמת אמינות של שרת ייצור, עדיף להשתמש בגרסת ה־7B או לקרוא למודל ענן סגור.

from transformers import pipeline

pipe = pipeline("text-generation", model="Salesforce/xLAM-1b-fc-r")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 2.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0 בשילוב תנאי השימוש של deepseek. המשמעות פשוטה: אסור להשתמש במודל הזה למוצרים מסחריים או לשירותים בתשלום. הוא מיועד למחקר, פרויקטים פנימיים וניסויים אישיים בלבד.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗