functionary-small-v3.2

מה זה

במקום עוד מודל כללי, לקחו כאן את Llama 3.1 8B Instruct ואימנו אותו ספציפית על היכולת לעבוד עם כלים ופלאגינים חיצוניים. אתם מעבירים לו הגדרות פונקציה במבנה של JSON Schema, ממש בדומה למה שמוכר מהממשקים של OpenAI, והוא מייצר קריאות תקינות, מנתח את התוצאות שחוזרות אליו ומנסח תשובה מבוססת עליהן.

ההבדל העיקרי מול מודלים רגילים במשקל הזה הוא בעיצוב הפרומפט ובאימון הממוקד. היוצרים ממירים את הגדרות הכלים למבנה שמזכיר הגדרות TypeScript בתוך הודעת המערכת, מה שעוזר למודל 8B לקלוט טיפוסים ופרמטרים מורכבים בלי להתבלבל, כולל תמיכה בהרצת קוד וקריאות מקבילות לכמה כלים במכה אחת.

מתאים ל

• סוכן שמפעיל שאילתות למסד

  יודע לפרק בקשות משתמש לקריאות API ופרמטרים מובנים בלי ליפול על פורמט פלט שגוי.

• שילוב כלים מקבילי

  מתאים למשימות שדורשות תשאול של כמה מקורות מידע חיצוניים בו זמנית ואיחוד התשובות.

• סביבות הרצת קוד מקומיות

  תומך בפיענוח פקודות והרצת קוד שרת, בלי להוציא את הנתונים לענן של חברות צד שלישי.

איפה זה נופל

מודלים של שמונה מיליארד פרמטרים עדיין מוגבלים ביכולת ההיסק שלהם בהשוואה למודלי ענק. למרות ההתמחות בכלים, הכרטיס לא מציג ציוני בנצ'מרק מדויקים שמראים בכמה אחוזים הוא טועה בארגומנטים מורכבים, ויש תלות גדולה בקוד הפרסור שהיוצרים מספקים כדי לקבל JSON תקין ולא ג'יבריש. בנוסף, אם הפונקציות שלכם דורשות הבנה עמוקה של עברית יחד עם שליפת פרמטרים, תצטרכו לבדוק בעצמכם אם הוא שומר על שמות המשתנים ולא נשבר.

איך מריצים

כדי להריץ אותו בפורמט bfloat16 המקורי, 15 גיגה בייט של קבצים דורשים כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי, כמו RTX 3090 או A10G. המפתחים ממליצים להשתמש בשרת ה־vLLM הייעודי שלהם, שכבר מטפל בהמרת הסכמות לפורמט הפרומפט ומשתמש בתבנית Jinja מוכנה כדי להחזיר JSON מסודר.

אם כל מה שאתם צריכים זה כמה קריאות ביום למוצר קטן, הקמה ותחזוקה של שרת עם כרטיס כזה תעלה יותר מסתם שליחת בקשות ל־API מסחרי. ההרצה המקומית משתלמת רק כשרוצים שליטה מלאה בנתונים או כשיש עומס קריאות רציף.

pip install -U huggingface_hub
hf download meetkai/functionary-small-v3.2

הקבצים

21 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer/tokenizer.json9.1 MB
• runs/Aug06_16-31-21_5f6630f76c18/events.out.tfevents.1722961928.5f6630f76c18.6962.0124.9 KB
• trainer_state.json98.7 KB
• tokenizer_config.json64.0 KB
• tokenizer/tokenizer_config.json51.5 KB
• model.safetensors.index.json23.9 KB
• runs/Aug06_16-25-54_5f6630f76c18/events.out.tfevents.1722961609.5f6630f76c18.5638.06.3 KB
• runs/Aug06_16-02-42_5f6630f76c18/events.out.tfevents.1722960774.5f6630f76c18.3201.05.4 KB
• runs/Aug06_16-18-23_5f6630f76c18/events.out.tfevents.1722961486.5f6630f76c18.4451.05.4 KB
• README.md5.1 KB
• modeling_functionary.py4.7 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• special_tokens_map.json325 B
• tokenizer/special_tokens_map.json325 B
• generation_config.json189 B

הרישיון

המודל מפורסם ברישיון MIT, מה שאומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר סגור או לארח אותו כשירות, בלי תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗