Falcon3-1B-Instruct
קוד פתוחtiiuaeother2024-12-14
מודל שיחה זעיר שנועד לרוץ מקומית על חומרה קלה בלי לחנוק את המעבד. הוא מתאים למי שמחפש הסקת מסקנות מהירה וזולה באנגלית, צרפתית, ספרדית או פורטוגזית.
- 1.7Bפרמטרים
- 8,192טוקנים בהקשר
- 3.1 GBמשקל הקבצים
- 9,651הורדות בחודש
מה זה
מדובר במודל שנוצר באמצעות גיזום של מודלים גדולים יותר בסדרה, 3B ו־7B, ולאחר מכן עבר אימון מתקן על שמונים גיגה-טוקנים בלבד. הגרסה הזו עברה כוונון ייעודי להוראות ומענה לשיחות, לצד תמיכה בקריאות לפונקציות. הארכיטקטורה משתמשת במנגנון תשומת לב מקובצת שמאיץ את מהירות הריצה, עם חלון הקשר של 8,192 טוקנים.
מבחני הביצועים של היוצרים מראים תמונה מעורבת. הוא מפגין יכולת חזקה במיוחד בידע מדעי עם תוצאה של 86.8 ב־SciQ, ובמבחני היגיון כמו GPQA בשיטת שרשרת מחשבה ו־MUSR הוא עוקף את המתחרים הישירים בגודל שלו. מנגד, במתמטיקה כללית ובהבנת שפה רחבה כמו MMLU הוא מפגר באופן ברור אחרי Llama 3.2 ו־Qwen 2.5 המקבילים.
מתאים ל
- הפעלת פונקציות בקצה
הוא קל מספיק לרוץ על מכשיר מקומי ואומן ספציפית על נתוני function calling.
- שאלות ותשובות מדעיות
הוא מציג תוצאה של 86.8 במבחן SciQ, מעל לכל המודלים המתחרים בקטגוריית הגודל שלו.
- סיווג טקסט באופליין
הוא תופס מעט זיכרון עבודה ומסוגל למיין טקסטים בארבע השפות הנתמכות ללא חיבור רשת.
איפה זה נופל
הבעיה המרכזית עבור קהל ישראלי היא היעדר מוחלט של תמיכה בעברית. המודל אומן ותומך רק בארבע שפות: אנגלית, צרפתית, ספרדית ופורטוגזית, ולכן ניסיון לתקשר איתו בעברית יפיק פלט משובש לחלוטין.
בנוסף, הביצועים שלו במתמטיקה נמוכים מאוד. ציון של 1 בלבד במבחן MATH ברמה חמש ו־43.9 ב־GSM8K מוכיחים שהוא לא מסוגל להתמודד עם חישובים או לוגיקה כמותית. גם ציון 5.5 ב־MT-Bench מצביע על כך שאיכות השיחה הכללית שלו בינונית ביחס לגודלו.
אותה משפחה
Falcon3 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מבין ועונה בעברית?
לא. החומר מציין תמיכה באנגלית, צרפתית, ספרדית ופורטוגזית בלבד. לא כדאי לבנות עליו לעיבוד שפה מקומית.
האם המודל מתאים לפתרון בעיות מתמטיות?
לא, הוא חלש מאוד בתחום הזה. במבחן MATH ברמה חמש הוא קיבל ציון של נקודה אחת בלבד, ובמבחן GSM8K הוא קיבל 43.9, שזה נמוך משמעותית ממתחריו.
איך מריצים
במשקל של 3.1 גיגה-בייט בדיוק bfloat16, אפשר להריץ אותו בקלות על מעבד רגיל של לפטופ או על כרטיס מסך בסיסי עם 4 גיגה זיכרון. טוענים אותו ישירות דרך ספריית transformers בפייתון בלי להסתבך עם הגדרות תשתית כבדות.
הקמה עצמית משתלמת אם אתם צריכים פרטיות מלאה, עבודה אופליין או שאתם בונים מוצר שרץ בקצה אצל הלקוח. אם הפרויקט שלכם דורש מענה לשאלות מורכבות בעברית או עיבוד מתמטי, חבל על זמן ההתקנה ועדיף לגשת ישירות ל־API של מודל ענן גדול.
from transformers import pipeline
pipe = pipeline("text-generation", model="tiiuae/Falcon3-1B-Instruct")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון קנייני בשם TII Falcon-LLM License 2.0 שמוגדר במערכת בתור other ולא כרישיון קוד פתוח סטנדרטי כמו Apache או MIT. לפני שילוב שלו במוצר מסחרי, חובה לקרוא בעיון את נוסח הרישיון המלא כדי לוודא שאין בו הגבלות שימוש, דרישות תמלוגים או תנאים שמגבילים הפצה.