Falcon3-7B-Base

מה זה

מדובר במודל גלם מבית TII שאומן על 14 טריליון טוקנים באמצעות ארכיטקטורת LlamaForCausalLM ומנגנון Grouped Query Attention. הוא לא עבר התאמה לשיחה ולא מיועד למענה ישיר למשתמש קצה, אלא משמש נקודת מוצא להתאמה אישית של משימות ייעודיות.

במבחני הביצועים הפנימיים הוא מציג יתרון ברור במשימות היגיון ומתמטיקה מורכבת מול מתחרים באותו סדר גודל. במבחן GPQA הוא מגיע לציון 35.5 ובמבחן MATH הוא מקבל 18, שניהם מעל Qwen2.5-7B ו־Llama 3.1-8B. מצד שני, במבחני ידע כללי כמו MMLU הוא מפגר מאחורי משפחת Qwen.

מתאים ל

• בסיס לאימון מודל מתמטי

  מציג ציונים חזקים במבחני MATH ו־GSM8K ביחס למודלים של 7B, ומהווה בסיס טוב לכוונון.

• פיתוח מנועי הסקה לקוד

  כולל אימון נרחב על דאטה טכני, חלון של 32K טוקנים וביצועים גבוהים במבחני Arc ו־MUSR.

• כוונון למשימות בארבע שפות

  מתאים לאימון משימות מוגדרות באנגלית, צרפתית, ספרדית או פורטוגזית שנתמכות ישירות מהקופסה.

איפה זה נופל

זהו מודל בסיס לא מכויל, והיוצרים עצמם מזהירים שחובה לאמן אותו הלאה לפני שימוש מעשי. הוא עלול לפלוט טקסטים חזרתיים, לא לציית לפרומפטים מורכבים של צ'אט, ולהציג הזיות בלי שום מנגנון בטיחות. מבחינת שפות, התמיכה מוגבלת רשמית לאנגלית, צרפתית, ספרדית ופורטוגזית בלבד, כך שעברית לא נתמכת כאן באופן רשמי ותדרוש בדיקה קפדנית של טוקניזציה ואימון ייעודי.

אותה משפחה

Falcon3 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 צריך כרטיס מסך עם לפחות 16 גיגה זיכרון, כמו RTX 4090 או כרטיס שרת מקביל, שכן המשקלים תופסים כמעט 14 גיגה נטו. מנגנון ה־GQA וגודל ה־Vocab שעומד על 131 אלף עוזרים לשמור על יעילות חישובית גם בהקשרים ארוכים.

ההרצה מתבצעת ישירות דרך ספריית transformers בפייתון עם שורות קוד בודדות. אם אתם לא מתכננים לעשות לו fine-tuning ומחפשים מודל שפשוט עונה להוראות או מנהל צ'אט, חבל להשקיע משאבי חומרה מקומיים ועדיף להשתמש בגרסת Instruct או ב־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="tiiuae/Falcon3-7B-Base")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.2 GB
• model-00004-of-00004.safetensors805.3 MB
• tokenizer.json9.8 MB
• tokenizer_config.json362.3 KB
• model.safetensors.index.json21.0 KB
• README.md6.0 KB
• .gitattributes1.5 KB
• special_tokens_map.json686 B
• config.json659 B
• generation_config.json113 B

הרישיון

המודל מופץ תחת רישיון ייעודי בשם TII Falcon-LLM License 2.0 שמוגדר במאגר כ־other. לא מדובר ברישיון קוד פתוח סטנדרטי כמו Apache או MIT, ולכן מי שמתכנן להשתמש בו במוצר מסחרי חייב לקרוא את תנאי הרישיון המדויקים של המכון כדי לוודא שאין מגבלות שימוש, הפצה או חובות דיווח מסחריות.

הרישיון המלא בעמוד המודל ↗