GPT
הוספת כלי
O

OpenThinker3-7B

קוד פתוח

open-thoughtsapache-2.02025-05-27

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • llama-factory

גרסת חשיבה למודל שבעה מיליארד פרמטרים שמציגה ציונים גבוהים במיוחד במתמטיקה ותכנות. מיועד למי שחייב מודל קומפקטי ומקומי שיודע לפתור בעיות מורכבות שלב אחרי שלב.

  • 7.6Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 571הורדות בחודש

מה זה

מדובר בכיוונון של Qwen2.5-7B-Instruct על גבי מאגר נתונים ייעודי בשם OpenThoughts3 שמכיל 1.2 מיליון דוגמאות חשיבה. הדאטה כולל 850 אלף שאלות במתמטיקה, 250 אלף שאלות קוד ועוד 100 אלף שאלות במדעים, כאשר נתיבי ההסקה נוצרו על ידי המודל QwQ-32B. האימון התבצע באמצעות למידה מונחית בלבד, בלי שימוש בלמידת חיזוק, מה שהופך את התוצאות שלו למעניינות ביחס לגישות המקובלות כיום בעולם מודלי החשיבה.

במבחני ביצועים הוא עוקף מודלים מקבילים ואפילו מודלים גדולים בהרבה. במבחן AIME24 הוא קיבל ציון של 69.0 לעומת 51.3 שקיבל DeepSeek-R1-Distill-Qwen-32B, ובמבחן המתמטיקה MATH500 הוא הגיע לציון 90.0. במבחני תכנות כמו LCB הוא עומד על 51.7, שזה יתרון מורגש על פני גרסאות פתוחות דומות. המספרים האלה מראים שהוא יודע לפרק חישובים ולכתוב לוגיקה ברמה מפתיעה עבור גודל של 7.6 מיליארד פרמטרים.

מתאים ל

  • פתרון בעיות מתמטיות

    קיבל 90.0 ב־MATH500 ומתאים למערכות שצריכות לפרק חישובים הנדסיים מורכבים.

  • בדיקת לוגיקה בקוד

    הוציא 51.7 במבחן LCB ומתאים לניתוח אלגוריתמים ואיתור באגים בסביבה מקומית.

  • הסקה מדעית מובנית

    כולל 100 אלף דוגמאות מדעיות ומסוגל להסביר תהליכים צעד אחר צעד ללא שרתי ענן.

איפה זה נופל

המודל אומן רק על מתמטיקה, תכנות ומדעים, ולכן הוא לא מתאים לשיחה כללית, סיכום טקסטים או כתיבה יוצרת. לא נמסר מידע על תמיכה בעברית, וסביר להניח ששרשראות החשיבה שלו בעברית ישברו או יתערבבו עם אנגלית. בנוסף, בגלל שמדובר במודל הסקה שמייצר טוקנים של מחשבה לפני התשובה, המענה שלו איטי בהרבה ממודל רגיל באותו הגודל.

שאלות
נפוצות

האם הוא יכול להחליף מודל שיחה כללי?

לא. הוא נועד למשימות חשיבה מוגדרות במתמטיקה, קוד ומדעים. ניסיון להשתמש בו לצ'אט שירות או סיכום מסמכים יוביל לתשובות מסורבלות ומלאות בתהליכי מחשבה מיותרים.

האם אפשר להריץ אותו על מחשב נייד רגיל?

הקבצים שוקלים 14.2 גיגה בייט בדיוק המקורי, כך שמחשב ללא מעבד גרפי ייעודי של 16 גיגה זיכרון יתקשה מאוד להריץ אותו. כדי לקבל ביצועים סבירים במחשב אישי תצטרכו להמתין לגרסאות מכווצות או להשתמש בחומרה מתאימה.

איך מריצים

המשקל הכולל של הקבצים עומד על 14.2 גיגה בייט בפורמט bfloat16, כך שצריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו ישירות דרך ספריית transformers של פייתון. אם מנצלים את חלון ההקשר המלא של 32,768 טוקנים, תצטרכו כרטיס חזק יותר כדי להחזיק את כל הזיכרון של רצף החשיבה.

למי שרוצה מענה מהיר בייצור בלי לתחזק כרטיסי מסך יקרים, עדיף להשתמש בשרת שמריץ מודלים דרך API. הרצה עצמית שווה את המאמץ רק אם החוקים שלכם אוסרים הוצאת מידע החוצה, או אם אתם בונים שרשרת חישוב מקומית שדורשת פרטיות מלאה.

from transformers import pipeline

pipe = pipeline("text-generation", model="open-thoughts/OpenThinker3-7B")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים פנימיים או חיצוניים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗