GPT
הוספת כלי
O

OpenThinker-7B

קוד פתוח

open-thoughtsapache-2.02025-01-28

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • llama-factory

גרסת קוד פתוח מלאה של מודל חשיבה בגודל קומפקטי יחסית. אם אתם צריכים שרשראות חשיבה ורוצים לדעת בדיוק על איזה דאטה הוא אומן, הוא מועמד מעניין.

  • 7.6Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 3,745הורדות בחודש

מה זה

הבסיס כאן הוא Qwen 2.5 בגרסת 7B, שעבר אימון נוסף על סט נתונים של 114 אלף דוגמאות שזוקקו מתוך DeepSeek-R1. המטרה של הפרויקט הייתה לייצר שרשראות חשיבה במודל קטן, תוך שחרור מלא של משקולות, קוד ודאטה, בניגוד למודלים שמשאירים את תהליך הזיקוק סגור.

במבחני מתמטיקה הוא מציג יכולת יפה לגודל שלו עם ציון של 83 ב־MATH500 ו־31.3 ב־AIME24, שזה שיפור מורגש לעומת ניסיונות קודמים כמו Bespoke-Stratos-7B. עם זאת, הוא עדיין מפגר בצורה ברורה אחרי מודל הזיקוק הרשמי DeepSeek-R1-Distill-Qwen-7B, שקיבל 60 ב־AIME24, וגם בתכנות קשה הוא מגיע ל־6.5 בלבד במבחן LCBv2 Hard.

מתאים ל

  • פתרון בעיות מתמטיות באנגלית

    עם ציון 83 ב־MATH500, הוא מספק מענה חזק ביחס לגודל קומפקטי של 7B.

  • מחקר וניתוח זיקוק נתונים

    הקוד, המשקולות ומאגר 114k פתוחים לגמרי ומאפשרים לבחון איך מודל חשיבה נבנה.

  • פתרון באגים פשוטים בקוד

    במשימות קוד קלות הוא מגיע ל־75.3 אחוז הצלחה במבחן LCBv2 Easy.

איפה זה נופל

הנתונים מראים נפילה חדה במשימות תכנות ברמה גבוהה, עם 6.5 אחוז הצלחה בלבד ב־LCBv2 Hard וציון כללי של 39.9 בקוד, שזה נמוך משמעותית מ־gpt-4o או o1-mini. בנוסף, מודל הזיקוק המקביל של DeepSeek עוקף אותו כמעט בכל מדד, כולל פער כפול ב־AIME24. אין בכרטיס שום התייחסות לתמיכה בעברית, ולכן לא כדאי להסתמך עליו למשימות חשיבה בשפה שאינה אנגלית לפני בדיקה עצמאית.

אותה משפחה

OpenThinker יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OpenThinker-32B171

שאלות
נפוצות

האם הוא עדיף על DeepSeek-R1-Distill-Qwen-7B המקורי?

בביצועים טהורים לא, גרסת הזיקוק הרשמית עוקפת אותו ברוב המבחנים בפערים ניכרים. היתרון כאן הוא שקיפות מוחלטת של הנתונים ותהליך האימון, מה שלא קיים במודל הרשמי.

כמה זיכרון GPU צריך כדי להריץ אותו?

הקבצים שוקלים 14.2 גיגה־בייט ב־bfloat16. כרטיס עם 16 גיגה־בייט זיכרון יספיק בקושי להקשר קצר, ולכן מומלץ כרטיס של 24 גיגה־בייט להרצה חלקה עם חלון הקשר מלא.

איך מריצים

המשקלים תופסים 14.2 גיגה־בייט בפורמט bfloat16. להרצה מקומית מלאה בלי קוונטיזציה תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה־בייט זיכרון כדי להשאיר מקום לחלון הקשר סביר, שכן החלון המרבי תומך בעד 32,768 טוקנים. השימוש נעשה ישירות דרך ספריית transformers.

אם אין לכם חומרה כזו פנויה, אפשר להוריד את המשקולות ולבצע קוונטיזציה בעצמכם או לשכור מכונה עם כרטיס בודד לשעה. מודל בגודל כזה נגיש לחומרה ביתית מתקדמת, אבל שרשראות חשיבה מייצרות הרבה טוקנים, ולכן מהירות הדור על חומרה חלשה תהיה איטית מאוד.

from transformers import pipeline

pipe = pipeline("text-generation", model="open-thoughts/OpenThinker-7B")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון חופשי לחלוטין ומתיר שימוש מסחרי, שינוי של המשקולות והפצה שלהן במוצרים שלכם, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗