GPT
הוספת כלי
T

TinyR1-32B-Preview

קוד פתוח

qihoo360apache-2.02025-02-24

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

גרסת ניסוי של מודל חשיבה מבוסס מיזוג, שמציגה תוצאות מתמטיקה דומות למודלי ענק. היא מיועדת למי שמחפש ביצועי הסקה גבוהים בלי להחזיק תשתית של מאות מיליארדי פרמטרים.

  • 33Bפרמטרים
  • 131,072טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 130הורדות בחודש

מה זה

הצוות של qihoo360 לקח את Deepseek-R1-Distill-Qwen-32B ואימן אותו בנפרד על שלושה תחומי ידע שונים: מתמטיקה, קוד ומדעים. האימון התבסס על נתוני שרשרת חשיבה שיוצרו על ידי R1 המקורי. לאחר מכן הם חיברו את שלושת המודלים הנפרדים למשקל אחד באמצעות הכלי Mergekit.

המבחנים מראים שהשילוב הזה עובד. במבחן המתמטיקה AIME 2024 המודל הגיע לציון של 78.1, גבוה יותר מגרסת הזיקוק המקבילה בנפח 70B שהשיגה 70.0, וקרוב מאוד לציון של R1 המלא שעומד על 79.8. במבחני קוד ומדעים הוא עוקף את מודל הבסיס שלו, אם כי במדעים מודל ה־70B עדיין מוביל עליו במעט.

מתאים ל

  • פתרון בעיות מתמטיקה

    הוא משיג תוצאה של 78.1 במבחן AIME, כמעט כמו המודל המלא, בגודל שמתאים לתשתית מקומית סבירה.

  • ניתוח שאילתות מדעיות

    הוא עבר אימון ייעודי על נתוני מדעים ומגיע לציון 65.0 ב־GPQA-Diamond בלי הצורך בשרתי ענק.

  • בדיקת מיזוג מודלים

    מבנה המשקלים מתאים לחוקרים שרוצים לבחון איך מיזוג התמחויות שונות משפיע על כושר הסקה.

איפה זה נופל

זהו דגם ניסיוני עם בעיות תפעוליות ברורות. הכרטיס מציין שהמודל משמיט את תג הפתיחה של החשיבה ופולט רק תג סגירה, מה שדורש התאמה מיוחדת בקוד הקליטה. בנוסף, הוא נוטה לייצר שרשראות חשיבה ארוכות ומיותרות גם עבור שאלות פשוטות, והגדרות לא נכונות של טמפרטורה עלולות להכניס אותו ללולאות של פלט חוזר. יוצרי המודל עצמם מדגישים שהוא אינו מיועד ליישומים כלליים וחסר מנגנוני בטיחות מספקים.

שאלות
נפוצות

באילו פרמטרים מומלץ להריץ את הדגם כדי למנוע לולאות?

היוצרים ממליצים לקבוע טמפרטורה של 0.6 וערך top-p של 0.95, בדומה להגדרות של R1. סטייה מהערכים האלה עלולה לגרום למודל לחזור על עצמו ברצף אינסופי.

האם כדאי להשתמש בגרסה הזו בפיתוח חדש?

עדיף לעבור ישר לגרסה הרשמית המלאה שהיוצרים שחררו מאוחר יותר. גרסה זו היא תצוגה מקדימה ניסיונית עם תקלות ידועות בעיבוד תגיות החשיבה ובאורך התשובות.

איך מריצים

המשקלים תופסים 61 גיגה בייט ומחייבים חומרת שרתים ייעודית. כדי להריץ אותו בדיוק המקורי תצטרכו שני כרטיסי עיבוד גרפי של 48 גיגה בייט או כרטיס בודד של 80 גיגה בייט, במיוחד אם תרצו לנצל את חלון ההקשר הגדול שמגיע עד 131,072 טוקנים.

אם יש לכם מחשב מקומי יחיד עם זיכרון צנוע יותר, תצטרכו להמתין להמרות מכווצות או לפנות לפתרונות ענן. שימו לב שהיוצרים כבר הוציאו גרסה רשמית מלאה שמחליפה את גרסת התצוגה המקדימה הזו, ולכן כדאי לבדוק אותה לפני שמשקיעים משאבים בהרצה של הקבצים כאן.

from transformers import pipeline

pipe = pipeline("text-generation", model="qihoo360/TinyR1-32B-Preview")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המוצר. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי. בפועל, החופש המשפטי מלא, אך מגבלות הבטיחות והיציבות של המודל עצמו הן הסיכון העיקרי בשילוב שלו במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗