HuatuoGPT-o1-8B

מה זה

מדובר במודל שפה שנבנה על בסיס LLaMA-3.1-8B ועבר אימון ייעודי למשימות רפואיות מורכבות. במקום לזרוק תשובה ישירה, הוא מפעיל תהליך חשיבה פנימי שבו הוא מנתח את הבעיה, בוחן כיוונים שונים ומתקן את עצמו, ורק אז מייצר את המענה הסופי. הפלט מופרד בצורה מובנית לחלק של חשיבה ולחלק של תשובה סופית.

ההבדל בינו לבין מודלי שמונה מיליארד רגילים הוא ההתמחות וההתנהגות. במקום לנחש את המילה הבאה על בסיס ידע כללי, הוא מחקה צורת עבודה של פתרון בעיות קליני. זה הופך אותו למעניין במיוחד כשצריך להבין את ההיגיון מאחורי המסקנה ולא רק לקבל טקסט שנשמע משכנע.

מתאים ל

• הסבר אבחנות באנגלית

  פירוק מקרים קליניים לשלבי חשיבה מובנים כדי להבין את הרקע לתסמינים.

• סיוע בלימודי רפואה

  תרגול שאלות מורכבות תוך מעקב אחרי תהליך האלימינציה של המודל.

• ניתוח טקסטים רפואיים

  חילוץ תובנות והיגיון ממסמכים ודוחות רפואיים הכתובים באנגלית.

איפה זה נופל

המודל הזה תומך רק באנגלית לפי המפרט שלו, כך שעבור טקסטים רפואיים בעברית או סיכומי מחלה מקומיים תצטרכו לתרגם בנפרד. בנוסף, למרות שרשרת החשיבה, מודל של שמונה מיליארד פרמטרים עדיין מועד להזיות, ובשאלות רפואיות אסור לסמוך על הפלט שלו בלי בקרה של איש מקצוע אנושי.

אותה משפחה

HuatuoGPT-o1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בגודל של שמונה מיליארד פרמטרים ומשקל קבצים של כחמישה עשר גיגהבייט, אפשר להריץ אותו על כרטיס מסך בודד עם 16GB זיכרון או להשתמש בקוונטיזציה ולרדת לדרישות צנועות יותר. מריצים אותו בדיוק כמו את Llama-3.1-8B-Instruct באמצעות transformers, או בשרתים ייעודיים כמו vLLM ו־SGLang כדי לקבל תפוקה מהירה.

לצוות יש גם גרסאות 70B על אותו בסיס וגרסאות שמבוססות על Qwen שתומכות גם בסינית. אם מטרת הריצה היא בדיקה חד פעמית או שאין ברשותכם חומרה ייעודית, עדיף להשתמש בשרת ענן זמני מאשר לרכוש ברזלים במיוחד עבורו.

pip install -U huggingface_hub
hf download FreedomIntelligence/HuatuoGPT-o1-8B

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json55.4 KB
• model.safetensors.index.json23.9 KB
• README.md3.2 KB
• .gitattributes1.6 KB
• config.json875 B
• special_tokens_map.json444 B
• generation_config.json213 B

הרישיון

הפרויקט משוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות ולהפיץ אותם מחדש, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקורי. חופשי למדי לשילוב בתוך מערכות קיימות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗