Home-3B-v3-GGUF

קוד פתוח

acon96other2024-02-23

transformers
safetensors
gguf
stablelm_epoch
text-generation

גרסה מכווצת ומותאמת של מודל שפה קטן, שנועדה לתפעל פקודות בתוך Home Assistant. הוא מחזיר קריאות פונקציה מסודרות בפורמט JSON במקום רק לנהל שיחה כללית.

2.8Bפרמטרים
4,096טוקנים בהקשר
32.7 GBמשקל הקבצים
1,557הורדות בחודש

מה זה

בבסיס שלו יושב StableLM בגודל 2.8 מיליארד פרמטרים, שעבר אימון על נתונים סינתטיים של פקודות לבית חכם. הוא לא נועד לכתוב מאמרים אלא לקבל פקודה, להבין את מצב המכשירים בבית, ולהחזיר קריאת שירות מדויקת יחד עם תשובה קצרה למשתמש. המודל מתמודד גם עם ישויות כמו שואבי אבק, טיימרים ומשימות, ויודע לענות על שאלות הגיון בסיסיות תודות לאימון ההוראות המקורי.

בבדיקות של היוצר על סט המבחן שלו, המודל הגיע לדיוק של 97.11 אחוז ביצירת ה־JSON עבור קריאות השירות. זה אומר שברוב המכריע של המקרים הוא מוציא תחביר תקין שהמערכת יכולה להריץ ישירות בלי לשבור את האוטומציה.

מתאים ל

שליטה מקומית ב־Home Assistant
הוא אומן להחזיר פקודות JSON מובנות לשליטה באורות, מאווררים ושואבי אבק ללא תלות בענן חיצוני.
הרצה על חומרה זולה
משקל קל ופורמט GGUF מאפשרים לו לרוץ ישירות על מעבדים פשוטים ומחשבי לוח בודד.
מענה קצר לשאלות פשוטות
יודע לפתור בעיות היגיון קצרות ולתת תשובות עובדתיות ישירות כחלק מעוזר ביתי.

איפה זה נופל

היוצר מבהיר שהתמיכה בשפות שאינן אנגלית נבדקה רק על דוגמאות בודדות שתורגמו בגוגל טרנסלייט לגרמנית, ספרדית וצרפתית. עברית בכלל לא ברשימת השפות הנתמכות, וסביר להניח שהוא ייכשל בהבנת פקודות מקומיות או יוציא פלט משובש. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים, כך שאם רשימת המכשירים והמצבים בבית שלכם ארוכה מאוד, יהיה קשה לדחוס את כולה להנחיית המערכת.

שאלות
נפוצות

האם המודל מבין פקודות בעברית?

לא. המודל אומן ונבדק באנגלית, עם בדיקות בסיסיות מאוד בגרמנית, צרפתית וספרדית. אין לו תמיכה רשמית בעברית, ולא כדאי לבנות עליו לפקודות קוליות או טקסטואליות בשפה הזו.

איך המערכת יודעת אילו מכשירים קיימים בבית?

מעבירים לו בהנחיית המערכת רשימה מוגדרת של שירותים ומכשירים יחד עם המצב הנוכחי שלהם. המודל קורא את הנתונים האלה ובוחר מתוכם את הפעולה המתאימה לפקודת המשתמש.

איך מריצים

המודל מכווץ בפורמט GGUF בעזרת llama.cpp, מה שמאפשר להריץ אותו ישירות על מעבד מקומי או על חומרה חלשה כמו Raspberry Pi בלי כרטיס מסך ייעודי. גודל של 2.8 מיליארד פרמטרים דורש מעט מאוד זיכרון עבודה, כך שכל מחשב ביתי מודרני מריץ אותו בקלות.

אם אתם מחפשים מענה מקומי ופרטי לגמרי בתוך הבית, זו הסיבה להריץ אותו אצלכם. מנגד, אם אתם צריכים שיחה עמוקה, ניתוח מסמכים או תמיכה שוטפת ברשתות מורכבות, עדיף להשתמש במודל ענן גדול דרך API ולא להסתמך על מודל ייעודי קטן כזה.

ollama run hf.co/acon96/Home-3B-v3-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

safetensors5.6 GB F165.6 GB F165.6 GB Q8_03.0 GB Q8_03.0 GB Q5_K_M2.0 GB Q5_K_M2.0 GB Q4_K_M1.7 GB Q4_K_M1.7 GB Q3_K_M1.4 GB Q3_K_M1.4 GB Q2_K1.1 GB Q2_K1.1 GB

הקבצים

27 קבצים במאגר, 32.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת הסכם קהילתי לא מסחרי למחקר של Stability AI, בגלל מודל הבסיס שעליו הוא אומן. המשמעות פשוטה: השימוש מותר רק לצרכים אישיים או מחקריים. אסור לשלב את המודל במוצר מסחרי, למכור אותו או לספק באמצעותו שירות בתשלום ללקוחות.

הרישיון המלא בעמוד המודל ↗