Llama3.1-Instruct-O1

מה זה

אתם כותבים הודעת טקסט רגילה בצ'אט ומקבלים תשובה שמבוססת על מודל ממשפחת Llama 3.1. מאחורי הקלעים הקוד מתממשק ל־SambaNova Cloud ומשתמש בספריית openai כדי לנהל את השיחה, לצד פרומפט מערכת מובנה שניתן לעריכה ישירות בחלון של 15 שורות.

הרעיון כאן הוא חיקוי של תהליך ההסקה האיטרטיבי של מודלי o1. אתם קובעים בעזרת סליידר ייעודי תקציב חשיבה בין 1 ל־100, שמגדיר את מספר הפעמים המקסימלי שהמודל יכול לבצע חשיבה פנימית ועיבוד לפני שהוא מציג את הפלט הסופי בתיבת השיחה.

מתאים ל

• פתרון בעיות לוגיות

  הרצת שאלות מורכבות תוך הגדלת תקציב החשיבה כדי לתת למודל שלבי ניתוח נוספים.

• ניסוי בהנחיות מערכת

  עריכה ישירה של פרומפט המערכת כדי לבדוק איך שינוי הוראות הבסיס משפיע על תהליך ההסקה.

• בדיקת מודלים בענן SambaNova

  הערכת מהירות ואיכות התשובות של מודלי Llama 3.1 מול תשתית הענן של החברה ישירות מהדפדפן.

איפה זה נופל

החומרה שעליה יושב הממשק היא מעבד רגיל ואין פה משאבי האצה מקומיים, הכל נשען על קריאות רשת לענן חיצוני. אם החיבור ל־SambaNova Cloud נתקע או שהמפתח המשותף מגיע למגבלות שלו, הממשק פשוט יפסיק לענות עד שתזינו מפתח משלכם.

חשוב לזכור שזה לא המודל המקורי של OpenAI אלא Llama 3.1 שעובר הכוונה דרך פרומפט ותהליך חשיבה מלאכותי, כך שלא כדאי להניח מראש שהוא יפתור בעיות לוגיות בדיוק באותה רמה.

איך משתמשים

נכנסים לממשק, מקלידים הודעה בתיבת הטקסט ומשגרים. המרחב עצמו רץ על חומרת מעבד בסיסית, אבל השאילתות נשלחות לענן של SambaNova, כך שזמן התגובה תלוי בעיקר בשירות החיצוני ובכמות שלבי החשיבה שהגדרתם בסליידר.

אפשר לעבוד חופשי בלי להזדהות, אך קיים שדה אופציונלי להזנת מפתח API פרטי מ־SambaNova Cloud. מי שמזין מפתח עצמאי מקבל זמינות גבוהה יותר במקרה של עומס על המכסה הציבורית של המרחב.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל לצרכים מסחריים. הטקסט שאתם מזינים נשלח לעיבוד ב־SambaNova Cloud, ולכן הטיפול במידע כפוף לתנאי השימוש ומדיניות הפרטיות של אותו שירות ענן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗