Running GPT4All On a Mac Using Python langchain in a Jupyter Notebook

הסקירה

אתם מורידים קובץ משקלים של 4GB, ממירים אותו בעזרת כלי שורת פקודה, ומריצים אותו ישירות על המעבד של המחשב בלי לשלוח מילה אחת לשום שרת חיצוני. התהליך הזה מחבר את מודל השפה הפתוח GPT4All, שמבוסס על llama.cpp, אל תוך סביבת העבודה של langchain בתוך מחברת Jupyter Notebook. התוצאה היא מודל שיחה מקומי לחלוטין שרץ תחת Python 3.10, מסוגל לקבל שאילתות טקסט פשוטות, ומחזיר תשובות ישירות אל תא הפלט במחברת שלכם. אין כאן מנוי חודשי, אין מפתחות API של חברות ענן, ואין תלות בחיבור לרשת בזמן הריצה.

ההבדל המרכזי מול פתרונות מסחריים הוא השליטה המוחלטת בחומרה. הנתונים לא זזים מהמחשב. מצד שני, אתם משלמים בזמן עיבוד אמיתי.

ביצועים על חומרה ותיקה

ההדגמה נבדקה על מחשב נייד ישן יחסית, Macbook Pro משנת mid-2015 עם זיכרון עבודה של 16GB. בזמן שהמודל רץ, המחשב הפעיל במקביל גם שרת Docker של מחברת נפרדת ודפדפן Chrome עם בערך 40 לשוניות פתוחות. טעינת המודל עצמו אל הזיכרון לוקחת בדיוק 1.42 שניות, כשנפח הזיכרון הנדרש עומד על 5809.78 MB עם תוספת של 2052.00 MB לכל מצב. המודל כולל 291 טנסורים וגודלו המדויק בזיכרון הוא 4017.27 MB, מה שמאפשר לו להיכנס לזיכרון בלי לחנוק לגמרי את המערכת שלכם.

כששולחים שאילתה, המציאות מכה בפנים. שאילתת טריוויה קצרה על הזוכה בסופרבול דרשה 43.7 שניות של זמן שעון, כשהמעבד עבד בפועל במשך 5 דקות ו־6 שניות. שאילתה מורכבת יותר על מסדי נתונים יחסיים ועקרונות ACID לקחה 2 דקות ו־4 שניות של זמן שעון, שהם 14 דקות ו־42 שניות של זמן מעבד מלא. לא הייתי משתמש בזה לעבודה יומיומית שדורשת מענה מהיר. לחכות שתי דקות לתשובה זה פשוט לא פרקטי למשימות שוטפות של כתיבה או סיכום.

המודל פשוט איטי מדי. זמני ההמתנה האלה יתסכלו כל מי שרגיל למהירות של שירותי רשת סטנדרטיים.

איכות התשובות והיכולות המעשיות

התוכן שהמודל פולט מדויק ומפורט מבחינה טכנית כשהוא מסביר מושגים כמו ACID, אך נוטה לשגיאות עובדתיות מביכות בטריוויה. בשאילתה על שנת הלידה של ג'סטין ביבר, המודל טען תחילה שהוא נולד בשנת 2005, מיד אחר כך תיקן את עצמו ל־1 במרץ 1994, ולבסוף קבע שהבפאלו בילס זכו בסופרבול באותה שנה, אף שהם הפסידו בו. בנוסף להפקת טקסט, הצינור הזה מסוגל לייצר וקטורים באמצעות LlamaCppEmbeddings. יצירת וקטור למשפט בדיקה בודד דורשת 2.13 שניות, ויצירת וקטור למסמך לוקחת 1.47 שניות.

ההתקנה רחוקה מלהיות חלקה. צריך להתעסק עם גרסאות ספציפיות, ספריות Git שאינן יציבות, והמרת קבצים בינאריים של מודלים ידנית לחלוטין.

לגבי השפה העברית, אין בתיעוד שום התייחסות לתמיכה בה, וההדגמות כולן מתבצעות באנגלית בלבד. מודלים מוקדמים של 7B שעברו קוונטיזציה נוטים להציג ביצועים ירודים במיוחד בשפות שאינן אנגלית, ולכן כדאי לכם לקחת בחשבון שהכלי מיועד כמעט בוודאות לטקסט לועזי בלבד. אם אתם מתכנתים או חוקרים שמחפשים לנתח מסמכים רגישים מקומית בלי לחשוף מידע, הגישה הזו תעניין אתכם. לעומת זאת, אם אתם מחפשים כלי עזר יעיל לכתיבה יומיומית, חבל על המאמץ והזמן שלכם.

• מחיר כספיחינם בקוד פתוח
• דרישות חומרהכבדות על המעבד
• תמיכת שפותאנגלית בלבד בבדיקה