Beautifulsoup

הסקירה

Beautiful Soup מקבל קובץ HTML שבור, מפרק אותו לעץ אובייקטים מסודר ושולף ממנו בדיוק את הטקסט או הקישור שחיפשתם. מאז שנת 2004 הוא משמש מפתחים לפרויקטים מהירים של חילוץ נתונים מדפי אינטרנט, בלי שתצטרכו לכתוב ביטויים רגולריים מסובכים כדי לחלץ כותרת פשוטה. הוא עובד מעל מפענחים קיימים בשוק כמו lxml או html5lib, כך שאתם יכולים לבחור בעצמכם אם להעדיף מהירות פענוח גבוהה או גמישות מול קוד שנכתב בצורה גרועה במיוחד.

זה חוסך שעות עבודה.

הספרייה הזו פותרת את אחת הבעיות המעצבנות ביותר בעבודה עם נתונים מהרשת, והיא קידוד תווים. Beautiful Soup ממיר מסמכים נכנסים באופן אוטומטי לפורמט Unicode ומייצא אותם החוצה כקובצי UTF-8. אם דף אינטרנט ישן לא מגדיר את הקידוד שלו והספרייה לא מזהה אותו לבד, תצטרכו להגדיר ידנית מה הקידוד המקורי. החילוץ עובד חלק רק כשהדף מוגדר היטב. עבור אתרים בעברית שמציגים ג'יבריש בגלל קידודי עבר, ההמרה הזו מונעת הרבה תסכול טכני מיותר.

מה הוא עושה בפועל

לא מדובר בכלי עצמאי עם ממשק גרפי, אלא בספריית קוד עבור שפת Python שמיועדת למפתחים בלבד. אתם מתקינים אותה בפקודה פשוטה דרך pip בשם beautifulsoup4, או מורידים את הקבצים ומשלבים אותם ישירות בתוך הפרויקט שלכם תחת רישיון MIT החופשי. הגרסה העדכנית דורשת שימוש בגרסת Python 3.7 ומעלה, בעוד התמיכה בגרסה 2 הופסקה לחלוטין בתחילת 2021. מי שמחפש פתרון לחיצה אחת בלי לדעת תכנות יגלה שהכלי הזה פשוט לא נבנה עבורו.

ההבדל העיקרי בינו לבין ספריות פענוח אחרות הוא שפה טבעית ונוחה יותר לכתיבת הקוד. אתם מבקשים ממנו למצוא את כל הקישורים מדף מסוים, לאתר טבלה שמכילה טקסט מודגש או לסנן תגיות לפי מחלקות ספציפיות בכמה שורות בודדות. הוא לא מתיימר להיות מנוע דפדפן מלא ולא מריץ קוד JavaScript מורכב של אתרים מודרניים. מה שבאמת מפריע כאן הוא שאם האתר שאתם מנסים לקרוא בונה את התוכן שלו באופן דינמי בריצה, Beautiful Soup לבדו לא יעזור לכם בכלל.

הקוד פתוח וחינמי לחלוטין.

מחיר, רישוי ותמיכה ארגונית

אין כאן מדרגות מחיר, אין דמי מנוי חודשיים ואין צורך להזין פרטי אשראי כדי להוריד את התוכנה ולהשתמש בה. כל הפיתוח מתנהל באופן שקוף בפלטפורמת Launchpad וכל אדם יכול לקחת את הקוד לשימוש מסחרי או פרטי בלי לשלם אגורה. התשלום היחיד שקיים סביב הפרויקט מיועד לחברות וארגונים שרוצים תמיכה ממוסדת ובדיקות אבטחה, וזה מתבצע דרך שירות חיצוני בשם Tidelift. למשתמש הישראלי הממוצע, פרילנסר או מפתח עצמאי, אין שום סיבה להוציא על זה כסף.

• מחיר רישיוןקוד פתוח חינם
• תמיכה ארגוניתבתשלום דרך Tidelift
• ממשק גרפיאין, ספריית קוד

לא הייתי משתמש בזה אם אתם צריכים לחלץ מידע מאפליקציות ווב כבדות שמבוססות על רינדור צד לקוח. במקרים כאלה תצטרכו להוסיף כלים נוספים שמפעילים דפדפן אמיתי לפני שהטקסט מגיע אל המפענח. מצד שני, אם אתם צריכים לאסוף נתונים ממאגרי חדשות, מסמכים סטטיים, אתרי ממשל מקומיים או דפי תוצאות פשוטים, הוא עושה את העבודה במהירות שיא בלי להעמיס על המחשב.

בדקו את מבנה הדף מראש.