- بواسطة x32x01 ||
زهقت من كود طويل علشان تسحب بيانات صفحة ويب؟لو كل مرة بتحتاج تعمل Web Scraping وتلاقي نفسك كاتب عشرات السطور كود
خليني أعرّفك على أداة جامدة جدًا اسمها Pipet
أداة Command Line ذكية بتخلّيك تجمع بيانات من أي صفحة ويب بسهولة ومن غير تعقيد.
يعني إيه Pipet؟
Pipet هي أداة بتخليك تسحب بيانات من الويب كأنك بتكتب ملف إعدادات بسوهي تتكفل بكل الشغل التقيل
من غير: كود معقد - Libraries تقيلة - وجع دماغ
إيه اللي يميّز Pipet عن غيرها؟
الأداة دي قوية جدًا ومرنة، وبتقدم مميزات مهمة لأي Dev أو Pentester 
توصيف هيكل البيانات كأنه Config File
دعم HTML / JSON
تقدر تنفّذ JavaScript
استخراج منظم باستخدام CSS Selectors
دعم Pagination تلقائي من غير كود
وضع المراقبة (Monitoring Mode)
قابلة للتوسعة باستخدام Unix Pipes
تثبيت سهل (Binary جاهز أو عبر Go)
وضع المراقبة (Monitoring Mode)
الميزة دي خطيرة تقدر تخلي Pipet:- تراقب أسعار منتجات
- تذاكر سفر
- تحديثات مواقع
يعني Automation من غير تعب.
مثال بسيط على استخدام Pipet
مثال توضيحي لسحب بيانات باستخدام CSS Selector: Code:
pipet run config.yaml Code:
url: https://example.com
extract:
title: "h1"
price: ".price"
من غير كود، من غير JavaScript، كل حاجة واضحة وبسيطة.
مين اللي محتاج Pipet؟
الأداة مناسبة جدًا لـ:- مطوري الويب
- DevOps
- Bug Bounty Hunters
- مختبري الاختراق
- أي حد بيشتغل Web Scraping
التثبيت واستخدام الأداة
تقدر تثبت Pipet بأكتر من طريقة:- تحميل Binary جاهز
- أو باستخدام Go
رابط المشروع على GitHub
تقدر تشوف المشروع، التوثيق، والأمثلة من هنا http://github.com/0xSojalSec/pipet
متنساش تعمل Star لو عجبتك الأداة!
ليه Pipet اختيار ذكي؟
- أقل كود
- شغل أنضف
- تنظيم أعلى
- تحكم كامل في البيانات