اچھی بات ہے۔
یہ ضرور دیکھ لیا کیجے کہ مذکورہ سائٹ ویب اسکریپنگ کی اجازت دیتی ہے یا نہیں۔ عموماً یہ معلومات روبوٹس ڈاٹ ٹی ایکس ٹی نامی فائل میں مل جاتی ہے۔ اس کا یو آر ایل کچھ اس قسم کا ہوتا ہے۔
websites.com/robots.txt
لیکن ضروری نہیں ہے کہ ہر ویب سائٹ یہ معلومات فراہم کرے۔
اگر آپ Scrapy استعمال کریں تو اسکریپی پرمیشن وغیرہ کی ذمہ داری خود سنبھال لیتا ہے۔ لیکن اسکریپی کا استعمال کافی پیچیدہ ہے۔
اسکریپی کے متعلق بھی ویڈیوز ڈاؤن لوڈ کر رکھی ہیں، لیکن تاحال دیکھنے کا موقع نہیں ملا۔ روبوٹس ڈاٹ ٹی ایکس ٹی پڑھنا کافی مشکل کام لگتا ہے، اس لیے صرف اتنا ہی سمجھ لیا ہے کہ
1۔ ویب سائٹ کا وہی ڈیٹا اسکریپ کروں جو ویب سائٹ پر عوام الناس کیلئے دستیاب ہے اور اسے فی الحال کہیں استعمال نہ کروں۔
2۔ ویب سائٹ کا ڈیٹا منوں ٹنوں کی بجائے صرف کلو کی حد تک اٹھاؤں، تاکہ ویب سائٹ کے صارفین کوکوئی پریشانی نہ ہو۔
۔۔۔۔ اسکریپنگ کبھی کبھی ذاتی ضرورت پڑنے پر کرتا ہوں۔۔۔ ابھی تک ڈیٹا حاصل کرکے تھوک سے بیچنے کا خیال نہیں آیا ۔۔۔ اگر آگے چل کر یہ کام کرنا ہوا تو روبوٹس ٹی ایکس ٹی پڑھنا ناگزیر ہوجائے گا۔