ڈیٹا مائینگ
- صاحب لڑی الف نظامی
- تاریخ ابتداء
ابن سعید
خادم
الف نظامی بھائی آپ ان ٹرمنالوجیز کو گوگل کیوں نہیں کر لیا کرتے؟ وکیپیڈیا پر زیادہ بہتر وضاحت مل جائے گی۔
خیر میں اپنا علم بگھارتا ہوں۔
مائننگ کا مطلب ہوتا ہے کان کنی کرنا۔ اس کا مقصد زمین کی مٹی کی تہوں کو کھود کر ان سے کام کی (قیمتی) چیزیں نکالنا۔ مثلاً سونا، چاندی، ہیرا وغیرہ۔ ذرا سے ہیرے کے لئے کس قدر کثیر مقدار میں مٹی کھودنی پڑتی ہے اس کا تو اندازہ کر ہی سکتے ہیں۔ یہ کام کتنا دقت طلب ہے یہ دھیان میں رکھیں تو ڈاٹا مائننگ سمجھنے میں آسانی ہوگی۔
انٹرنیٹ جہاں معلومات کی یلغار ہے اس انبار کا ایک بڑا حصہ ایسا ہے جو کہ بے مصرف یا غیر موزوں ہے اور کسی خاص موقعے، موضوع اور شخص کے لئے کچھ خاص معلومات ہی کام کی ہوتی ہیں باقی کا سب کچھ کوڑا ہوتا ہے۔
اس صورت حال میں ایسی تکنیک جو معلومات کے اس انبار سے کام کے پیٹرن نکال سکے اسی کا نام ڈاٹا مائننگ ہے۔
اس کی کئی قسمیں ہیں۔
- خرید و فروخت کی مائننگ
- ویب مائننگ
ویب مائننگ کی مزید اقسام ہیں۔
- ویب لاگ یا یوزیج (استعمال) مائننگ
- ویب کنٹینٹ (مواد) مائننگ
اب فرداً فرداً ان کی وضاحت کرنے کی کوشش کرتا ہوں۔
خرید و فروخت کی مائننگ: سپر اسٹورس میں ہر خرید و فروخت کا ٹرانزیکشنل ڈاٹا بیس میں ریکارڈ رکھا جاتا ہے۔ جس میں یہ لکھا جاتا ہے کہ کسی شخص نے کن کن چیزوں کی خریداری ایک ساتھ کی ہے اور کتنی مقدار میں۔ جب ایسی اطلاعات اربوں کی تعداد میں جمع ہو جاتی ہیں تو ان کی مائننگ سے کچھ چونکاؤ نتیجے برامد کئے جا سکتے ہیں۔ وہ اطلاعات کچھ اس قسم کی ہو سکتی ہیں کہ 60 فیصد حالات میں پایا گیا ہے ہیں جب بھی دودھ اور ڈائپر خریدا گیا تو بئیر بھی خریدا گیا۔ ایسے نتائج سپر اسٹورس میں سامان کو ترتیب دینے میں معاون ہوتے ہیں کہ کس چیز کو کس کے پاس رکھا جائے وغیرہ۔
ویب لاگ یا یوزیج مائننگ: اس میں ویب یوزرس کی ویب استعمال کا ٹرینڈ دیکھا جاتا ہے کہ کون کون سی سائٹیں کس مقدار میں دیکھی جاتی ہیں۔ کس سائٹ کے ساتھ کس سائٹ کا اسوسئیشن کتنا ہے مطلب کہ کتنے ایسے صارف ہیں جو فلاں سائٹ کو دیکھتے ہیں تو فلاں کو بھی ضرور دیکھتے ہیں۔ یا فلا سائٹ کے فلا صفحے کے بعد صارفیں عموماً فلاں صفحے کو جاتے ہیں۔ یا فلاں صارف کھیل سے متعلق سائٹیں زیادہ دیکھتا ہے۔
یہ معلومات سائٹوں کو کیٹیگرائز کرنے، سائٹوں کے صفحات کو ترتیب دینے ان میں مینو مرتب کرنے نیز ٹارگیٹڈ ایڈورٹائزنگ (معینہ اشتہار جس میں صارف کے مزاج کو سامنے رکھ کر اشتہار دیا جاتا ہے) اور اسپیم صفحات سے مقابلہ کرنے میں مفید ثابت ہوتے ہیں۔
ویب کنٹینٹ مائننگ: اس تکنیک میں ویب ڈاکومینٹس کے مواد کو کھنگالا جاتا ہے اور اس سے کام کے پیٹرن نکالے جاتے ہیں۔ یہ سب سے زیادہ مستعمل (اور شاید مفید بھی) تکنیک ہے۔ اسے عموماً سرچ انجن استعمال میں لاتے ہیں۔ جن کی زندہ مثال گوگل، لائو، الٹا وسٹا وغیرہ ہیں جن کے چلتے آپ چند کیورڈ ڈال کر اپنی ضرورت کے حساب سے سائٹیں تلاش لیتے ہیں۔ نیز یہ مائننگ ٹارگیٹیڈ ایڈورٹائزنگ میں بھی استعمال کی جاتی ہے۔ جس میں سائٹ کے مواد کا تجزیہ کر کے اسی زمرے کے اشتہار ڈالے جاتے ہیں۔
اوہو اتنا کچھ لکھ دیا یہ تو اچھا خاصہ مضمون بن گیا۔ بہر کیف امید ہے کہ مفید ثابت ہوگا۔
خیر میں اپنا علم بگھارتا ہوں۔
مائننگ کا مطلب ہوتا ہے کان کنی کرنا۔ اس کا مقصد زمین کی مٹی کی تہوں کو کھود کر ان سے کام کی (قیمتی) چیزیں نکالنا۔ مثلاً سونا، چاندی، ہیرا وغیرہ۔ ذرا سے ہیرے کے لئے کس قدر کثیر مقدار میں مٹی کھودنی پڑتی ہے اس کا تو اندازہ کر ہی سکتے ہیں۔ یہ کام کتنا دقت طلب ہے یہ دھیان میں رکھیں تو ڈاٹا مائننگ سمجھنے میں آسانی ہوگی۔
انٹرنیٹ جہاں معلومات کی یلغار ہے اس انبار کا ایک بڑا حصہ ایسا ہے جو کہ بے مصرف یا غیر موزوں ہے اور کسی خاص موقعے، موضوع اور شخص کے لئے کچھ خاص معلومات ہی کام کی ہوتی ہیں باقی کا سب کچھ کوڑا ہوتا ہے۔
اس صورت حال میں ایسی تکنیک جو معلومات کے اس انبار سے کام کے پیٹرن نکال سکے اسی کا نام ڈاٹا مائننگ ہے۔
اس کی کئی قسمیں ہیں۔
- خرید و فروخت کی مائننگ
- ویب مائننگ
ویب مائننگ کی مزید اقسام ہیں۔
- ویب لاگ یا یوزیج (استعمال) مائننگ
- ویب کنٹینٹ (مواد) مائننگ
اب فرداً فرداً ان کی وضاحت کرنے کی کوشش کرتا ہوں۔
خرید و فروخت کی مائننگ: سپر اسٹورس میں ہر خرید و فروخت کا ٹرانزیکشنل ڈاٹا بیس میں ریکارڈ رکھا جاتا ہے۔ جس میں یہ لکھا جاتا ہے کہ کسی شخص نے کن کن چیزوں کی خریداری ایک ساتھ کی ہے اور کتنی مقدار میں۔ جب ایسی اطلاعات اربوں کی تعداد میں جمع ہو جاتی ہیں تو ان کی مائننگ سے کچھ چونکاؤ نتیجے برامد کئے جا سکتے ہیں۔ وہ اطلاعات کچھ اس قسم کی ہو سکتی ہیں کہ 60 فیصد حالات میں پایا گیا ہے ہیں جب بھی دودھ اور ڈائپر خریدا گیا تو بئیر بھی خریدا گیا۔ ایسے نتائج سپر اسٹورس میں سامان کو ترتیب دینے میں معاون ہوتے ہیں کہ کس چیز کو کس کے پاس رکھا جائے وغیرہ۔
ویب لاگ یا یوزیج مائننگ: اس میں ویب یوزرس کی ویب استعمال کا ٹرینڈ دیکھا جاتا ہے کہ کون کون سی سائٹیں کس مقدار میں دیکھی جاتی ہیں۔ کس سائٹ کے ساتھ کس سائٹ کا اسوسئیشن کتنا ہے مطلب کہ کتنے ایسے صارف ہیں جو فلاں سائٹ کو دیکھتے ہیں تو فلاں کو بھی ضرور دیکھتے ہیں۔ یا فلا سائٹ کے فلا صفحے کے بعد صارفیں عموماً فلاں صفحے کو جاتے ہیں۔ یا فلاں صارف کھیل سے متعلق سائٹیں زیادہ دیکھتا ہے۔
یہ معلومات سائٹوں کو کیٹیگرائز کرنے، سائٹوں کے صفحات کو ترتیب دینے ان میں مینو مرتب کرنے نیز ٹارگیٹڈ ایڈورٹائزنگ (معینہ اشتہار جس میں صارف کے مزاج کو سامنے رکھ کر اشتہار دیا جاتا ہے) اور اسپیم صفحات سے مقابلہ کرنے میں مفید ثابت ہوتے ہیں۔
ویب کنٹینٹ مائننگ: اس تکنیک میں ویب ڈاکومینٹس کے مواد کو کھنگالا جاتا ہے اور اس سے کام کے پیٹرن نکالے جاتے ہیں۔ یہ سب سے زیادہ مستعمل (اور شاید مفید بھی) تکنیک ہے۔ اسے عموماً سرچ انجن استعمال میں لاتے ہیں۔ جن کی زندہ مثال گوگل، لائو، الٹا وسٹا وغیرہ ہیں جن کے چلتے آپ چند کیورڈ ڈال کر اپنی ضرورت کے حساب سے سائٹیں تلاش لیتے ہیں۔ نیز یہ مائننگ ٹارگیٹیڈ ایڈورٹائزنگ میں بھی استعمال کی جاتی ہے۔ جس میں سائٹ کے مواد کا تجزیہ کر کے اسی زمرے کے اشتہار ڈالے جاتے ہیں۔
اوہو اتنا کچھ لکھ دیا یہ تو اچھا خاصہ مضمون بن گیا۔ بہر کیف امید ہے کہ مفید ثابت ہوگا۔
ابن سعید
خادم
پچھلے سیمیسٹر میں ڈاٹا مائنگ کے مضمون میں ایک ایلگوریتھم "پیج رینک ود ہب، اتھارٹی ویلیو" کا ڈیمونسٹریشن پروگرام ڈیویلپ کرنے کا اسئنمینٹ ملا تھا جسے میں نے جاوا اسکرپٹ کے ذریعہ کیا تھا۔ اور کلاس میں سب سے امتیازی نمبر حاصل کئے تھے۔ اس ایلگوریتھم میں میوچولی ری انفورسنگ (تائید باہمی) تکنیک کا ستعمال ہوتا ہے۔ شاید اس کا کوڈ میرے ہوم پیج پر دستیاب ہو پر میں وثوق سے نہی کہہ سکتا کیوں کہ عرصہ ہوا اسے اپڈیٹ نہیں کیا۔
اس کے علاوہ ڈاٹا مائننگ کے ایپرائری ایلگوریتھم کو سریع کرنے کے لئے بھی کچھ آئیڈیاز ہیں میرے پاس جن پر کبھی فرصت ملی تو ٹیکنیکل پیپر لکھوں گا انشاء اللہ۔
اور کلاس میں سب سے امتیازی نمبر حاصل کئے تھے۔ اس ایلگوریتھم میں میوچولی ری انفورسنگ (تائید باہمی) تکنیک کا ستعمال ہوتا ہے۔ شاید اس کا کوڈ میرے ہوم پیج پر دستیاب ہو پر میں وثوق سے نہی کہہ سکتا کیوں کہ عرصہ ہوا اسے اپڈیٹ نہیں کیا۔اس کے علاوہ ڈاٹا مائننگ کے ایپرائری ایلگوریتھم کو سریع کرنے کے لئے بھی کچھ آئیڈیاز ہیں میرے پاس جن پر کبھی فرصت ملی تو ٹیکنیکل پیپر لکھوں گا انشاء اللہ۔
ابن سعید
خادم
اس ربط پر ڈاٹا مائننگ زمرے کی کم و بیش 50 کتابیں دستیاب ہیں۔ آپ اپنی ضرورت کے مطابق کچھ کا انتخاب کر لیں۔ ایک تو مجھے آپ کے مقصد کا علم نہیں ورنہ ممکن تھا کہ دو ایک کتابیں منتخب کرنے میں مدد دے سکتا۔ ویسے میں نے ان میں سے کوئی بھی کتاب نہیں پڑھی ہے۔
واضح رہے کہ یہ ربط غیر قانونی طور پر کتابوں کا ذخیرہ کرنے والی سائٹ کا ہے۔ لہٰذا ناظمین محفل اصولوں کے خلاف ہونے کی صورت میں ربط محذوف کر سکتے ہیں۔
واضح رہے کہ یہ ربط غیر قانونی طور پر کتابوں کا ذخیرہ کرنے والی سائٹ کا ہے۔ لہٰذا ناظمین محفل اصولوں کے خلاف ہونے کی صورت میں ربط محذوف کر سکتے ہیں۔
سیفی
محفلین
سبحان اللہ آپ کے اس غیر قانونی ربط نے میرا بھلا کردیا۔ مجھے سی شارپ پر کتب کی تلاش تھی اس سے امید ہے کافی مل جائیںگی۔
یہ سائٹ کھلتے ہی یوزر نیم اور پاسورڈ مانگتی ہے۔ کیا یہ شرط ابھی لگی ہے یا اسکا یوزر نیم اور پاسورڈ کوئی ہے۔
ابن سعید
خادم
میں نے وہ ربط درست کر دیا ہے اب انشاء اللہ یہ دقت نہیں آئے گی۔