فلسفی
محفلین
کل تک امید ہے ہو جائے گا ان شاءاللہ ۔ 2 لاکھ باکس فائلز تو بن گئی ہیں۔
'ٹیزرکٹ' کے سا تھ آف لائن اردو او سی آر
عباس اعوان
محفلین
ان شاء اللہ تعالیٰ۔
زبردست۔
دوست
محفلین
ہمارا تو نیم حکیم خطرہ جان والا کام ہے۔ پہلے پروگرام مٹا مٹا کر لکھتے رہے اب اس کے مکمل چلنے کا انتظار ہے۔ ابھی ستاون ہزار الفاظ باقی ہیں۔ وہی نیم حکیم سادہ کام کرنے کی بجائے اوکھا کام کیا ہے، تین کروڑ الفاظ پر سے سوا لاکھ الفاظ لوپ، اگے تسیں سمجھدار او۔
میں کسی دیوار میں ٹکر بھی نہیں مار سکتا کہ سر اپنا اور دیوار سرکار کی ہے خرچہ دونوں طرف سے میرا ہی ہونا ہے۔
میں کسی دیوار میں ٹکر بھی نہیں مار سکتا کہ سر اپنا اور دیوار سرکار کی ہے خرچہ دونوں طرف سے میرا ہی ہونا ہے۔
جاسم محمد
محفلین
یہ کیا چکر ہے؟ الفاظ یا سطور کی تعداد میں اتنا فرق؟
دوست
محفلین
منفرد الفاظ ہیں جو لگیچرز اور ہن سپیل کی ڈکشنری والی لسٹ سے اٹھائے ہیں۔ یہ لسٹ آٹھ برس قبل کرلپ کی سپیل چیکر لسٹ اور اسی ٹیکسٹ آرکائیو سے حاصل کردہ منفرد الفاظ کو ملا کر بنائی گئی تھی۔ پروف ریڈنگ کر کے مہمل بے کار املا کی غلطیاں نکالی گئی تھیں۔ سطور نکالنے کے پروگرام اور ورڈ لسٹ یہاں موجود ہیں۔
فلسفی
محفلین
منطق سے۔ آپ کی مہیا کردہ فائل میں 23580 لیگیچرز ہیں۔ سولہ مرتبہ لوپ چلایا اور ان لیگیچرز کو دو مختلف لسٹوں میں رکھا۔ ایک سیدھی ترتیب سے ایک الٹی ترتیب سے۔ پھر آٹھ لیگیچر رینڈم انداز سے اکھٹے کیے اور ایک سطر بنائی۔ اس طرح کل 377280 سطریں بنیں۔ مثلا
یٔ شست کیتلی لیثی منبت پتئے طنّو بھینٹئے سمجھتیں
یِ ستنثا گٹھنو پھنی شیشیا پنگت صفحو قبیس طیبہ
فلسفی
محفلین
آپ کا تیار کردہ متن زیادہ بہتر ہوگا۔
فلسفی
محفلین
دوست
محفلین
وہی نیم حکیم، پہلی مرتبہ یہ کام کیا ہے۔ 12 برس ہو گئے سی شارپ میں کوڈنگ کرتے، کوڈنگ کیا کرتے بس ترلے کرتے۔ اب چیک کریں۔
اردو ورڈ لسٹ کا لنک بدل دیا ہے۔
اردو ورڈ لسٹ کا لنک بدل دیا ہے۔
فلسفی
محفلین
یہ کیا بلا یے؟
ویسے ابھی تک جو سیمپلز دیکھے ہیں ان میں تربیتی مواد کے سطور کا ہی استعمال ہوا ہے۔
دوست
محفلین
میرا مقصد اس سلسلے صرف اتنا تھا کہ ایک ایسی ٹریننگ ڈیٹا فائل تیار ہوجائے جس میں اردو کے زیادہ سے زیادہ دستیاب اور درست کردہ الفاظ اپنے سیاق و سباق سمیت موجود ہوں۔ اس لئے میں نے ترسیموں اور سپیل چیکر سے حاصل کردہ الفاظ، اور اردو کی بورڈ سے تقریباً تمام علامات، اعراب وغیرہ کو یکجا کر کے کئی برسوں کے دوران حاصل کردہ ڈیٹا (جنگ اور نوائے وقت اخبارات اور اعجاز اختر صاحب کی کتب) سے سطور جنریٹ کروانے کا قصد کیا۔ اور ہر لفظ کی 3 سطور نکالنے کی کوشش کی ہے تاکہ تقریباً چار لاکھ سطور ہو سکیں۔ میرے محدود علم کے مطابق اور دستیاب وسائل کے حساب سے یہ سطور فائل اگر تیار ہو گئی تو اردو کے متنوع ترین ڈیٹا پر مشتمل ہو گی۔
مزید برآں میں نے پروگرام بھی لکھ دیا ہے جو کہ اوپر مراسلے میں موجود ربط پر ہے اور یہ ورڈ لسٹ بھی۔ کوئی بھی اس ورڈ لسٹ اور اپنے ڈیٹا کو استعمال کرکے اپنی مرضی کے مطابق طوالت کی حامل سطور جنریٹ کرسکتا ہے۔ شاید انگریزی میں کہیں تو اوور کِل یعنی بلا ضرورت اضافی کام ہے، تاہم میری فہم اس حوالے سے یہی تھی جیسا کہ میں نے اوپر وضاحت کی ہے۔
مزید برآں میں نے پروگرام بھی لکھ دیا ہے جو کہ اوپر مراسلے میں موجود ربط پر ہے اور یہ ورڈ لسٹ بھی۔ کوئی بھی اس ورڈ لسٹ اور اپنے ڈیٹا کو استعمال کرکے اپنی مرضی کے مطابق طوالت کی حامل سطور جنریٹ کرسکتا ہے۔ شاید انگریزی میں کہیں تو اوور کِل یعنی بلا ضرورت اضافی کام ہے، تاہم میری فہم اس حوالے سے یہی تھی جیسا کہ میں نے اوپر وضاحت کی ہے۔
دوست
محفلین
اردو کے زیادہ فریکوئنسی والے الفاظ ان سطور میں موجود سیاق و سباق کی وجہ سے بار بار دوہرائے جائیں گے۔ دراصل صرف چند سو الفاظ ہی بہت زیادہ فریکوئنسی کے حامل الفاظ ہوتے ہیں، اس کے بعد الفاظ کی فریکوئنسی گرتی چلی جاتی ہے اور بڑے سے بڑے ڈیٹا سیٹ میں بھی آپ کو دسیوں ہزار ایسے الفاظ ملتے ہیں جن کی فریکوئنسی دو تین یا چار ہوتی ہے۔
فریکوئنسی: کسی لفظ کے زیرِ مطالعہ ٹیکسٹ میں ظاہر یا استعمال ہونے کی تعداد۔
فریکوئنسی: کسی لفظ کے زیرِ مطالعہ ٹیکسٹ میں ظاہر یا استعمال ہونے کی تعداد۔
دوست
محفلین
اگر فونٹس سے مصنوعی امیجز تیار کرنا ہیں تو یہی طریقہ ہے۔ ورنہ اصلی والے صفحات یعنی سکینز استعمال کیے جائیں۔
یہ بھی دھیان رہے کہ اردو جیسی زبانوں کے پیچیدہ رسم الخط کی وجہ سے ٹریننگ کرواتے ہوئے 10000 پھیروں کی بجائے بیس ہزار پھیروں تک کے مشورے بھی دیے گئے ہیں۔ مزید براں ڈیٹا جتنا مرضی ہو اس بات کی کوئی ضمانت نہیں ہے کہ جنریٹ ہونے والی باکس فائل بالکل درست ہو گی۔ سب سے زیادہ مسئلہ اعراب اور مذہبی علامات جیسے رضی اللہ عنہ کی (یونی کیر سیٹ فائل میں) درست پوزیشننگ کے حوالے سے ہو گا۔ سونے پر سہاگہ نستعلیق فونٹ کی کرننگ سے ہو جائے گا۔ عربی اس معاملے میں بہت آسان زبان ہے کیونکہ اس کا فونٹ نسخ ہے اور الفاظ کے درمیان سپیس بہت حد تک واضح ہوتی ہے۔ٹیسرکٹ 4 ایک سطر میں سپیس کا پتا لگا کر الفاظ اور حروف کے گرد باکس بناتا ہے۔ اردو نستعلیق فونٹ میں سطر کی اونچائی اس معاملے پر پیچیدگی کی ایک اور تہہ ڈال دیتی ہے۔ تاہم یہ ٹریننگ کروانے کے بعد ہی پتہ چلے گا کہ نتائج کیا ہیں۔ فی الحال ہم اسلام آباد جانے کی بجائے وہاں جانے والی بس کا پتہ ہی پوچھ رہے ہیں۔
یہ بھی دھیان رہے کہ اردو جیسی زبانوں کے پیچیدہ رسم الخط کی وجہ سے ٹریننگ کرواتے ہوئے 10000 پھیروں کی بجائے بیس ہزار پھیروں تک کے مشورے بھی دیے گئے ہیں۔ مزید براں ڈیٹا جتنا مرضی ہو اس بات کی کوئی ضمانت نہیں ہے کہ جنریٹ ہونے والی باکس فائل بالکل درست ہو گی۔ سب سے زیادہ مسئلہ اعراب اور مذہبی علامات جیسے رضی اللہ عنہ کی (یونی کیر سیٹ فائل میں) درست پوزیشننگ کے حوالے سے ہو گا۔ سونے پر سہاگہ نستعلیق فونٹ کی کرننگ سے ہو جائے گا۔ عربی اس معاملے میں بہت آسان زبان ہے کیونکہ اس کا فونٹ نسخ ہے اور الفاظ کے درمیان سپیس بہت حد تک واضح ہوتی ہے۔ٹیسرکٹ 4 ایک سطر میں سپیس کا پتا لگا کر الفاظ اور حروف کے گرد باکس بناتا ہے۔ اردو نستعلیق فونٹ میں سطر کی اونچائی اس معاملے پر پیچیدگی کی ایک اور تہہ ڈال دیتی ہے۔ تاہم یہ ٹریننگ کروانے کے بعد ہی پتہ چلے گا کہ نتائج کیا ہیں۔ فی الحال ہم اسلام آباد جانے کی بجائے وہاں جانے والی بس کا پتہ ہی پوچھ رہے ہیں۔
جاسم محمد
محفلین
یہ کیا بلا یے؟
جاسم محمد
محفلین
عربی و فارسی خطوط میں کرننگ نامی خوفناک بلا نہیں ہوتی۔ نستعلیق کرننگ کی وجہ سے حروف و الفاظ ایک دوسرے پر چڑھ جاتے ہیں۔ مثال کے طور پر آپ کا فراہم کردہ سیمپل او سی آر انجن کو ایسے نظر آئے گا:
فلسفی
محفلین
بلاشبہ آپ حضرات اس ضمن میں زیادہ معلومات رکھتے ہیں۔ عاجز نے اس بہانے آپ سے بہت کچھ سیکھا یے اور ان شاءاللہ مزید سیکھوں گا۔ اللہ پاک آپ کو جزائے خیر عطا کرے۔ آمینعربی و فارسی خطوط میں کرننگ نامی خوفناک بلا نہیں ہوتی۔ نستعلیق کرننگ کی وجہ سے حروف و الفاظ ایک دوسرے پر چڑھ جاتے ہیں۔ مثال کے طور پر آپ کا فراہم کردہ سیمپل او سی آر انجن کو ایسے نظر آئے گا:
