stop word dictionary for persian

Sotedelan65Sotedelan65 Member Posts: 8 Contributor I
edited December 2018 in Product Feedback - Resolved

Hello rapidminer community!

Is there any stem or stopword dictionary for Persian language?

If there isnt how could I make a small dictionary for my project? Please help me.

Thank you

0
0 votes

Fixed and Released · Last Updated

added to community repository

Comments

  • sgenzersgenzer Administrator, Moderator, Employee, RapidMiner Certified Analyst, Community Manager, Member, University Professor, PM Moderator Posts: 2,959 Community Manager

    hello @Sotedelan65 so as far as I know, there is not a Persian stopword dictionary. We would be delighted to have you create one. The easiest way is to simply put one in a text file with one word per row and then use Filter Stopwords (Dictionary) operator.  Here's an example:

     

    a
    an
    and
    or

     

    If that works, please post your dictionary so that others can share and use.

     

    Scott

     

  • Sotedelan65Sotedelan65 Member Posts: 8 Contributor I
    • Sure, I'll try it. 
  • Sotedelan65Sotedelan65 Member Posts: 8 Contributor I

    So here it is some frequnce stopword in persian.

    Spoiler
    از
    با
    تا
    که
    در
    به
    را
    اندر
    بر
    بي
    پي
    مگر
    بدون
    براي
    بيرون
    پايين
    پشت
    پس
    پيش
    توي
    دنبال
    روي
    زير
    غير
    مثل
    مقابل
    هيچ
    زي
    هرگاه
    همان
    طور
    همين
    چون
    تاجائيکه
    حتي
    همانطور
    همينطور
    چه
    و
    ولي
    اما
    يا
    امّا
    لکن
    ليکن
    حتّي
    حتّا
    حتا
    نيز
    وليکن
    ولکن
    خواه
    کجا
    وقتي
    اگر
    هرقدر
    آنجا
    اينجا
    اينکه
    آنکه
    درنتيجه
    بنابراين
    اين
    آن
    اينحال
    ابنهمه
    بلکه
    وانگهي
    همچنين
    هم
    هم چنين
    به محض
    بمحض
    بشرط
    به شرط
    بي آنکه
    بيانکه
    ازينجهت
    ازين
    جهت
    روي
    زيراکه
    هروقتکه
    جنب
    بهر
    بسان
    به سوي
    بسوي
    بغير
    به غير
    نزديک
    درباب
    بجز
    چو
    الي
    باز
    الا
    الّا
    ايدون
    فرو
    اصلا
    حتما
    مسلما
    يقينا
    ابدا
    هرگز
    نه
    آيا
    کي
    چطور
    چگونه
    شايد
    عجبا
    دوباره
    آري
    ناچار
    من
    تو
    او
    ما
    شما
    آنها
    ايشان
    انها
    واي
    اي
    افسوس
    وااسفا
    وگرنه
    سواي
    گرد
    کنار
    دور
    ميان
    وا
    پهلو
    اندرون
    دنبال
    ازبراي
    مگرکه
    گذشته از
    غيراز
    جدااز
    بيرون از
    چونان
    چونانکه
    چونان که
    برسر
    بغير
    درحق
    در حق
    به علت اينکه
    از بس که
    در حالي که
    همه
    چرا
    جزکه
    به جز
    سواي
    از
    مگر
    که
    بهجز
    پايين
    الا
    مگرکه
    بجز
    پائين
    الّا
    مگرکه
    بهجز از
    پشت
    اندر
    هم چون
    به جزاز
    نزد
    ايدون
    همچون
    به جز
    از جلو
    به
    همچون
    به جزاز
    عقب
    با
    هم چو
    بهجزاز
    پهلو
    باز
    همچو
    بجز از
    اندرون
    بر
    همچو
    بجزاز
    درون
    بي
    همچو که
    بجزاز
    بالا
    تا
    هم چوکه
    جز از
    دم
    جز
    همچو که
    جزاز
    دنبال
    چو
    هم چوکه
    جزاز
    زير
    در
    هم چو که
    مگراز
    سر
    را
    همچوکه
    مگراز
    کنار
    زي
    همچوکه
    مگر از
    گرد
    فا
    همچوکه
    به جز که
    دور
    فرا
    از براي
    به جزکه
    ميان
    فرو
    ازبراي
    بهجز که
    بين
    ازبراي
    بجز که
    نزديک
    مگر
    از براي
    به جزکه
    پيش
    وا
    ازبراي
    بجزکه
    پيش
    که
    ازبراي
    بجزکه
    براي
    زبر
    چونکه
    بهجزکه
    براي
    الي
    چون که
    جز که
    چونکه
    جزکه
    برکردار
    بهکردار
    بجاي
    ازسر
    ازپي
    بيروناز
    به جهت
    درباب
    بکردار
    بدون
    از قبل
    از پي
    بيرونز
    بجهت
    درباب
    به نزديک
    بدون
    ازقبل
    از پي
    بيرونز
    به جهت
    در باب
    بهنزديک
    بسان
    از قبل
    از پي
    جدا از
    بهجهت
    در باب
    به نزديک
    بسان
    ازقبل
    از پي
    جدااز
    بهجهت
    درباب
    بنزديک به سر
    ازقبل
    از پي
    جدااز
    بجهت
    درباب
    بهنزديک
    به سر
    ازقبل
    از پي
    چنان
    بهر
    در جنب
    بنزديک
    بهسر
    از واسطهي
    از پي
    چونان
    بهر
    درجنب
    باسر
    بهسر
    ازواسطهي
    از پي
    غيراز
    بيرون
    در جنب
    باسر
    بسر
    از واسطه
    از پي
    غيراز
    بيرون
    درجنب
    برجاي
    بسر
    ازواسطهي
    از پي
    غير از
    پي
    درجنب
    برجاي
    بسوي
    ازواسطهي
    از پي
    گذشته از
    درجنب
    بر جاي
    به سوي
    ازواسطه
    گذشتهاز
    جهت
    درحق
    برجاي
    به سوي
    ازواسطه
    گذشت از
    جهت
    درحق
    بر جاي
    بهسوي
    ازواسطه
    از پي
    گذشتاز
    دون
    در حق
    برجاي
    بسوي
    از واسطه
    از پي
    مثل
    سوي
    در حق
    برسان
    بهسوي
    ازواسطه
    از پي
    مثل
    سوي
    درحق
    برسان
    به غير
    اندرجنب
    از پي
    غير
    گذشت
    درحق
    برسر
    به غير
    اندرجنب
    از پي
    غير
    گذشت
    چنان
    چون
    برسر
    بغير
    اندر جنب
    از پي
    از بهر
    مانند
    چنانچون
    برسر
    بهغير
    اندرجنب
    از پي
    ازبهر
    مانند
    چنانچون
    بر سر
    بغير
    اندر جنب
    از پي
    از بهر
    ماننده
    بر کردار
    بهغير
    اندرجنب
    از پي
    ازبهر
    نزديک
    برکردار
    به کردار
    به جاي
    از پي
    ازبهر
    نزديک
    بر کردار
    بهکردار
    به جاي
    از پي
    ازبهر
    بيرون از
    برکردار
    به کردار
    بجاي
    از پي
    ازپي
    بيرون ز
    برکردار
    بکردار
    بهجاي
    ازسر
    از پي
    بيرون ز
    و را
    يا
    ولي
    اما
    امّا
    پس
    سپس
    هم
    نيز
    ليک
    وليکن
    ليکن
    لکن
    چه
    حتّا
    حتّي
    حتي
    حتا
    چون
    که
    خواه
    کجا
    وقتي
    اگر
    زيرا
    هرقدر
    بعلتاين که
    مگراينکه
    تااينکه
    درنتيجه
    بلکه
    هر قدر
    بهعلتاين که
    مگراينکه
    تااينکه
    درنتيجه
    با اين همه
    هر کجا
    به علتاينکه
    الااينکه
    تا اينکه
    بنابراين
    بااين همه
    هرکجا
    به علّت اين که
    الااينکه
    تا اينکه
    بنابراين
    بااينهمه
    هرکجا
    بهعلتاينکه
    الااينکه
    تااين که
    بنا براين
    بااينهمه
    چندان که
    به علّتاين که
    الّااينکه
    تااين که
    بنابر اين
    بااين همه
    چندانکه
    بهعلّت اين که
    الّااينکه
    تا اين که
    بنابر اين
    با اينهمه
    چندانکه
    به علّت اينکه
    الّااينکه
    اگرچه
    بنا بر اين
    با اينهمه
    هرچند
    به علت اين که
    الا اينکه
    اگرچه
    وگر نه
    هم چنين
    هرچند
    بهعلّت اينکه
    الا اينکه
    اگر چه
    وگر نه
    همچنين
    هر چند
    بهعلتاينکه
    الااين که
    هر گاه
    و گرنه
    همچنين
    آنجاکه
    به علتاين که
    الااين که
    هرگاه
    و گر نه
    وانگهي
    آنجاکه
    بهعلّتاين که
    الا اين که
    هرگاه
    و گرنه
    وانگهي
    آنجا که
    به علّت اينکه
    الّا اين که
    درصورتي که
    وگرنه
    وان گهي
    ازآنجاکه
    به علّتاينکه
    الّا اينکه
    در صورتي که
    وگرنه
    معهذا
    از آنجاکه
    به علت اينکه
    الّا اينکه
    در صورتيکه
    برعکس
    معهذا
    ازآنجاکه
    به علّتاينکه
    الّااين که
    درصورتيکه
    بر عکس
    مع هذا
    ازآنجا که
    بهعلت اين که
    الّااين که
    در صورتيکه
    برعکس
    با اين حال
    از آنجاکه
    به علت اينکه
    بهعلت اينکه
    درصورتي که
    و الّا
    با اينحال
    ازآنجا که
    بعلت اين که
    بعلتاينکه
    درصورتيکه
    و الا
    با اينحال
    از آنجا که
    بهعلّتاينکه
    بعلتاينکه
    مگر اين که
    والّا
    بااين حال
    از اين جهت که
    هر چه
    بهعلّتاينکه
    مگراين که
    والّا
    بااينحال
    ازاين جهت که
    هرچه
    به علتاينکه
    مگراين که
    چنانکه
    بااين حال
    ازاين جهت که
    هرچه
    بعلت اينکه
    مگر اينکه
    چنانکه
    بااينحال
    ازاين جهتکه
    هرقدر
    بعلت اينکه
    مگراينکه
    چنان که
    در نتيجه
    بمحض اينکه
    بهشرط آن که
    با اين که
    اکنونکه
    از اين جهتکه
    بهمحضاينکه
    به شرطآن که
    با اينکه
    اکنون که
    از اينجهت که
    بمحض اينکه
    بهشرطآن که
    بااين که
    اگر چنان چه
    از اينجهت که
    بمحضاين که
    بشرط آن که
    بااين که
    اگر چنانچه
    ازاينجهت که
    بمحض اين که
    بشرطآنکه
    با اينکه
    اگرچنان چه
    ازاينجهت که
    به محضاينکه
    بشرطآنکه
    باوجوداين
    اگرچنان چه
    از اينجهتکه
    بهمحض اينکه
    به طوري که
    باوجوداين
    اگر چنانچه
    ازاينجهت که
    به محضاينکه
    بهطوري که
    با وجود اين
    اگرچنانچه
    از اينجهتکه
    بهمحض اينکه
    به طوريکه
    با وجوداين
    اگرچنانچه
    ازاينجهتکه
    بهمحضاين که
    بهطوريکه
    باوجود اين
    اگرچنانچه
    از اين روي
    به هر حال
    بطوري که
    باوجود اين
    اگرچنانکه
    از اينروي
    بهر حال
    بهطوريکه
    با وجوداين
    اگرچنانکه
    از اينروي
    بههرحال
    به طوريکه
    بس که
    اگرچنانکه
    ازاينروي
    به هرحال
    بطوريکه
    بسکه
    اگرچنانکه
    ازاينروي
    به هرحال
    بطوريکه
    بهشرطآنکه
    اگرچنان که
    ازاين روي
    بههر حال
    بهمجرد
    بشرطآن که
    اگر
    چنانکه
    ازاين روي
    بهرحال
    به مجرد
    بشرط آنکه
    اگرچنان که
    ازينروي
    بهرحال
    بهمجرد
    بشرط آنکه
    اگر چنان که
    ازبس
    بيآنکه
    به مجرد
    به شرط آن که
    بااين وجود
    ازبس
    بيآن که
    بمحضاينکه
    به شرط آنکه
    با اينوجود
    از بس
    بي آنکه
    بمحضاينکه
    به شرط آنکه
    بااين وجود
    ازبس که
    بي آنکه
    به محض اين که
    بهشرط آن که
    با اين وجود
    از بسکه
    بي آن که
    بهمحض اين که
    به شرطآنکه
    بااينوجود
    ازبسکه
    بيآنکه
    به محض اينکه
    به شرطآنکه
    بااينکه
    از بس که
    تا جائيکه
    به محضاين که
    بهشرط آنکه
    بااينکه
    ازبس که
    هر گاهکه
    درنتيجه
    تاجائي که
    هرگاه که
    درنتيجه
    تاجائي که
    هرگاهکه
    زيراکه
    تاجائيکه
    هرگاه که
    زيرا که
    تاجاييکه
    هر گاه که
    زيراکه
    تاجائيکه
    همانطورکه
    واسه
    تاجائيکه
    همانطورکه
    واسهي
    تا جاييکه
    همانطورکه
    واسه ي
    تاجايي که
    همان طور که
    وقتي که
    تاجايي که
    همان طورکه
    وقتيکه
    تا جايي که
    همانطور که
    وقتيکه
    تا جائي که
    همان طورکه
    هروقتکه
    چنان چه
    همانطور که
    هر وقت که
    چنانچه
    همانطوريکه
    هر وقتکه
    چنانچه
    همانطوريکه
    هروقت که
    چونکه
    همانطوريکه
    هر وقتکه
    چونکه
    همان طوري که
    هروقت که
    چون که
    همان طوريکه
    هروقتکه
    در حالي که
    همان طوريکه
    هروقتکه
    درحالي که
    همانطوري که
    هر چند که
    در حاليکه
    همانطوري که
    هرچند که
    در حاليکه
    همانطوريکه
    هر چندکه
    درحالي که
    همين که
    هرچندکه
    درحاليکه
    هرچندکه
    درحاليکه
    هرچند که
    درحاليکه
    هر چندکه
    در نتيجه

     

  • sgenzersgenzer Administrator, Moderator, Employee, RapidMiner Certified Analyst, Community Manager, Member, University Professor, PM Moderator Posts: 2,959 Community Manager

    that's great - I'll trust you on this! :) Do you have a sample document that can be used to demonstrate?

  • neginzneginz Member Posts: 17 Maven
    edited February 2019
    hi
    sgenzer  I think this text file should help 
    But if U can explain more about the format of stem dictionary it could help me to create one for that, too.
  • sgenzersgenzer Administrator, Moderator, Employee, RapidMiner Certified Analyst, Community Manager, Member, University Professor, PM Moderator Posts: 2,959 Community Manager
    edited February 2019
    hi @neginz great THANK YOU. This is perfect. I have built a sample process in the Community Samples repo (using an English stopword dictionary) to help with stopwords:

    How to Use a Stopword Dictionary

    and I put your Persian dictionary in the repo as well. All anyone needs to do is replace my English one with your Persian one andthey're all set. :smiley:



    And here are the same pieces for stemming:

    How to Use a Stemming Dictionary


    Scott
Sign In or Register to comment.