عکس tihu-nlp
Normalized and modified version of Bijankhan corpusPython
موضوع‌ها
۱
فورک‌ها
۲
ستاره‌ها
۱۰
تاریخ ایجاد
۱۰ مهر ۱۳۹۵
آخرین بروزرسانی
۵ ماه قبل
لایسنس
Other

Normalized Bijankhan Corpus

Bijankhan is a large tagged corpus in Persian language. Unfortunately this corpus is not in utf-8 format and also has a lot of misspelled words. I tried to normalized Bijankhan corpus by some simple replacements.

موارد اصلاح شده:

  • تبدیل حروف عربی به معادل فارسی
  • در برخی از کلمات فاصله و نیم فاصله در کنار هم قرار گرفته‌اند
  • به دلیل نامشخصی برخی کلمات دارای همزه به اشتباه وارد دادگان شده‌اند. برای مثال مطمان، ارااه، مساال، تااتر و بیشتر

How to run

Simply run the bijankhan.py to normalize the corpus. for help type 'python bijankhan.py -h'

Supporting Tihu

If you like this project, please donate or consider becoming a patron:

Become a patron

License

Using or modifying this project has no limitation due to its license (GNU v3.0). But if you like to use Bijankhan corpus, you need to contact to the owner.