Persian Generative Chatbot

A repo dedicated to different approaches in building a Persian Generative Chatbot.

Data

We need a dataset of conversation pairs to build a chatbot.

1- Ninisite

ninisite is a persian forum with millions of conversation pairs on different life-style topics. We wrote a simple script to crawl the conversation pairs, like the following sample:

{
    "topic": "بیمارستان هدایت تهران برای زایمان چطوره؟",
    "question": [
        "سلام خانما",
        "من تو بیمارستان میلاد برای بارداری و زایمان پرونده دارم.اما بیمار کرونایی بستری داره و فعلا هم تعطیله.",
        "شنیدم بیمارستان هدایت فقط زنان و زایمانه؟کسی چکاپ های بارداری و زایمانش رو تو هدایت انجام داده؟راضی بودین؟",
        "لطفا راهنماییم کنید"
        ],
    "answer": [
        "آره من 26سال پیش اونجا بدنیا اومدم مامانم ک خیلی تعریف میکرد ."
        ]
}

The following table shows some stats on the process of crawling the dataset (The table is getting updatad constantly).

Total Targeted Topics	Crawled	Crawled Conversation Pairs	Size
636921	48708 (7%)	1221025	778 MB