با توجه به مسدود بود توییتر در ایران و اینکه کاربران ایرانی که در توییتر هستند توسط توییتر به عنوان آی پی غیر از ایران شناسایی می شوند به دست آوردن آماری در باره ایرانیان توییتر و توییتهای فراسی بسیار ارزشمند می باشد.برای جواب دادن به پرسش بالا رفتم سراغ api توییتر .
در توییتر می توان توییتهای تولید شده به زبان فارسی را در جستجو در یک تایم لاین یک جا مشاهده کرد، من این تایم لاین رو با برنامه نویسی به دست گرفتم و شروع به ذخیره سازی اون نمودم.
اولین مشکلی که داشتم این بود که وقتی می گی فقط توییتهای به زبان فارسی رو بیاره موتور تشخیص زبان توییتهایی که توییتر استفاده میکنه، توی زبان فارسی و عربی جداسازی خوبی نداره توی آماری که من گرفتم و بررسی دستی صد نمونه از خروجی 52 درصد توییتهایی که به عنوان توییت فارسی شناخته شده اند فارسی نیستند ( معمولا عربی و در برخی مواقع حتی پاکستانی هستند).
من از ماژول تشخیص زبانی که قبلا داشتم در خروجی استفاده کردم که دقت خیلی بهتری روی جداسازی دارد. در خروجی ماژولی که برای تشخیص زبان گذاشتم فقط 12 درصد توییتها هنوز فارسی نبودند .در ضمن این ماژول توییتهایی رو که واقعا فارسی باشند معولا از دست نمی دهد و زبان دیگه ای رو برای آنها اعلام نمی کند.
البته ممکن است برخی از توییتها رو ماژول تشخیص زبان توییتر به عنوان توییت فارسی در نظر نگرفته باشد. و یا برخی کاربران فارسی توییت انگلیسی نوشته باشند که خب توی این آمار نیست .البته تعدادشون زیاد نیست.
بعد از اجرای برنامه بعد از چند روز به صورت میانگین توییتهایی رو که به زبان فارسی بودند در هر روز به دست آوردم . حدود 68 هزار توییت میانگین هر روز می باشد که با در نظر گرفتن 12 درصد توییت عربی دخیل به عدد 60 هزار توییت می رسیم. یعنی چیزی حدود 41 توییت در دقیقه (البته در ساعات اوج این عدد به بالای 80 توییت در دقیقه می رسد.)
لازم به ذکر است که تعداد کل توییتها در دنیا 200 میلیون توییت در روز می باشد. یعنی سهم توییتهای فارسی چیزی حدود 0.0003 ( سه ده هزارم ) می باشد.
نمودار بالا هم توزیع تعداد توییتها در هر ساعت از شبانه روز می باشد . حدود ساعات 4 و 5 صبح کمترین توییت را داریم . و ساعت ده و یازده شب بیشترین توییت را داریم . ساعت هم ساعت محلی تهران می باشد.
اگه حوصله ای بود در پستهای بعدی باقی کارهایی رو که در این زمینه در حال انجام دارم و یا میشه انجام داد خواهم نوشت.