"Apabila fakta bagaimana kaji selidik itu berlaku, ramai penyelidik kehilangan hati"

“Apabila fakta bagaimana kaji selidik itu berlaku, ramai penyelidik kehilangan hati”

Temu bual dengan Dmitry Rogozin
"Trinity Option" №16 (185), 11 Ogos 2015

Keputusan tinjauan pendapat memainkan peranan besar dalam kehidupan awam. Atas dasar mereka keputusan politik yang paling penting dibuat. Tetapi bagaimana boleh dipercayai data mereka? Mengenainya Olga Orlova ceramah dengan pengarang buku "Bagaimana munasabah adalah kepercayaan kami dalam tinjauan kertas?", ketua laboratorium Institut Analisis Sosial dan Peramalan Akademi Rusia Ekonomi Nasional dan Administrasi Publik Dmitry Rogozin.

Dmitry Rogozin
Dilahirkan pada tahun 1972 di bandar Abaza, Wilayah Krasnoyarsk. Pada tahun 1994 beliau lulus dari jabatan ekonomi Universiti Krasnoyarsk State. Sejak 2000, telah menjalankan kerja-kerja metodologi dalam Yayasan Pendapat Awam dan di VTsIOM. Pada tahun 2002 beliau mempertahankan tesisnya mengenai sosiologi. Dari tahun 2003 hingga 2008, beliau mengetuai Jabatan Sosiologi Shaninki – Sekolah Tinggi Sains Sosial dan Ekonomi Moscow sebagai dekan. Pada tahun 2009, beliau menganjurkan makmal ujian filem kognitif. Sejak 2011, beliau telah bekerja di Akademi Ekonomi Negara dan Pentadbiran Awam Rusia di bawah Presiden Persekutuan Rusia.Pakar dalam kaji selidik sosial, teori umum kesilapan dalam tinjauan massa, ujian kognitif alat tinjauan.

– Baru-baru ini pada Anda dengan rakan sekerja anda Anna Ipatova menerbitkan buku dengan tajuk provokatif "Betapa munasabahnya kepercayaan kita dalam kaji kertas?". Apa? membuat anda menulis buku ini?

– Kami pergi kepadanya untuk masa yang lama. Dan terdapat satu pasukan besar penulis, penyelidik. Kami sering dihadapkan dengan palsu atau kraftangan dalam rangka teknologi tinjauan! Lagipun, apabila kita menjalankan tinjauan, kita jarang melihat apa yang berlaku di sana benar-benar "di lapangan." Analisis sosial biasanya terhad kepada nombor. Dan sebaik sahaja kami memutuskan untuk sampai ke medan tersebut selepas itu dan membuat rancangan eksperimen yang kecil. Dua rakan sekerja saya mendapat pekerjaan sebagai pewawancara di salah satu pusat sosiologi pengundian terbesar. Apabila mereka mula bekerja di sana, kami berhadapan dengan banyak cerita hebat yang mengiringi mereka, yang, pada umumnya, kami mula meragui jenis data yang kami dapat. Semuanya bermula dengan hakikat bahawa penyelia adalah orang yang mengeluarkan tugas-tugas kepada pewawancara – dengan segera sangat "ramah,ibu "bereaksi kepada gadis-gadis kita, sambil berkata:"Baik saya bukan cerberus bagaimana jika tidak boleh menyoal seseorang kawan kawan. Atau pergi kepada jiran jika di tempat anda jiran sesuai umur. " Dan sebagainya. Kemudian, tentu saja, kanak-kanak perempuan itu mempunyai beberapa perbualan dengan penemuduga lain, yang juga berkongsi pengalaman mereka mengenai wawancara ini. Terkutuklah ahli sosiologi malang yang menyusun soal selidik itu, yang bahkan tidak dapat dilakukan oleh ahli akademik – apalagi orang biasa yang mempunyai kentang atau yang lain goreng dalam kuali, dan di sini mereka perlu membicarakan tentang politik besar untuk 3-4 jam! Sesungguhnya, selalunya soal selidik lengkap mengambil masa yang sangat lama. Dan, pada umumnya, sangat aneh untuk menganggap bahawa seseorang sanggup menghabiskan masa ini. Di samping itu, pewawancara biasanya dibayar dengan sangat sedikit. Dan ternyata bahawa rancangan besar menggantung mereka, mereka dipersoalkan dan dinilai pada soal selidik yang diambil sepenuhnya, dan bukan pada siapa yang mereka cakapkan. Oleh itu, semua ini mendorong mereka atau fabrikasi lain dalam pemilihan.

– dan kepada apa ini dalam hasilnya memimpin?

– Ini membawa kepada hakikat bahawa, mengikut anggaran kami, kira-kira 40-50% daripada semua soal selidik dibuat oleh pewawancara kepada satu darjah atau yang lain. Benar, di sini kita tidak unik. Adalah mungkin untuk segera membuang pusat-pusat tinjauan kami dengan telur busuk dan tomato busuk dan mula menjerit bahawa mereka melakukan sesuatu yang salah. Tetapi ia berlaku di seluruh dunia: apabila orang mula mulakan bercakap mengenai pemilihan, mereka selalu bercakap mengenai pengundian kesilapan. Iaitu, pengundian sentiasa menetapkan pepijat. Dan dalam erti kata ini tidak ada perbualan seperti itu bahawa tinjauan dilakukan dengan baik atau teruk. Undian sentiasa dibuat buruk. Kita perlu untuk menganggarkan kelengkungan data, dan selepas itu kita boleh membuat kesimpulan tentang sama ada untuk mempercayai angka-angka ini atau tidak.

Sebagai peraturan, penyelidik kami terhad kepada apa yang dipanggil kesilapan persampelan rawak statistik. Sudah tentu anda telah mendengar: 3.5%, 2.5%, dan sebagainya. Pengiraan ini tidak mengatakan apa-apa sama sekali, kerana ia dilakukan untuk sampel yang benar-benar rawak, dan majoriti sampel yang sangat tidak rawak, dan ia hanya salah untuk memberikan angka-angka ini. Dakwaan sebenar, kesilapan sebenar, yang dikeluarkan oleh pewawancara, tentang siapa yang saya katakan, adalah lebih banyak: 20-40%.

Bayangkan, kami mengumumkan: presiden disokong oleh 85% daripada penduduk. Kemudian tambah: tambah atau tolak 40%. Jadi apa Itu adalah untuk mengatakan ia tidak kira apa-apa.

– Benar adalah mungkin Kesilapan 40%? Dari mana sama dia diambil?

– Semua kesilapan biasanya dibahagikan kepada dua jenis. Satu jenis ialah ralat perwakilan, iaitu, bagaimana kami membina sampel. Adakah kita benar-benar bercakap dengan orang yang mewakili penduduk? Apabila kita bercakap mengenai perwakilan penduduk Rusia, ada satu kriteria yang sangat keras: setiap warga negara yang mempunyai pasport Rusia harus mempunyai peluang yang sama untuk masuk ke dalam sampel kami.

– A pada yang sangat perniagaan ini tidak begitu? Kami ada tidak sama peluang?

– Malah, dia tidak mempunyai peluang yang sama. Tetapi ini bukan yang paling teruk. Kita perlu tahu kemungkinan dia masuk ke dalam sampel. Kemudian kita boleh menceritakannya kepada penduduk dan mendapatkan peratusan tertentu. Tetapi, malangnya, terdapat beberapa kesalahan representasi di sini. Kesalahan pertama ialah ralat liputan. Apa itu? Sering kali kita tidak mencuba seluruh penduduk – kita tidak menyusun orang dalam barisan! Kita mesti mendapatkannya. Terdapat sampel penduduk yang diadakan di tempat kediaman. Orang yang berada di tempat-tempat kehilangan kebebasan, bercuti, perjalanan perniagaan, dan lain-lain segera terlepas daripada sampel ini. Tetapi, yang paling tidak menyenangkan, orang-orang yang bekerja jatuh. Iaitu, yang sedang bekerja di tempat kerja yang tidak sanggup bercakap dengan pewawancara.Terdapat banyak daripada mereka.

Bahagian kedua sampel adalah sampel tidak bertindak balas. Maksudnya, tidak cukup bahawa seseorang berada di rumah, misalnya, atau dia mempunyai telefon bimbit sel di dalam sakunya. Ia perlu bahawa dia berada bersama kami untuk bercakap. Dan kadar kegagalan sedemikian, seperti yang kita percaya, mencapai 70-80%. Maksudnya, kami sebenarnya mewawancara 20-30% daripada mereka yang kami tawarkan. Ini adalah cabaran yang sangat besar untuk teknologi tinjauan. Orang boleh berkata: baiklah, semuanya perlu ditutup kedai ini, teruskan ke sesuatu yang lain. Tetapi, pada amnya, peratusan yang sama persis di negara-negara Eropah Barat. Ini tidak bermakna bahawa akan ada ralat. Ini menunjukkan bahawa kita mempunyai dua kumpulan orang. Satu kumpulan dengan kami ingin bercakap mengenai tinjauan kami. Yang kedua tidak mahu melakukan ini. Dan tugas kami sebagai penyelidik adalah untuk menilai berapa banyak orang yang ingin bercakap dengan kami berbeza daripada mereka yang tidak mahu bercakap dengan kami mengenai isu-isu tertentu.

– Dalam kata pengantar kepada Anda buku itu berkata, "Bahkan para pemimpin penyelidikan daripada pasaran dikesan sangat rendah tahap diisi dengan betul kosong soal selidik. Fabrikasi dan penipuan dalam pemilihan mencerminkan istimewa profesional budaya semasa di Rusia untuk 20 tahun yang lalu. "Dan yang mana pada anda alasannya untuk mempercayainya yang satu ini kekurangan profesionalisme memakai sekarang besar-besaran watak? Dan mengapa betul-betul dalam 20 tahun yang lalu? Bagaimana keadaannya? jelaskan?

– Eh, sekiranya hanya berjisim! Kemudian kami akan mempunyai beberapa pusat elit, yang dapat menunjukkan bahawa semuanya baik-baik saja dengan mereka. Ia adalah sistemik!

– A ada kanonikal metafizikal pusat di mana boleh ia akan menjadi untuk mengemudi?

– Dalam teknologi tinjauan, kita boleh memberi tumpuan hanya kepada Amerika Syarikat dan beberapa negara Eropah. Oleh itu, krisis teknologi kaji selidik dalam situasi kita tidaklah berskala besar, tetapi satu sistem. Iaitu, ia sudah tertanam dalam teknologi ini sendiri. Masalahnya ialah, selepas perestroika, ahli sosiologi Rusia kita yang menangani isu metodologi teoritis sangat terlibat dalam agenda awam. Dan tiba-tiba mereka tiba-tiba menjadi wartawan. Contohnya, Michael Burovoy dalam perbualan peribadi yang pernah disebutkan: "Saya secara amnya dalam kebingungan memandang memimpin rusia ahli sosiologi pada tahun 1990-an. Kepada saya nampaknya di sinimasa ketika perlu untuk belajar apa berlaku dalam kawasan pedalaman – untuk bercakap dengan pekerja bercakap dengan baru dicetak usahawan menulis dan menetapkan fakta-fakta ini. Dan saya nampak pada mereka rakan sejawatnya sangat menghormati, – Poison Zdravomyslova, Shubkina dan sebagainya semua orang menulis beberapa kewartawanan artikel"Tidak ada yang mengerikan tentang hal itu, yang dahsyat bermula selepas tiba-tiba, sesuatu yang seperti itu terbentuk (sekali lagi, mungkin tidak tiba-tiba) kerja lapangan, kerja pewawancara, perbualan dengan seseorang (ini sebenarnya yang paling penting , fakta asas keseluruhan teknologi kaji selidik) tidak dianggap sebagai sosiologi, bukan sebagai sains, tetapi sebagai kerja teknikal, iaitu sesiapa sahaja yang boleh melakukan kerja-kerja teknikal ini, tidak ada kelayakan atau pengalaman kerja yang diperlukan. Inilah keadaan untuk sebahagian besar. Hari ini, sangat kerap, apabila anda datang ke pusat-pusat tinjauan, mula bercakap mengenai metodologi (dan anda boleh bercakap banyak tentang sampel yang direka bentuk, mengenai soal selidik, tentang apa yang perlu dilakukan dengan cara yang biasa), sudah cukup untuk bertanya soalan sebenarnya, ia dilakukan untuk tiba-tiba mendapati bahawa tiada siapa yang memahami bagaimana ia dilakukan.Tiada siapa yang mahu faham, kerana sebaik sahaja fakta bagaimana kaji selidik itu berlaku, banyak penyelidik menyerah. Jika kita, katakan, 40% daripada soal selidik telah diisi oleh pewawancara sendiri, yang tidak pergi ke mana-mana, kita harus tahu mengenainya.

– maka ada diri sendiri penyelidik yang dapatkan pada pemprosesan data ini tidak tahu bagaimana mereka adalah diterima?

– Ini adalah tragedi! Bagi mereka, ia adalah kotak hitam. Oleh itu, mereka menyebarkan sebarang aktiviti saintifik. Bagaimanakah pemahaman realiti ini berlaku apabila tiada realiti? Realiti hanya mereka cuba menganalisis. Inilah yang menyebabkan kita mempunyai bahasa kuasi yang sangat aneh – percakapan mengenai data tinjauan, yang sebenarnya sering dikaitkan dengan pusat-pusat tinjauan, dan bukan teknologi. Mungkin semua orang telah mendengar: "Pusat Levada menunjukkan data seperti itu", "VTsIOM menunjukkan", "FOM menunjukkan". Dan jika, katakan, terdapat beberapa jenis gangguan dalam ramalan, contohnya, dalam pilihan raya Moscow (baru-baru ini terdapat banyak gangguan dalam ramalan dalam kempen pilihan raya), maka segera ada tuduhan terhadap organisasi seperti itu. Seolah-olah organisasi itu mewakili Leviathan, meludahkan nombor-nombor ini: 70%, 60%. Teknologi tinjauan adalah pengeluaran yang sangat besar. Ini adalah tali pinggang penghantar.Kita perlu mencapai hujungnya.

Di sini, keadaan ini dengan teknologi kaji selidik, cukup aneh, adalah serupa dengan situasi yang dijelaskan oleh hubungan yang korup. Itulah, ya, kerana di sini kita mempunyai sistem interaksi, kita mempunyai hubungan pengawalseliaan. Iaitu, kita tahu bagaimana untuk melakukan, dan lain-lain. Dan kita masing-masing tahu bagaimana sebenarnya, tetapi ini senyap. Sekiranya kita bertemu dengan orang-orang yang bertelagah dengan orang-orang yang menipu (ini adalah orang-orang yang menjalankan tinjauan pendapat awam), maka sangat sering pertanyaan langsung tentang apa yang berlaku diikuti dengan senyuman: "Nah, kita tahu bagaimana pada masa yang sama perniagaan ini berterusan. Apa? mengenainya untuk bercakap? Mengenainya tidak perlu untuk bercakap“.

– Ternyata seperti itu intracorporate pengetahuan itu tidak diambil keluar kerana apa anda tidak faham bagaimana ini perubahan?

– Ayo, ia tidak akan diambil! Ia juga tidak dibawa masuk ke dalam. Ia tetap menjadi kompleks rendah diri untuk setiap penyelidik, kerana dia tahu bahawa ada sedikit yang dapat mempengaruhi. Sangat kerap, ia dianggap sebagai sesuatu yang sepatutnya.

– bertukar dalam profesional kadar?

– Ya, norma profesional telah terbentuk: jika saya mengemukakan soalan, maka secara umum, saya tidak boleh tahu apa-apa tentang sampel. Dan ini adalah dua perkara yang berkaitan.Jika saya tidak faham bagaimana sampel itu berfungsi, saya tidak boleh membuat wawancara. Jika tidak, apa yang boleh memberi motivasi kepada saya, katakan, untuk memanggil apartmen ini, dan tidak memanggil apartmen itu? Jika saya tidak faham bagaimana sampel itu dibina, mengikut peraturan yang dibina, tiada siapa yang akan melarang saya bercakap dengan orang ini. Oleh itu, inilah di mana keadaan sosiologi multidimensi ini timbul. Lagipun, jurubahasa sosiologi yang paling tepat adalah pewawancara sendiri. Dia menjadikan sosiologi dalam bidang ini. Tetapi hanya dia menjadikannya selera, yang sama sekali tidak selaras dengan tidak hanya trend dunia, tetapi juga dengan norma akal sehat dalam tradisi saintifik.

– A betul sama ada itu seperti itu kaedah akar pelanggaran tidak bergantung dari topik kaji selidik? Tidak mengapa sama ada ini pemasaran penyelidikan yang berkaitan dengan barangan, ekonomi atau dengan politik kerana masalahnya tidak masuk ini tidak kira apa kami cuba mengetahui dan masalahnya dalam cara kita cuba dapatkan ini pengetahuan, betul?

– Benar, tetapi dengan satu pindaan. Ia berkaitan dengan fakta bahawa ia tidak menjejaskan beberapa isu, dan ia mempengaruhi beberapa sangat kuat. Sebagai contoh, baru-baru ini kami pergi ke Vyazniki. 900 responden ditemuinya di sana.Kami telah berjalan hampir 500 dari mereka untuk kali kedua, bercakap dengan orang atau mencari tahu jika pewawancara benar-benar sampai kepada mereka. Oleh itu, kami mempunyai pangkalan data yang unik: kami tahu dengan pasti bahawa soal selidik ini dibuat, dan ini tidak dibuat. Dan mereka dapat membandingkan hasil jawapan kepada soalan-soalan tertentu. Oleh itu, kami mendapati bahawa soalan-soalan yang bermakna kepada kami (ini adalah soalan yang berkaitan dengan penghijrahan dalaman) telah dibuat dan jawapan yang tidak dibuat adalah sama. Ini bermakna mereka tidak terpengaruh dengan apa yang kita minta. Dan apakah kesannya? Mempengaruhi – soalan-soalan yang pewawancara tidak boleh hamil. Iaitu, dia tidak tahu pengedaran sebenar mereka. Katakan, persoalan pasport, perjalanan ke luar negara, isu-isu yang berkaitan dengan pendidikan anak-anak, bergantung kepada negara.

Dan akibatnya, mungkin polster diinsuranskan apabila menganalisis hanya distribusi linear. Pengagihan linear adalah jawapan kepada soalan khusus: "Sebagai anda secara umum merawat kepada Putin? Baik buruk atau tidak kira?"Mereka menjawab – dan kemudian mereka tidak pergi lebih jauh: siapa yang menjawab, pekerja, wartawan, dan lain-lain. Kenapa mereka tidak berfikir? Kerana sebaik sahaja kita pergi jauh, maka akan ada kesalahan besar di sana.Tetapi secara keseluruhan, kami tidak memberikan kesilapan besar kepada soalan ini, walaupun jawapan ini dibuat.

– satu daripada sangat banyak serius momen yang mana disebabkan profesional yang serius perbincangan, ada hasilnya kaji selidik mengenai sokongan Crimea Rusia oleh warganegara. Apabila keputusannya adalah dilancarkan di Internet dengan serta-merta dilahirkan meme pro "86% daripada Russia", dan profesional persekitaran bergema kritikal tajam maklum balas. Apa? jadi bimbang saintis?

– Ya, ramai rakan saya secara harfiah mula melafazkan bahawa ahli sosiologi tidak akan mencuci selepas kajian sedemikian, bahawa mereka benar-benar diselaraskan dengan kuasa, melupakan bukan sahaja aktiviti protes dan etika profesional, malah etika sivil dan sebagainya. Lagipun, semua orang tahu bahawa, pada tahap yang lebih tinggi, sosiologi adalah sains sayap kiri. Marxisme untuknya adalah salah satu tiang. Dan kedudukan kritis adalah kedudukan ahli sosiologi. Jadi, selepas itu, saya dan rakan-rakan saya, yang tidak terlibat dalam penyusunan kaji selidik ini, hanya meminta data dari FOM dan VTsIOM mengenai bagaimana kajian dijalankan. Dan di sini kami mendapat fakta yang luar biasa, kerana kajian ini dijalankan pada teknologi moden.Dan kami mempunyai semua perarakan ini, yang membolehkan kami menjalankan analisis yang mendalam, mendalam tentang apa yang berlaku di sana. Masa penyiasatan – walaupun tinjauan itu sendiri, tetapi masa yang telah berlalu dari penyataan masalah; iaitu, beberapa orang muncul yang berkata: kita perlu tahu ini, mari kita mengukurnya, – tiga hari berlalu sebelum orang-orang ini mengedarkan distribusi linear (ini adalah jawapan kepada soalan-soalan). Dan sekarang mari kita berfikir. Ini adalah satu tinjauan di seluruh negara di mana lebih daripada 50,000 telah ditangguhkan. Dalam tiga hari! Apabila saya mengatakan ini kepada rakan-rakan Amerika saya, mereka hanya mengangkat bahu mereka: "Ini mustahil." Ia benar-benar hampir mustahil. Di sini kita melihat bagaimana mungkin untuk memobilisasi pasaran pengundian, kerana di sini para pemain utama adalah FOM dan VTsIOM, tetapi, secara umum, berpuluh-puluh pusat mengundi berpartisipasi di semua wilayah di Rusia. Dan ia dilakukan hanya dalam masa yang hebat. Sebagai peraturan, pemasar tersenyum pada kelambatan sosiologi dan teknologi tinjauan, mengatakan bahawa ada pelanggan perniagaan dalam pemasaran, kita mesti melakukan segalanya dengan cepat. Tetapi tidak seorang pun pemasar akan pernah melakukan pekerjaan seperti itu. Tiada siapa yang akan menjalankan kerja yang memerlukan masa tiga hari dari menetapkan tugas itu kepada keputusan.

– A mungkin ini tidak bercakap hasilnya adalah direka bentuk?

– Ya, pemikiran pertama yang masuk ke dalam fikiran ialah: mereka mungkin "melukis" semua ini, 50,000.Tetapi kita tidak hanya mempunyai 50,000 rakaman audio untuk 50,000 ini, kita mempunyai rekod audio mengenai semua kegagalan. Dan ini, seperti yang telah saya katakan, hampir 8 kali lebih besar daripada sampel ini. Iaitu, kita mempunyai pelbagai rekod yang besar. Dan apabila kita mula membuat sampel rekod, mendengar, menganalisis betapa betul jawapannya, dan lain-lain, didapati bahawa, secara umum, sokongan Crimea, pengukuran sokongan ini dilakukan dengan cukup secukupnya. Dan satu-satunya perkara yang kita lihat ialah angka ini hanya mengejutkan inteligensia. Mereka tidak mengharapkan bahawa sokongan massa seperti itu mungkin.

Fakta lain yang mengejutkan: sebaik sahaja data-data ini diterbitkan, menunjukkan bahawa, secara umum, tidak ada pemalsu dan, lebih-lebih lagi, teknologi itu digunakan agak betul, tiada siapa yang mengakui kesilapannya, hanya bertukar kepada hujah-hujah lain, mula mencari alasan lain untuk untuk menyalahkan pusat pengundian ini atau itu. Ini menunjukkan bahawa, malangnya, tidak seperti sains semula jadi, sains teknologi tinjauan kami adalah dalam wacana umum. Kami sentiasa okey berada di bawah serangan orang luar, tetapi di bawah serangan diri kita sendiri.Kerana sangat sukar untuk memisahkan diri sendiri, kedudukan seseorang sebagai warganegara dari posisi seseorang sebagai penyelidik dalam hal ini. Dan ia benar-benar mengganggu. Oleh kerana anda boleh tidak bersetuju dengan pengedaran siapa yang mengundi untuk Crimea, dan yang mengundi, tetapi, secara umum, anda tidak boleh membuat kotak hitam keluar dari ini dan tidak menonton bagaimana orang bercakap mengenainya.

Bawa contohnya daripada dirinya sendiri kasar metafizikal pelanggaran dalam pengundian yang mana Anda berhadapan?

– Contoh kanonik adalah kata-kata berikut: "Tolong beritahu saya bagaimana anda menilai program ini atau itu dan prospek untuk menutupnya:
a) ia dilakukan dengan baik;
b) ia dilakukan dengan baik, tetapi seseorang mungkin berfikir lebih baik;
c) terdapat banyak program yang baik di dunia. "

Percubaan tersebut untuk membuat kajian penilaian, yang mana tidak ada peluang untuk menjawab negatif, sering dihadapi, termasuk dalam komuniti profesional, tetapi lebih dalam struktur kerajaan yang cuba memperkenalkan teknologi tinjauan ke dalam kehidupan seharian mereka.

– A yang mana satu Anda bertemu yang pelik tidak profesional contohnya tafsiran, tafsiran sosiologi data?

– Pemimpin interpretasi data bukan profesional di sini di Rusia sekali lagi merupakan salah satu perkhidmatan negara, ini adalah Perkhidmatan Antimonopoli Persekutuan. Memandangkan mereka mengawasi undang-undang mengenai pengiklanan, yang menyatakan bahawa anda perlu mengetahui pendapat umum tentang isu tertentu, mereka menjalankan tinjauan di laman web. Hantar soalan, tidak peduli siapa yang boleh menjawabnya. Satu orang boleh menjawab 10 kali, dan mungkin 20. Tetapi kerana tidak ada minat dalam hal ini, biasanya 20-30 orang menjawab di sana, maksimum 100 orang menjawab soalan ini atau itu.


Like this post? Please share to your friends:
Tinggalkan Balasan

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: