Stop Spam, Read Books !

"तुम्ही गुगल बुक्स (Google Books) साठी काम करत आहात आणि हे कदाचित तुम्हाला माहित नसेल !"

मित्रहो, हे वाक्य वाचकांचं लक्ष वेधून घेण्यासाठी वापरलेलं नसून ते तंतोतंत खरं आहे.  आज आपण एका भन्नाट innovation बद्दल माहिती घेणार आहोत. या innovation (माफ करा, परंतु innovation साठी उचित मराठी शब्द सापडला नाही !) चे नाव आहे reCaptcha (री कॅप्चा).

reCaptcha हे एका सॉफ्टवेअरचे नाव आहे. हे सॉफ्टवेअर वापरकर्त्या मशिन व मानवा मधिल फरक ओळखण्यासाठी वापरले जाते.

वरील चित्र पाहून reCaptcha म्हणजे काय याची कल्पना तुम्हाला आली असेलच. बरेच संगणक प्रोग्राम्स (यांना बॉट्स - Bots असे म्हणतात) इंटरनेटवर स्पॅमींग (Spamming) करत असतात. तुम्ही जर ब्लॉग लिहत असाल तर बर्‍याचदा काही निरर्थक कमेंट्स सतत ब्लॉगवर आलेल्या तुम्ही पाहिल्या असतील. अशा स्वयंचलित कमेंट्स लिहिणे, वेब फॉर्म्स  भरणे किंवा संगणकीय प्रोग्राम्सच्या सहाय्याने वेबसाईट्सचे सदस्यत्व मिळवणे (Registration) असे spammers चे उपद्व्याप थांबविण्यासाठी reCaptcha चा वापर होतो.

काही वर्षांपुर्वी याहु.कॉमवर अचानक असा बॉट्सचा हल्ला झाला होता आणि काही मिनिटातच लाखो याहु ईमेल आयडी बनवून याहुची सर्वर यंत्रणा पुर्णपणे ठप्प करण्यात हॅकर्स्/स्पॅमर्स यशस्वी झाले होते. यावर उपाय म्हणून पुढे Captcha चा वापर करण्यात आला. पुर्वी Captcha म्हणजे काही वेड्यावाकड्या अक्षरांचा संच होता. असे साधेसुधे Captcha वाचण्यासाठीचे प्रोग्राम्स स्पॅमर्सने लवकरच विकसीत केले. मात्र reCaptcha किंवा अधुनिक Captcha मध्ये शब्दांमध्ये एक आडवी रेषा मारून किंवा वरखाली अक्षरे मांडण्याची नविन पद्धत वापरली जाते. ही पद्धत आतापर्यंत तरी यशस्वी ठरली आहे.

reCaptcha ची एवढी ओळख पुरे. आता आपण यामध्ये दडलेल्या Innovation कडे पाहुया. गुगल बुक्स (Google Books) ही गुगलची सेवा सर्व छापील पुस्तकांचे digitisation करते. थोडक्यात छापील पुस्तके जगातील कोणत्याही व्यक्तीला कोठुनही वाचता येतील अशी सोय Google Books मध्ये करण्यात आलेली आहे. सर्व जुन्या आणि दुर्मीळ पुस्तकांचे गुगल द्वारे स्कॅनिंग केले जाते. आणि त्यानंतर OCR (Optical character reader) या पद्धतीचा वापर करुन स्कॅन केलेले चित्ररुपातील पुस्तक शब्दात रुपांतरीत केले जाते. मात्र OCR ही टेक्नॉलॉजी अजूनही पुर्णपणे विकसीत झालेली नाही आहे, त्यामुळे बरेच शब्द वाचताना OCR  कडून चुका होत असत.

हा प्रश्न सोडविण्यासाठी reCaptcha च्या विकासकांनी एक अप्रतीम कल्पना वापरली. जे शब्द OCR च्या माध्यमातून संगणकांना वाचता येत नाही ते शब्द माणसांकडून म्हणजे इंटरनेट वापरणार्‍या तुमच्या आमच्यासारख्या माणसांकडून वाचून व लिहून घेतले जातात. reCaptcha भरताना आपण दोन शब्द लिहितो. यापैकी एक शब्द स्पॅम पासून रक्षणाचे काम करतो तर दुसरा शब्द OCR वाचू न शकलेला पुस्तकातील शब्द असतो. अनेक वेब फॉर्म्स भरताना, ईमेल पत्ता बनविताना, ब्लॉगवर कमेंट्स लिहिताना आपण नकळत गुगल बुक्सचे digitisation करत असतो.

असे २०० दशलक्ष शब्द या जगातील सर्व ईंटरनेट वापरकर्ते मिळून दररोज सोडवत असतो. एक reCaptcha सोडवण्यासाठी साधारण १० सेकंद लागतात. एका व्यक्तीसाठी हा खुप थोडासा वेळ आहे मात्र एकत्रितरीत्या या कामावर १,५०,००० तास (man hours) दररोज खर्च होतात. ईंटरनेटची प्रचंड ताकद आणि अतिशय चातुर्याने एका महाकठीण प्रश्नासाठी शोधलेले सोपे उत्तर पाहून थक्क व्हायला होतं.

तुम्ही विचाराल की जर संगणकाला तो शब्द नीट वाचता येत नसेल तर आपण टाईप केलेला शब्द बरोबर आहे हे reCaptcha ला कसे कळते? याचे उत्तर असे आहे - reCaptcha मध्ये दोन शब्द दिलेले असतात. यापैकी एक शब्द संगणकाला बरोबर वाचता आलेला असतो. या दोन शब्दांची जोडी अनेक वेळा reCaptcha मध्ये वापरली जाते. आणि सर्व ठिकाणाहून आलेल्या उत्तरांची तुलना करुन दुसरा शब्द ओळखला जातो.

हे innovation आधी reCaptcha च्या मुळ शोधकर्त्याने वापरले की गुगलने ते मला कळू शकलेले नाही. गुगलने काही वर्षांपुर्वी reCaptcha विकत घेतली तेव्हा स्पॅम प्रोटेक्शन हे यामागील एकमेव कारण वाटत होते. मात्र गुगलच्या स्मार्ट इंजिनीअर्सने reCaptcha चा अधिक चांगल्या रीतीने उपयोग करून घेतला.

इंटरनेट वापरकर्त्यांच्या वेळेचा, ज्ञानाचा वापर करून घेण्याच्या या पद्धतीला Crowd computing  किंवा Crowd sourcing असे म्हणतात. Crowd sourcing चे आणखी एक उत्तम उदाहरण म्हणजे wikipedia हा जगाचा ज्ञानकोष. Wikipedia वर ९.२५ दशलक्ष लेख (२५० भाषांमध्ये) लिहिले गेले आहेत. हे सर्व लेख जगातील विविध भागातील विविध माणसांनी लिहिले आहेत. फेसबुक या जगातील सर्वात मोठ्या सोशल नेटवर्क मध्ये किंवा ट्वीटर सारख्या सेवेत १४० अक्षरांच्या सहाय्याने आपण माहितीचे/ज्ञानाचे डोंगर उभारत आहोत. ही सर्व Crowd sorcing ची उदाहरणे आहेत. मात्र Crowd sourcing फक्त इंटरनेट पर्यंत मर्यादित नाही आहे. अमेरीकेमध्ये एक street power greed चा प्रयोग सध्या केला जात आहे. या मध्ये highways वर रस्त्याच्या खाली उर्जा जमा करणारी यंत्रे पेरलेली असतात. पुर्ण रस्ता हा अशा यंत्रांची एक चादरच असते. दिवसा या रस्त्यांवरुन भरधाव वेगाने धावणार्‍या गाड्यांच्या गतीजन्य उर्जेला या यंत्रांमध्ये साठवून ठेवले जाते आणि रात्री रस्त्यांवरील दिवे उजळविण्यासाठी याच उर्जेचा वापर केला जातो. हा देखिल crowd sourcing चाच एक प्रकार आहे.

मित्रांनो, यापुढे आपल्या आवडत्या ब्लॉगला किंवा लेखाला कमेंट लिहिताना  reCaptcha सोडवायला लागला तर कंटाळा करु नका. जगाचे ज्ञान वाटण्याच्या विधायक कामात मदतही होईल आणि ब्लॉगरला कमेंट वाचून आनंदही होईल. By the way नेटभेट वर कमेंट करण्यासाठी  reCaptcha सोडवावा लागत नाही, त्यामुळे तुम्ही बिनधास्तपणे कमेंट्स देऊ शकता :-)

reCAPTCHA - As explained on it's website -  http://www.google.com/recaptcha/learnmore

reCAPTCHA is a free CAPTCHA service that helps to digitize books, newspapers and old time radio shows. Check out our paper in Science about it (or read more below).

A CAPTCHA is a program that can tell whether its user is a human or a computer. You've probably seen them — colorful images with distorted text at the bottom of Web registration forms. CAPTCHAs are used by many websites to prevent abuse from "bots," or automated programs usually written to generate spam. No computer program can read distorted text as well as humans can, so bots cannot navigate sites protected by CAPTCHAs.

About 200 million CAPTCHAs are solved by humans around the world every day. 

In each case, roughly ten seconds of human time are being spent. Individually, that's not a lot of time, but in aggregate these little puzzles consume more than 150,000 hours of work each day. What if we could make positive use of this human effort? reCAPTCHA does exactly that by channeling the effort spent solving CAPTCHAs online into "reading" books.

To archive human knowledge and to make information more accessible to the world, multiple projects are currently digitizing physical books that were written before the computer age. The book pages are being photographically scanned, and then transformed into text using "Optical Character Recognition" (OCR). The transformation into text is useful because scanning a book produces images, which are difficult to store on small devices, expensive to download, and cannot be searched. The problem is that OCR is not perfect.

reCAPTCHA improves the process of digitizing books by sending words that cannot be read by computers to the Web in the form of CAPTCHAs for humans to decipher. More specifically, each word that cannot be read correctly by OCR is placed on an image and used as a CAPTCHA. This is possible because most OCR programs alert you when a word cannot be read correctly.

But if a computer can't read such a CAPTCHA, how does the system know the correct answer to the puzzle? Here's how: Each new word that cannot be read correctly by OCR is given to a user in conjunction with another word for which the answer is already known. The user is then asked to read both words. If they solve the one for which the answer is known, the system assumes their answer is correct for the new one. The system then gives the new image to a number of other people to determine, with higher confidence, whether the original answer was correct.

Currently, we are helping to digitize old editions of the New York Times and books from Google Books.

Get NETBHET straight in your inbox / आता नेटभेट मिळवा थेट इमेल द्वारे
Enter your email address / खालील रकान्यात तुमचा इमेल पत्ता द्या.