உண்மையான பிரச்னை என்னவென்பதை முழுமையாகத் தெரிந்துகொண்டாலே போதும், பிரச்னைக்கான பாதி தீர்வு கிடைத்துவிட்டதாக அர்த்தம் என்பார்கள். பல நேரங்களில் பிரச்னையின் முழு வடிவத்தை தெரிந்துகொள்ளாமலே, அவசர அவசரமாக அதற்கு ஒரு தீர்வை கண்டுபிடித்து, சேற்றில் பூசணிக்காயை மறைத்து சமாளித்துவிடுகிறோம். அப்படிப்பட்ட தீர்வு, பெரும்பாலும் தற்காலிகத் தீர்வாக மட்டுமே இருக்கும். நிரந்தரத் தீர்வாக இருக்கவே முடியாது. டேட்டாபேஸ் உலகிலும், பிக் டேட்டா என்பது ஒரே நிரந்தரத் தீர்வாக இருக்கமுடியாது. பிக் டேட்டா தரும் வெவ்வேறு தீர்வுகளைப் பற்றி விரிவாகப் பார்த்தோம். பிக் டேட்டா என்றால் எனன, அவற்றின் முக்கியத்துவம், அதனால் கிடைக்கும் பலன்களையும் அலசினோம்.
பிக் டேட்டா என்பது சர்வரோக நிவாரணி. டேட்டா பிரச்னைகளுக்கு இது ஒரே தீர்வாக இருக்கப்போவதில்லை என்பதை ஆரம்பத்திலிருந்தே தொடர்ந்து சொல்லி வருகிறோம். பிக் டேட்டாவை வெற்றிகரமாக செயல்பாட்டுக்குக் கொண்டுவந்த நிறுவனங்கள், அதில் சொதப்பிய நிறுவனங்கள், பிக் டேட்டாவின் சாதனைகள், அவை ஏற்படுத்திய சோதனைகள் என ஏராளமான விஷயங்களையும் நாம் பேசித்தான் ஆக வேண்டும். ஏராளமான நிறுவனங்களின் பிக் டேட்டா அனுபவங்கள், அதன்மூலம் அவை கற்றுக்கொண்ட பாடங்கள் அனைத்தும் இணையத்திலேயே கிடைக்கின்றன.
குவாண்ட்கேஸ்ட் (Quantcast), ஒரு விளம்பர நிறுவனம். தங்களுடைய விளம்பரங்களை எப்படி வெகுஜன மக்களுக்கு எடுத்துச் செல்வது? குறிப்பாக, இணையத்தின் மூலமாக எப்படி அதிகமான மக்களை சென்றடைவது? இதுதான் குவாண்ட்கேஸ்ட் நிறுவனத்தின் நோக்கம். இதுவொரு எளிமையான விஷயம். பெரும்பாலான நிறுவனங்களின் வியாபார நோக்கமும், ஒரே வரியில் எளிதாகத்தான் இருக்கும். வாடிக்கையாளர்களை திருப்திப்படுத்துவதுதான் எங்களது நோக்கம் என்பார்கள். எந்த வாடிக்கையாளர்கள்? எப்படி திருப்திப்படுத்துவது? இதைக் கண்டுபிடிப்பதுதான் சவாலான விஷயம். குவான்ட்கேஸ்ட் வைத்த குறி, அவர்கள் மீதுதான்.
விளம்பர நிறுவனங்களின் முதல் தெரிவு, இணையமாக முன்னர் இருந்ததில்லை. வசதி படைத்த வாடிக்கையாளர்கள் மட்டுமே இணையத்தில் உலாவுவார்கள் என்கிற தவறான நம்பிக்கை இருந்தது. ஆகவே, விளம்பர நிறுவனங்கள் டிவி, பத்திரிகை, பொதுமக்கள் கூடும் இடங்களில் தங்களது விளம்பரங்களைச் செய்து வந்தார்கள். இணையத்தின் பயன்பாடு காலப்போக்கில் அதிகரித்ததும், மக்கள் டிவியை கைவிட்டு, இணையத்துக்கு வந்தார்கள். இணையத்தில் அதிக நேரம் செலவழித்தார்கள். டிவியில் 22 விநாடிகள் வரும் விளம்பரத்துக்கு லட்சக்கணக்கில் செலவழிக்கவேண்டி இருந்தது. அதே பணத்தைக் கொண்டு, இணையத்தில் பல்வேறு வழிகளில் விளம்பரம் செய்யமுடியும். டிவியில் வரும் விளம்பரத்தைப் பார்த்து, வாடிக்கையாளர்கள் கிடைக்கிறார்களோ இல்லையோ, இணைய வழி வாடிக்கையாளர்கள் அதிகமாகவே இருக்கிறார்கள்.
இங்குதான் பிஸினெஸ் வாய்ப்புகள் இருப்பதை குவாண்ட்கேஸ்ட் நிறுவனம் மோப்பம் பிடித்தது. 2006-ல் ஆரம்பிக்கப்பட்ட குவாண்ட்கேஸ்ட் நிறுவனத்தில் 200 ஊழியர்கள் பணிபுரிகிறார்கள். குவாண்ட்கேஸ்ட் நிறுவனத்தின் மென்பொருள், ஒவ்வொரு மாதமும் ஏறக்குறைய 300 பில்லியன் தரவுகளை ஆராய்ந்து பார்த்து, வாடிக்கையாளர்களின் ரசனையைக் கண்டுபிடிக்கிறது. மனிதரில் இத்தனை நிறங்களா என்று ஆச்சர்யப்படும்வகையில், பல்வேறு மனிதர்களின் வெவ்வேறு நடவடிக்கைகளைத் தொகுத்து, அதன்மூலம் ஒரு பாணியை, உலகளாவிய டிரெண்ட்டை கண்டுபிடிக்கிறார்கள். கூகுளுக்கு அடுத்தபடியாக, குவாண்ட்கேஸ்ட்தான் வாடிக்கையாளர்கள் குறித்த தகவல்களைச் சேமித்து வைத்திருக்கிறது. அதைச் சாத்தியப்படுத்தியது பிக் டேட்டா என்கிறது குவாண்ட்கேஸ்ட் நிறுவனம்.
குவாண்ட்கேஸ்ட் முதலில் ஹடூப்பை அறிமுகப்படுத்தியது. அப்போது ஹடூப் பெரிய அளவில் பிரபலமாகியிருக்கவில்லை. ஆனாலும், ஹடூப் மீது நம்பிக்கை வைத்தார்கள். ஒவ்வொரு நாளும் குறைந்தபட்சம் 20 பெட்டாபைட் டேட்டாவை சேகரித்து, ஹடூப் மூலமாக சேமித்துவைத்தார்கள். நாளுக்கு நாள் இதன் அளவு அதிகமாகிக்கொண்டே வந்தது. இது தவிர, குவாண்ட்கேஸ்ட் அவர்களுக்கென சொந்தமாக டிஸ்ட்ரிபியூடட் ஃபைல் சிஸ்டத்தை தயாரித்து, இலவச மென்பொருளாக வெளிக்கொண்டு வந்தார்கள். குவாண்ட்கேஸ்ட் ஃபைல் சிஸ்டம் (QFS), ஒரு கட்டத்தில் ஹடூப்புக்கு (HDFS) இணையான விஷயமாக உருவெடுத்தது. ஏறக்குறைய, 50 சதவீத இடத்தை மட்டுமே எடுத்துக்கொண்டு அதில் சிறப்பான வேகத்துடன் தகவல்களைச் சேமிக்கும் பணியைச் செய்து வந்தது.
போதும் என்ற மனமே பொன் செய்யும் மருந்து என்பார்கள். அது தனிப்பட்ட வாழ்க்கை முறைக்குத்தான் பொருந்தும். தொழில்நுட்ப வளர்ச்சிக்கு சற்றும் ஒத்துவராத விஷயம். தகவல் தொழில்நுட்பம் நொடிக்கு நொடி மாறிக்கொண்டிருக்கும்போது, போதும் என்ற மனத்தோடு ஓய்ந்துவிட்டால், காலாவதியாகிவிடுவோம். குவாண்ட்கேஸ்ட் நிறுவனமும் அப்படித்தான் நினைத்தது. இனி வரும் காலம் இணையத்தின் மூலமாக, குறிப்பாக தனி கணினி & லேப்டாப் மூலமாக அனைத்துப் பரிவர்த்தனைகளும் நடைபெறும் என்று கணித்தார்கள். ஆனால், மொபைல் உலகம் என்றொரு புதிய உலகம் உருவாகி வருகிறது. அதன்மூலம் கோடிக்கணக்கான பரிவர்த்தனைகள் நடைபெறப்போகின்றன என்பதைக் கவனிக்க மறந்தார்கள்.
குவாண்ட்கேஸ்ட் சட்டென்று சுதாரித்துக்கொண்டது. ஒரே ஆண்டில் மொபைல் சேவையில் இறங்கி வெற்றிகண்டது. பிக் டேட்டாவை அப்படியே மொபைல் தொழில்நுட்பத்துக்குப் பயன்படுத்த முடியாது என்பதால், அதற்கேற்றபடி சிறிய அளவிலான டேட்டா செயலிகளை உருவாக்கியது. இணையத்தின் பிரபலமான தளங்கள், சோஷியல் நெட்வொர்க், பிளாக், விவாதக் குழுக்களில் இருந்து தகவல்களைத் திரட்டுவது எப்படி என்று அடுத்த கட்டத்துக்குச் சென்றது. ஒவ்வொரு இணையப் பக்கத்திலிருந்து பெறப்படும் தகவல்களைத் தனியாக ஒருங்கிணைத்தார்கள். அது தேவையில்லை என்றாலும், அதன்மூலம் பெறப்படும் தகவல்களின் துல்லியம் உறுதிப்படுத்தப்பட்டது.
2009-ல் குவாண்ட்கேஸ் நிறுவனம், வாடிக்கையாளர்களை வாங்கும் எந்திரத்தை அறிமுகப்படுத்தியது. “Audience-buying” engine. தன்னிடம் உள்ள வாடிக்கையாளர் சம்பந்தப்பட்ட தகவல்களை ஒருங்கிணைத்து, ஒரு சேவையாகவே வழங்குவது. டபுள் கிளிக் செய்வதன் மூலம் வாடிக்கையார்களின் விவரங்களைத் திரட்டுவது (அல்லது திருடுவது!) இது பற்றியும், ஃபேஸ்புக் நிறுவனத்துக்குக் கிடைத்த நெருக்கடிகளையும் முன்னரே விரிவாகப் பார்த்தோம்.
அதே சர்ச்சையில், குவாண்ட்கேஸ்ட் நிறுவனத்தின் பெயரும் அடிபட்டது. இணையப் பக்கங்களில் உள்ள குக்கீஸ் மூலம் வாடிக்கையாளர்களின் தகவல்களைத் திரட்டுவதாகச் சொல்லப்பட்டது. அதுவரை அரசல் புரசலாக பேசப்பட்ட விஷயம் 2012-ல் பெரிதாக வெடித்தது. காரணம், குவாண்ட்கேஸ்ட் அட்வெர்டைஸ் என்னும் சேவையை வழங்க ஆரம்பித்திருந்தது. விளம்பரதாரர்கள், நிறுவனங்களின் ஏஜென்ஸிதாரர்கள் இந்தச் சேவையைப் பயன்படுத்தி வாடிக்கையாளர்களைக் குறிவைத்து, அதற்கேற்றபடி தங்களது பிராண்டை வடிவமைத்துக்கொள்ள முடியும்.
அமேஸான், ஃபேஸ்புக், கூகுள் அனைத்து நிறுவனங்களும் இதைத்தான் வெவ்வேறு வழிகளில் செய்கின்றன. ஒவ்வொரு நிறுவனமும் தனக்கென பிரத்யேகமாக பிக் டேட்டா செயலிகளை வைத்திருக்கின்றன. இவற்றில் கூக்ள், குவாண்ட்கேஸ்ட் போன்றவற்றை மற்றவர்களோடு ஒப்பிடும்போது பாராட்டவேண்டி இருக்கிறது. காரணம், தங்களுடைய பிக் டேட்டா செயலிகளை வாடிக்கையாளர்களுக்கு இலவசமாக்க் கொடுப்பதுதான். குவாண்ட்கேஸ்ட் ஆடியன்ஸ் என்னும் சேவை, குறிப்பிட்ட வாடிக்கையாளர்கள் பிரிவுகளை ஆராய்வதற்கும் உதவி செய்கின்றன. இதுவும் இலவச சேவையாகவே கிடைக்கிறது.
குவாண்ட்கேஸ்ட் தரும் சேவை எப்படி என்பதை கொஞ்சம் விரிவாகவே பார்ப்போம். உதாரணத்துக்கு, தினமணி இணையதளத்துக்கு வரும் வாடிக்கையாளர்களை ஆய்வு செய்தால், முகப்புப் பக்கத்துக்கு வருபவர்கள் எத்தனை பேர், சினிமா பகுதிக்கு செல்பவர்கள் எத்தனை பேர் என்பதைக் கண்டுபிடித்துவிடலாம். வெப் டிராஃபிக் என்னும் கருத்தாக்கம் ஏற்கனவே இருந்து வருவதுதான் என்றாலும், கட்டுக்கடங்காக இணையப் போக்குவரத்து உள்ள தளங்களான அமேஸான், ஃபிளிப்கார்ட் போன்ற இடங்களில் பிக் டேட்டாவைத்தான் நம்பியாக வேண்டும். வாடிக்கையாளர்களின் ரசனை எப்படி என்பதைத் தெரிந்துகொள்ள இவைதான் உதவுகின்றன.
அரசியல் பகுதிக்கு வருபவர்களையும், வாராந்திர தொடர்களைப் படிக்க வருபவர்களையும் ஒப்பிடலாம். எந்த நாட்டிலிருந்து வருபவர்கள், எப்போது வருகிறார்கள், அவர்களுடைய வயது, பாலினம் அனைத்தும் கிடைத்துவிடும். இணையப் போக்குவரத்து அதிகரித்திருக்கிறதா அல்லது குறைந்திருக்கிறதா என்பதையும் கண்டுபிடித்துவிடலாம். ஒட்டுமொத்த விவரங்களையும் திரட்டி, டேட்டா அனாலடிக்ஸ் செய்து, எடிட்டரின் கணினித் திரையில் ஒளிரும்படி செய்துவிடலாம்.
குவாண்ட்கேஸ்ட் சேவையைப் பயன்படுத்திய ஒரு பெரிய தொலைத்தொடர்பு நிறுவனம், ஆறே மாதங்களில் 76 சதவீத வாடிக்கையாளர்களைத் தக்கவைத்துக்கொண்டது. நீண்ட காலமாக தன்வசம் இருந்த வாடிக்கையாளர்கள் சேவையைத் துண்டித்துக்கொள்ள இருந்த நேரத்தில், அவர்களது மன ஓட்டத்தை அறிந்து, ஏராளமான ஹாலிடே ஆஃபர்ஸ், கட்டணக் குறைப்பு போன்றவற்றை சரியான நேரத்தில் அறிமுகப்படுத்தி, வாடிக்கையாளர்களை இழுத்துப் பிடித்து, தன்வசமே உட்கார வைத்துக்கொண்டது.
இன்று இணையத்தில் பிரபலமான உள்ள மற்ற நிறுவனங்களோடு ஒப்பிடும்போது, 200 ஊழியர்கள் மட்டுமே பணிபுரியும் குவாண்ட்கேஸ்ட், மிகச்சிறிய நிறுவனம். பிக் டேட்டாவை பயன்படுத்துவதற்கு மிகப்பெரிய நிறுவனமாக இருக்க வேண்டிய அவசியமில்லை. மிகப் பெருமளவில் பரிவர்த்தனைகளைக் கையாளும் விஷயமாக இருக்க வேண்டியது மட்டும்தான் அவசியம். அதைப் புரிந்துகொண்டு அதற்கேற்ப நேரம், பணம், ஊழியர்களின் எண்ணிக்கை போன்றவற்றைக் கருத்தில் கொண்டு, அதற்குப் பின்னர் பிக் டேட்டா பரிசோதனைளில் இறங்குவது பயனளிக்கும்.
ஒருங்கிணைப்பு என்பதுதான் பிக் டேட்டாவின் ஆதார சுருதி. தகவல்களை ஒருங்கிணைத்துவிட்டால், கேட்டவையெல்லாம் எந்நேரமும் கிடைத்துவிடும். அதையெல்லாம் வைத்துக்கொண்டு எப்படி முடிவெடுக்கப்போகிறோம் என்பதுதான் கேள்விக்குறி. இதை முன்னர் விரிவாகவே அலசியிருந்தோம். அதற்கான தேவை நாளுக்கு நாள் அதிகரித்துக்கொண்டே இருக்கிறது. அனாலடிக்கிள் திறமையுள்ள ஆசாமிகளின் தேவை இன்னும் அதிகரிக்கும் என்கிறார்கள். அடுத்து வரப்போகும் ஆண்டுகளில் லட்சக்கணக்கானவர்கள் தேவைப்படுவார்கள். குறிப்பாக, இந்தியா மற்றும் சீனா போன்ற நாடுகளில் இதற்கான தேவை அதிகரிக்கும். சிக்கலான பிக் டேட்டா பிரச்னைகளைத் தீர்ப்பதற்கு ஏராளமான ஆசாமிகள் கிளம்பி வருவார்கள்.
பல்வேறு நாடுகள், வெவ்வேறு கலாசார பின்னணி கொண்ட ஆய்வாளர்களையே பல முன்னணி நிறுவனங்கள் தேர்வு செய்கின்றன. பரந்துபட்ட அளவில் சிந்திப்பது, சிக்கலான பண்பாட்டு, கலாசார வழிமுறைகளைத் தெரிந்துவைத்திருக்கும் ஆர்வம் உள்ளவர்களுக்கு முன்னுரிமை தருகின்றன. வெளிப்படையான ஆய்வுகள் (open innovation), தனிப்பட்ட நபர்களின் பங்களிப்புகளைவிட குழுக்களாகப் பங்களிப்பது (crowdsourcing), எத்தகைய சவாலாக இருந்தாலும் முனைப்பு காட்டி, அதைத் தீர்த்துவைப்பது, இதைத்தான் கேமிபிகேஷன் (gamification) என்கிறார்கள். இவையெல்லாம் அனாலடிக்கல் ஆசாமிகளுக்கான அடிப்படைக் குணங்களாக எதிர்பார்க்கப்படுகின்றன.
பிக் டேட்டா என்பது ஏற்கனவே இடப்பட்ட கோட்டின் மீது ரோடு போடுவது போன்ற பணியல்ல. தெரியாத விஷயங்களைத் தெரிந்துகொண்டு, புதிய தீர்வுகளைக் கொண்டுவருவது. உலகின் முன்னணி அறிவுசார் அமைப்புகளெல்லாம் இது குறித்த ஆய்வில்தான் தீவிரமாக ஈடுபட்டிருக்கின்றன. நாஸா முதல் ஹார்வர்டு பிஸினெஸ் ஸ்கூல் வரை பல்வேறு அமைப்புகள் ஏராளமான பில்லியன்களை ஆய்வுக்காகக் கொட்டுகின்றன. கடந்த 30 ஆண்டுகளில், நாஸா இதுவரை ஆயிரக்கணக்கான டெராபைட் கொள்ளளவு கொண்ட தகவல்களைச் சேகரித்து வைத்திருக்கிறது. விண்வெளியில் எடுக்கப்பட்ட படங்கள், நில அமைப்புகள், இயற்கைச் சீற்றங்கள், போர் நிலவரங்கள் அனைத்தும் சேமிக்கப்பட்டுள்ளன. இவற்றிலிருந்து தேர்ந்தெடுக்கப்பட்ட விவரங்களை மட்டும் பொதுவெளியில் பயன்படுத்துவதற்காக (PDS) என்னும் டேட்டா சிஸ்டத்தையும் உருவாக்கி வைத்திருக்கிறது. இவற்றை ஆய்வு செய்பவர்களை ஊக்கப்படுத்துவிதமாக ஏரளாமான போட்டிகள், பரிசுகளும் கொடுக்கப்படுகின்றன. அதற்கு முக்கியமான காரணம், இத்தகைய தகவல்களை அடிப்படையாக வைத்து செய்யப்படும் ஆய்வுகள் மூலம், நாளை என்னும் நாளை நம்மால் கணித்துவிட முடியும்.
(தொடரும்)