नई दिल्ली: स्क्रीन पर धूप वाली सड़क पर एक कपल को किस करते हुए दिखाया जाता है और उनके नीचे एक बटन होता है: ‘नियम और शर्तें स्वीकार करें’. इस पर क्लिक करने के बाद ‘AI Video Generator’ नाम का एक ऐप पूछता है कि आप एक व्यक्ति का वीडियो बनाना चाहते हैं या दूसरे टैब में ‘Couple’ यानी ‘कपल’ का. ‘Couple’ चुनने पर इसमें दो बॉक्स दिखाई देते हैं—‘अपनी फोटो अपलोड करें’ और ‘अपने पार्टनर की फोटो अपलोड करें’.
हालांकि, स्क्रीन पर एक नोट में यूजर्स को सलाह दी जाती है कि वे ‘सिर्फ अपनी या उन लोगों की फोटो अपलोड करें, जिन्होंने इसकी अनुमति दी है’, लेकिन यह पता लगाने की कोई व्यवस्था नहीं है कि संबंधित व्यक्ति ने वास्तव में किसी चीज के लिए सहमति दी है या नहीं.
एक दूसरे ऐप में होम स्क्रीन किसी वीडियो-स्ट्रीमिंग सर्विस की तरह खुलती है. इसमें ‘AI Videos’, ‘Valentine’s Day videos’ और ‘FaceSwap Videos’ नाम की कैटेगरी हैं. आखिरी कैटेगरी में महिलाओं की यौन तस्वीरों वाली तस्वीरों का ग्रिड है. इसे देखते समय फुल-स्क्रीन विज्ञापन आ जाता है, जिसमें ‘Kiss AI’ नाम के दूसरे ऐप का प्रचार किया जाता है. इसमें एक ही वादा किया जाता है—‘अब आप अपने क्रश को किस कर सकते हैं’. इसके दो पैनल ‘ME’ और ‘My crush’ लिखे होते हैं और धीरे-धीरे दोनों एक किस में बदल जाते हैं. विज्ञापन में किसी अनजान व्यक्ति का चेहरा अपलोड करने का सुझाव दिया जाता है और कहा जाता है कि ऐप उस व्यक्ति की आपके साथ किस करते हुए तस्वीर या वीडियो बना देगा.
भारत में गूगल प्ले पर ऐसे दर्जनों ‘AI kiss and hug’ ऐप मौजूद हैं. इनमें से कई को 10 लाख से ज्यादा बार डाउनलोड किया जा चुका है. ये ऐप एक ऐसी सुविधा बेचते हैं जो सुनने में बिल्कुल आम लगती है—दूर रहने वाले किसी रिश्तेदार को गले लगाना या पार्टनर को किस करना, लेकिन ये एक ही तरीके से काम करते हैं: एक या दो असली चेहरों की फोटो डालिए और ऐप ऐसा इंटिमेट वीडियो बना देता है, जो असल में बायोमेट्रिक डेटा से तैयार होता है, बिना यह जांचे कि वह चेहरा किसका है.
इन्हीं ऐप्स में यौन तस्वीरें भी दिखाई जाती हैं. इनके स्टोर रेटिंग में इन्हें तीन साल तक के बच्चों के लिए भी सही बताया गया है. यूजर्स का कहना है कि उनसे ऐसी सब्सक्रिप्शन के पैसे लिए गए, जिन्हें उन्होंने कभी मंजूर नहीं किया था. आरोप है कि ये ऐप तस्वीरें ऐसे थर्ड पार्टी लोगों को भी भेजते हैं, जिनके नाम नहीं बताए गए हैं. इनके रिव्यू पेज शिकायतों से भरे हुए हैं. फिर भी ये ऐप बने हुए हैं. इसकी एक वजह यह है कि एआई से बनाया गया कंटेंट और बिना सहमति की तस्वीरों को लेकर भारत के नए नियम सोशल मीडिया प्लेटफॉर्म को ध्यान में रखकर बनाए गए हैं. अभी यह साफ नहीं है कि ये नियम ऐसे अलग ऐप्स पर भी लागू होते हैं या नहीं, जो सिर्फ वीडियो बनाते हैं. टेक्नोलॉजी से जुड़े वकीलों के मुताबिक, इसका सीधा मतलब यह है कि यह इंडस्ट्री फिलहाल बिना साफ नियमों के काम कर रही है.
दिप्रिंट ने गूगल को ईमेल के जरिए इन ऐप्स की उम्र की रेटिंग, सहमति की जांच, डेटा के इस्तेमाल और इनकी पहचान बताने से जुड़े नियमों के बारे में विस्तार से सवाल भेजे. यह भी पूछा कि क्या गूगल ने इनमें से किसी ऐप को हटाया है. दिप्रिंट ने हैंगओवर स्टूडियोज और इन ऐप्स को बनाने वाले दूसरे डेवलपर्स को भी ईमेल किया, लेकिन ईमेल वापस आ गए. जवाब मिलने पर इस रिपोर्ट को अपडेट किया जाएगा.
दिप्रिंट आपको यहां बता रहा है कि ये ऐप क्या करते हैं, इन्हें कौन बनाता है और कानून के हिसाब से इनकी स्थिति क्या है.
यह कैसे काम करता है, और इसकी कीमत क्या है
पहला ऐप, जिसका नाम AI वीडियो जेनरेटर है, तेज़ी से काम करता है. दो फोटो अपलोड करें, 30 क्रेडिट खर्च करें और यह दो चेहरों के किस करते हुए एक छोटी क्लिप दिखाता है, जिस पर सिर्फ ‘PhotoMagic’ वॉटरमार्क लगा होता है. स्क्रीन पर एक नोट यूज़र्स को ‘सिर्फ अपनी या उन लोगों की फोटो अपलोड करने’ के लिए कहता है जिन्होंने परमिशन दी है, और कहता है कि ऐप ‘18 साल और उससे ज़्यादा उम्र के यूज़र्स के लिए है’.
एक वीडियो बनाने में क्रेडिट लगते हैं और ऐप यूज़र्स को उन्हें खर्च करने के लिए प्रेरित करता है. एक बार क्लिप तैयार हो जाने पर, एक बैनर उसे सेव करने और शेयर करने के लिए पांच क्रेडिट देता है, जो हर यूज़र को अगले बैच का एक छोटा डिस्ट्रीब्यूटर बना देता है. स्क्रीन पर आने वाले एडवरटाइज़िंग को रोकने के लिए, ऐप ‘ऐड-फ्री मोड’ बेचता है: 449 रुपये प्रति हफ्ता, 699 रुपये प्रति महीना, या 2,999 रुपये प्रति साल, जिसमें सालाना प्लान पहले से चुना हुआ होता है और 8,000 क्रेडिट के बोनस का वादा किया जाता है.
हर पीरियड के आखिर में सब्सक्रिप्शन अपने आप रिन्यू हो जाता है, नीचे एक लाइन में लिखा होता है कि इसे कभी भी कैंसल किया जा सकता है.
इन ऐप्स के रिव्यू में ऐसे बहुत से यूज़र्स हैं जो कहते हैं कि कैंसल करने पर भी चार्ज बंद नहीं हुए और छोटे अमाउंट, जैसे 399 रुपये या 799 रुपये, बिना किसी वॉर्निंग के कट गए.
तैयार वीडियो में ऐसा कुछ नहीं है जिससे पता चले कि इसे बनाया गया था. इस पर कोई लेबल नहीं है जो इसे आर्टिफिशियल बताता हो, सिर्फ ऐप की अपनी ब्रांडिंग है.
कितने और इन्हें कौन बनाता है
प्ले स्टोर पर सर्च करने पर ऐसे दर्जनों ऐप्स मिलते हैं, जिनमें से काफी भारत में बने हैं. AI Video Generator: kiss & Hug, जो सबसे ज़्यादा डाउनलोड किए जाने वाले ऐप्स में से एक है, इसे हैंगओवर स्टूडियोज ने पब्लिश किया है, जो हैदराबाद का एक डेवलपर है और यलवर्थी सॉफ्टवेयर सॉल्यूशंस प्राइवेट लिमिटेड के नाम से रजिस्टर्ड है.
दूसरे ऐप्स गुजरात भर के अलग-अलग डेवलपर्स के पास रजिस्टर्ड हैं, जिनमें से ज़्यादातर सूरत के आसपास हैं, और ज़्यादा अमरेली और अहमदाबाद में हैं. एक अलग सेट विदेश में है: Heyo: Fun AI Video Maker और इसके सिबलिंग्स सिंगापुर की एक कंपनी से जुड़े हैं जो a1.art नाम के प्लेटफॉर्म से जुड़ी है.
यह लाइन-अप एक जैसा नहीं है. गूगल इस कैटेगरी के ऐप्स हटा रहा है—इसने पहले विदेश में रेगुलेटर्स द्वारा फ्लैग किए गए एक बैच को हटाया था और कहा था कि उसने ऐसे ही फीचर्स वाले सैकड़ों ऐप्स को सस्पेंड कर दिया है और कई ऐप्स जो अगस्त की शुरुआत में उपलब्ध थे, उनमें से एक हैदराबाद kiss-and-hug जनरेटर भी था, वे अब स्टोर से गायब हो गए हैं. दूसरे ऐप्स बने हुए हैं, और नए ऐप्स अलग-अलग नामों से सामने आते रहते हैं.
‘गलत इस्तेमाल का खतरा ज़्यादा है’
इंडियन गवर्नेंस एंड पॉलिसी प्रोजेक्ट (IGAP) के फाउंडर और टेक्नोलॉजी लॉयर ध्रुव गर्ग ने कहा कि इनमें से कुछ भी गैर-कानूनी है या नहीं, यह सीधा नहीं है. गर्ग ने दिप्रिंट को बताया, “इसमें से कुछ भी अपने आप में गैर-कानूनी नहीं है.”
एक टूल जो किसी स्टिल को मोशन में बदल देता है, जिसमें दो लोगों के बीच गले लगना या किस करना शामिल है जो अपनी तस्वीरें अपलोड करते हैं, वह एक सही इस्तेमाल है, जो असल में उस ऐप से अलग नहीं है जो किसी पोर्ट्रेट को रीस्टाइल करता है. उन्होंने कहा कि चिंता इस बात को लेकर है कि वही टूल आगे क्या कर सकता है. “यह उसी पल शुरू होता है जब कोई प्रोडक्ट बिना सहमति के कोई इंटिमेट इमेज बना सकता है.” उन्होंने आगे कहा कि गले लगना या किस करना इंटिमेट इमेज है या नहीं, यह कॉन्टेक्स्ट और डिग्री की बात है.
उन्होंने ऐप्स की तुलना फोटोशॉप से की, जिसका इस्तेमाल दो दशकों से बिना किसी सीरियस बैन के इमेज बदलने के लिए किया जा रहा है और फिर खुद ही फर्क बताया. उन्होंने कहा, “ये ऐप्स उस कंटेंट को बनाने के लिए ज़रूरी मेहनत और स्किल को लगभग खत्म कर देते हैं.” उनके हिसाब से, यही वजह है कि मार्केटिंग मायने रखती है. “एक आम वीडियो बनाने वाले को गले लगने और किस करने का विज्ञापन करने की ज़रूरत नहीं है. जब कोई ऐप इन शब्दों को सबसे पहले रखता है, तो वह कम से कम कुछ हद तक उन लोगों तक पहुंच रहा होता है जो किसी और के साथ ऐसा करना चाहते हैं.”
उन्होंने कहा कि ऐसा टूल तब तक कानून के दायरे में रह सकता है जब तक इसका गलत इस्तेमाल न हो, “लेकिन इसके गलत इस्तेमाल की संभावना ज़्यादा है”.
“सबसे अच्छा मामला किसी दोस्त का मज़ाक उड़ाना है. सबसे बुरा मामला किसी व्यक्ति को नुकसान पहुंचाने के लिए बिना सहमति के बनाई गई तस्वीर है.”
उन्होंने कहा कि जहां कोई महिला टारगेट है, वहां यह काम उसकी इज़्ज़त को ठेस पहुंचाने जैसा हो सकता है, जो एक अलग अपराध है.
वॉटरमार्क कोई AI लेबल नहीं है
वीडियो बनते ही स्क्रीन पर एक एक्सपोज़र आ जाता है. इस पर कोई निशान नहीं होता कि यह बनाया गया है—इस बात का कोई नोटिस नहीं होता कि क्लिप सिंथेटिक है और ऐप की अपनी ‘फोटोमैजिक’ ब्रांडिंग के अलावा कोई मार्कर नहीं होता, जो बनाने वाले की पहचान करता है, तरीके की नहीं.
ब्रांडिंग वॉटरमार्क कोई AI लेबल नहीं है.
यह उस फ्रेमवर्क के खिलाफ है जिसे भारत ने इस साल अपनाया था. फरवरी में बदले गए और 20 फरवरी से लागू हुए इन्फॉर्मेशन टेक्नोलॉजी रूल्स ने सिंथेटिकली-जेनरेटेड इन्फॉर्मेशन, या SGI नाम की एक कानूनी कैटेगरी बनाई, जिसमें AI से बनी इमेज, ऑडियो और वीडियो शामिल हैं और इसका मकसद नकली इमेज, बदनामी और बिना सहमति के सेक्सुअल इमेजरी के लिए इस्तेमाल होने वाली नकली चीज़ों को रोकना है.
बदले हुए रूल 3(3) के तहत, ऐसे कंटेंट पर साफ और खास लेबल होना चाहिए—इमेज और वीडियो पर एक दिखने वाला लेबल, जिसमें परमानेंट मेटाडेटा या एक यूनिक आइडेंटिफायर एम्बेडेड हो, जहां मुमकिन हो, ताकि इसे बनाने वाले टूल का पता लगाया जा सके और प्लेटफॉर्म ऐसा कोई फीचर नहीं दे सकते जिससे यूज़र उस लेबल को हटा या छिपा सके. पहले के ड्राफ़्ट में लेबल को फ़्रेम का दसवां हिस्सा कवर करना ज़रूरी था; उस फिक्स्ड साइज़ को हटा दिया गया, लेकिन लेबल लगाने की ज़िम्मेदारी साफ तौर पर बनी रही.
गर्ग ने कहा कि नियम सिंथेटिक कंटेंट को कैटेगरी में बांटते हैं, जिसमें किसी असली व्यक्ति की इमेज सबसे सेंसिटिव होती है और बिना सहमति के इसे बनाना सबसे ज़्यादा पाबंदी वाला होता है. उन्होंने कहा कि ये ऐप्स जो असली कपल वीडियो बनाते हैं, वे नियमों के सेंटर के बहुत करीब होते हैं जिसके लिए नियम लिखे गए थे. उन्होंने आगे कहा कि लेबल लगाने की ज़िम्मेदारी उतनी ही अच्छी होती है जितनी उसके पीछे की जांच होती है.
उन्होंने कहा, “पूछने वाले सवाल यह हैं कि क्या आउटपुट पर लेबल लगा है, और क्या ऐप यह चेक करता है कि फ़ोटो यूज़र की है.” “जहां वह जांच मौजूद भी है, वहां आमतौर पर इसे नज़रअंदाज़ करना आसान होता है.”
टेस्ट किए गए ऐप ने इनमें से कुछ भी नहीं किया: इसने कोई लेबल नहीं लगाया, और दूसरे चेहरे को “पार्टनर” के तौर पर बिना यह पूछे मान लिया कि वह किसका है. उन्होंने कहा कि जहां किसी असली व्यक्ति की इमेज का इस्तेमाल बिना सहमति के किया जाता है, तो इसका नतीजा बिना सहमति के इंटिमेट इमेजरी हो सकता है, जो आईटी एक्ट और भारतीय न्याय संहिता दोनों के तहत अपराध है. लेबलिंग इस कैटेगरी में आने वाले ऐप्स पर लागू होती है या नहीं, यह अपने आप में एक ग्रे ज़ोन है. नियम मुख्य रूप से सोशल-मीडिया प्लेटफ़ॉर्म और दूसरे इंटरमीडियरीज़ के लिए लिखे गए थे और इस बात पर बहस होती है कि क्या इस तरह के एक स्टैंडअलोन जनरेटर को यह लेबल करना चाहिए कि वह क्या बनाता है—इसीलिए ये वीडियो ऐप को अनमार्क्ड छोड़ देते हैं.
उम्र की रेटिंग, प्राइवेसी और डेटा डिलीट करना
गार्ग के लिए सबसे साफ समस्या यह है कि ये ऐप किसे बेचे जा रहे हैं. दिप्रिंट ने जिस ऐप को टेस्ट किया, उसके अपने लैंडिंग पेज पर यूजर्स को बताया गया था कि यह ऐप सिर्फ वयस्कों के लिए है, जबकि स्टोर पर इसकी रेटिंग 12 साल के बच्चों के लिए थी. वहीं इस कैटेगरी के कुछ दूसरे ऐप तीन साल तक के बच्चों के लिए भी सही बताए गए थे. उन्होंने कहा, “इन रेटिंग्स का बचाव करना बहुत मुश्किल है.” उनका कहना था कि 18 साल से कम उम्र के किसी व्यक्ति को ऐसे ऐप का इस्तेमाल नहीं करना चाहिए, जो खुले तौर पर कपल्स के रोमांटिक वीडियो बनाने की सुविधा देता है. अगर पैरेंटल कंट्रोल जिस रेटिंग पर निर्भर करता है, वही गलत है तो उसका भी कोई खास फायदा नहीं है. “ये कंट्रोल तभी काम करते हैं, जब रेटिंग सही हो.”
उन्होंने इस समस्या को एक बड़ी कमी से जोड़ते हुए कहा, “बच्चों की सुरक्षा को लेकर बातचीत सिर्फ सोशल मीडिया और गेमिंग तक सीमित हो गई है.” उन्होंने कहा, “बच्चे कई दूसरे ऐप्स तक भी पहुंच सकते हैं और डेवलपर और स्टोर, दोनों को हर ऐप की बच्चों की सुरक्षा के नजरिए से जांच करनी चाहिए.”
ये ऐप असली चेहरों की ऐसी क्लोज-अप तस्वीरें लेने के लिए बनाए गए हैं, जो किसी व्यक्ति का बेहद संवेदनशील डेटा हो सकता है. लेकिन अलग-अलग ऐप इसे अलग-अलग तरीके से इस्तेमाल करते हैं. प्ले स्टोर पर Kiss & Hug ऐप अपने डेटा-सेफ्टी सेक्शन में कहता है कि वह यूजर्स की निजी जानकारी, फोटो और वीडियो और डिवाइस की पहचान से जुड़ी जानकारी थर्ड पार्टी के साथ शेयर कर सकता है. Heyo कहता है कि वह कुछ भी शेयर नहीं करता. सूरत के ऐप KiHu में कहा गया है कि उसका डेटा एन्क्रिप्टेड नहीं है और उसे डिलीट नहीं किया जा सकता. इसकी रेटिंग तीन साल और उससे ज्यादा उम्र के लोगों के लिए है. इनमें से किसी भी ऐप की लिस्टिंग में उन थर्ड पार्टी के नाम नहीं बताए गए हैं, जिन्हें यूजर्स की फोटो मिल सकती हैं. यह भी नहीं बताया गया है कि फोन से बाहर जाने के बाद किसी व्यक्ति के चेहरे की फोटो किस सर्वर पर प्रोसेस की जाती है.
रिव्यू में भी यही डर बार-बार सामने आता है. एक यूजर ने इस प्रोडक्ट को ऐसा वयस्क ऐप बताया जो “यूजर्स के डेटा का गलत इस्तेमाल करता है”. उसने चेतावनी दी कि इसका इस्तेमाल डीपफेक बनाने के लिए किया जा सकता है और कहा कि गूगल को इसे हटा देना चाहिए. एक दूसरे यूजर ने बताया कि उसने लंबी दूरी के रिश्ते में रहने वाले पार्टनर के साथ सामान्य हग वाली तस्वीरें बनाने के लिए इसका इस्तेमाल किया था. लेकिन बाद में उसे ऐप में यौन तस्वीरों वाले टेम्पलेट मिले. इसके बाद उसने लिखा कि यह “सुरक्षित नहीं है” और इससे यूजर की निजी जानकारी लीक हो सकती है.
ऐसी ही एक शिकायत के जवाब में डेवलपर ने सार्वजनिक रूप से कहा कि यूजर के अकाउंट में मौजूद तस्वीरें सिर्फ वही यूजर देख सकता है और “उन्हें कभी दूसरे लोग नहीं देखेंगे, इस्तेमाल नहीं करेंगे या लीक नहीं करेंगे.” डेवलपर ने रिव्यू करने वाले यूजर को भरोसा दिलाया कि उसका डेटा निजी रखा जाएगा, लेकिन यह भरोसा उसकी अपनी ऐप लिस्टिंग से मेल नहीं खाता, जिसमें कहा गया है कि वह फोटो और निजी जानकारी बाहरी पार्टियों के साथ शेयर कर सकता है.
दूसरे मामलों में भी कागजी जानकारी बहुत कम है. इनमें से कई ऐप्स में प्राइवेसी पॉलिसी के लिंक दिए गए हैं, लेकिन वे कहीं नहीं ले जाते. कुछ ऐप अपनी शर्तें किसी कंपनी की वेबसाइट के बजाय मुफ्त ब्लॉगिंग पेजों पर डालते हैं. दिप्रिंट ने जब एक ऐप की प्राइवेसी पॉलिसी खोलने की कोशिश की तो उसका लिंक खुला ही नहीं.
गर्ग ने बताया कि भारत के डिजिटल व्यक्तिगत डेटा संरक्षण (DPDP) नियम अभी लागू नहीं हुए हैं. ऐसे में इन ऐप्स के चलते एक खाली जगह बनी हुई है. उन्होंने कहा, “लेकिन अगर कोई व्यक्ति अपना अकाउंट डिलीट कर देता है और उसकी तस्वीरें फिर भी देखी जा सकती हैं, तो यह एक गंभीर समस्या है.”
उन्होंने कहा, “डिलीट करने का मतलब डिलीट होना चाहिए, खासकर इस तरह की सामग्री के मामले में.” कुछ यूजर्स ने शिकायत की है कि अकाउंट बंद करने के बाद भी उनके द्वारा अपलोड की गई तस्वीरें ऑनलाइन बनी रहीं.
विज्ञापन का पूरा नेटवर्क
इन ऐप्स को ढूंढने के लिए यूजर्स को हमेशा खुद कोशिश नहीं करनी पड़ती. गूगल का Ads Transparency Center Search, यूट्यूब और गूगल के इन-ऐप नेटवर्क पर दिखाए जाने वाले विज्ञापनों का रिकॉर्ड रखता है. इसमें यलवर्थी सॉफ्टवेयर सॉल्यूशंस एक सत्यापित विज्ञापनदाता के रूप में दर्ज है, जो भारत में करीब 1,000 विज्ञापन क्रिएटिव चला रहा है. इनमें Kiss-and-Hug ऐप के विज्ञापन भी शामिल हैं.
इस संख्या में अलग-अलग कैंपेन के बजाय एक ही विज्ञापन के अलग-अलग वर्जन भी शामिल हैं, लेकिन इससे पता चलता है कि लगातार और बड़े स्तर पर विज्ञापनों पर पैसा खर्च किया जा रहा है. गूगल इस तरह की प्रोफाइल सिर्फ उन विज्ञापनदाताओं को देता है, जिन्होंने अपनी पहचान सत्यापित की है और विज्ञापन चलाए हैं.
ऐप्स के अंदर विज्ञापन दूसरी दिशा में काम करते हैं और उनमें से ज्यादातर इसी तरह के दूसरे ऐप्स की ओर ले जाते हैं.
उदाहरण के लिए, एक दूसरे ऐप के ‘kiss your crush’ वाले विज्ञापन के साथ VIDI.AI नाम के एक प्रोडक्ट का भी प्रचार किया जा रहा था. इसमें ‘Cinematic Videos, AI Kiss, AI Photo’ का वादा किया गया था. इनके बीच ऐसे विज्ञापन भी चल रहे थे, जिनका इस कैटेगरी से कोई संबंध नहीं था: एक कंपैनियन-चैट ऐप, एक शॉर्ट-ड्रामा सर्विस जिसमें एक रुपये में शो देखने की सुविधा थी और उसी जगह गूगल के जैमिनाई का विज्ञापन भी था. Kiss ऐप्स और गूगल के प्रमुख AI प्रोडक्ट्स में से एक, दोनों एक ही चैनल के जरिए यूजर्स तक पहुंच रहे थे.
(इस रिपोर्ट को अंग्रेज़ी में पढ़ने के लिए यहां क्लिक करें)
यह भी पढ़ें: GN साईबाबा को श्रद्धांजलि देने के बाद 9 TISS छात्रों की ज़िंदगी: FIR, डर और बर्बाद होता करियर