AI केस स्टडी
“ChatGPT लाई काममा प्रयोग गर्न चाहन्छु। तर ग्राहक डेटा वा आफ्नो कम्पनीको कोड बाहिरी AI सेवामा पठाउन मिल्दैन” — धेरै कम्पनीमा सुनिने चिन्ता। यसपटक, गोदाममा थन्किएकोक्रिप्टो-माइनिङबाट सेवानिवृत्त एउटा पुरानो PCलाई, सबै कर्मचारीले प्रयोग गर्न सक्ने “आन्तरिक निजी ChatGPT” मा रूपान्तरण गरेको वास्तविक अभिलेख हो। थप हार्डवेयर लगानी, लगभग शून्य। निर्माण कार्य AI एजेन्ट (Claude) ले नेतृत्व गर्यो, रवास्तविक काम दुई दिनथियो।
सामग्री भनेको “पुरानो मोडेलका चारवटा प्रयोग गरिएका GPU।”
प्रयोग गरिएको भनेको केही वर्ष अघिको माइनिङ बूममा भूमिका सकिएको PC। जडित GPU भनेका AMD Radeon Vega 56/64 चारवटा — नवीनतम AI का लागि बनेको GPU होइन, NVIDIA को समेत होइन। संसारको “AI सर्भर”को सामान्य बुझाइभन्दा बाहिरको सामग्री हो।
तर चारवटाको कुल भिडियो मेमोरी 32GB। यसैमा ध्यान दिएर, AI का लागि मानक साधन (CUDA) प्रयोग गर्न नसकिने बाधालाई, खुला रेखांकन/गणना API “Vulkan” ले उछिन्ने संरचना AI एजेन्टले डिजाइन गर्यो।२०२४ को GPT-4o सँग तुलनीयमानिने ओपन मोडेल (३० अर्ब प्यारामिटर स्तर) सहित, प्रयोजन-अनुसारका तीन AI मोडेल एकैसाथ सञ्चालन गर्न सफल भयौं।
- दैनिक च्याटका लागि (7B): प्रति सेकेन्ड ४३ टोकन — ChatGPT बराबरको अनुभूत गति
- उच्च स्तरको कोड सिर्जना तथा डिजाइन परामर्शका लागि (30B स्तर): प्रति सेकेन्ड ३० टोकन — GPT-4o (2024) स्तरको चतुर्ता
- एडिटरभित्र कोड पूर्तिका लागि (1.5B): प्रति सेकेन्ड १२७ टोकन — GitHub Copilot जस्तो इनपुट पूर्ति
स्क्रिन ChatGPT जस्तै Web UI। कर्मचारीले ब्राउजर खोल्ने बित्तिकै, मोडेल फेर्दै प्रयोग गर्न सक्छन्। इन्जिनियरहरूले VS Code मा Copilot शैलीको स्वचालित पूर्ति पनि जडान गरिसकेका छन्।सम्पूर्ण प्रशोधन कम्पनीभित्रै सम्पन्न हुन्छ, र डेटा एक बाइट पनि बाहिर जाँदैन।
निर्माणको मुख्य पात्र AI एजेन्ट। मानिस निर्णयमै केन्द्रित रह्यो।
यसपटकको निर्माण, हाम्रो कम्पनीले अभ्यास गर्ने “AI-सञ्चालित विकास” नै थियो। OS सेटअप, इन्फरेन्स इन्जिनको बिल्ड, नेटवर्क विभाजन डिजाइन, गडबडी अनुसन्धान — हात चलाउने काम AI एजेन्टको थियो। मानिसले गरेको भनेको, मुख्य ठाउँमा निर्णय, र भौतिक काम (केबल पुनः घुसाउने आदि) मात्र।
विशेष उल्लेखनीय कुरा गडबडी सम्बोधन हो। निर्माणको क्रममा, पुरानो GPU मध्ये एउटा बिग्रेर बारम्बार सञ्चार टुट्यो। AI एजेन्टले कर्नेल लगबाट गडबडीको स्थान पहिचान गर्यो, र “कुन भौतिक स्लटको कार्ड हो” भनी फ्यानको घुमाइबाट देखाएर साट्न मार्गदर्शन गर्यो। थप,GPU भविष्यमा बिग्रिए पनि नेटवर्क नटुट्ने डिजाइन(MAC ठेगाना स्थिर) र,असामान्यतालाई हरेक ५ मिनेटमा पत्ता लगाएर स्वतः पुनःप्राप्त गर्ने निगरानीसम्म बनाइयो। अहिले यो सर्भर, बिजुली अन गर्ने बित्तिकै सबै सेवा स्वतः सुरु हुने “छाडे पनि हुने” अवस्थामा छ।
सुरक्षालाई “घुसपैठ हुन सक्छ भन्ने पूर्वमान्यता”मा।
कम्पनी बाहिरबाट पनि प्रयोग गर्न मिल्ने गरी इन्टरनेटमा पनि सार्वजनिक गरियो, तर डिजाइनको पूर्वमान्यता “कदाचित घुसपैठ भइहाले पनि क्षति नफैलाउने” हो। सर्भरलाई छुट्टै नेटवर्क (DMZ) मा अलग्याइएको छ, र कम्पनीभित्रका अन्य प्रणालीमा कत्ति पनि पुग्न नसक्ने संरचना। खाता व्यवस्थापक-स्वीकृति प्रणालीमा, र सम्पूर्ण सञ्चार इन्क्रिप्ट।आक्रमणकर्ताका लागि “भित्र पसे पनि केही नभेटिने” सर्भरबनेको छ।
लागेको खर्च, र प्राप्त भएका कुरा।
- हार्डवेयर थप लगानी:लगभग शून्य(विद्यमान निष्क्रिय माइनिङ PC पुनःप्रयोग)
- निर्माण अवधि:वास्तविक काम दुई दिन(गडबडी सम्बोधन र सुरक्षा डिजाइन समेत)
- सञ्चालन: बिजुली महसुल मात्र (GPU विद्युत सीमाद्वारा ऊर्जा-बचत गरिएको)।API प्रयोग शुल्क निश्चित शून्य येन र असीमित
- प्राप्त भएको: सबै कर्मचारीले प्रयोग गर्न सक्ने आन्तरिक निजी AI च्याट + विकासकर्ताका लागि कोड पूर्ति आधार
नवीनतम GPU नभए पनि, NVIDIA नभए पनि, तरिका ठीक भए “व्यावहारिक स्तरको आन्तरिक AI आधार” बनाउन सकिन्छ। बरु सार, बाधैबाधाले भरिएको हार्डवेयरका अगाडिसही संरचना छिटो पत्ता लगाउने, र लडे पनि उठ्ने संयन्त्रसम्म बनाउनेकुरा — त्यो AI एजेन्टको सबैभन्दा दक्ष काम रहेछ।
“हाम्रो निष्क्रिय मेसिन” पनि, AI आधार बन्न सक्छ।
“डेटा बाहिर पठाउन नसकिने भएकाले AI उपयोग त्यागिसकेको छु,” “क्लाउड AI को API लागत अनुमान गर्न सकिँदैन,” “बाँकी सर्भर वा गेमिङ PC छ” — एउटा पनि मिल्छ भने, आन्तरिक AI आधार सोचेभन्दा नजिकै छ।
हाम्रो कम्पनीले, तपाईंसँग रहेको निष्क्रिय हार्डवेयर उपयोग गरी “आन्तरिक निजी AI आधार” निर्माणमा सहयोग गर्छ।
विद्यमान उपकरणको उपयुक्तता निदान निःशुल्क। लिगेसी प्रणालीको नवीकरण (AI Re: Platform / छोटकरीमा: AIR Platform) सँगै,अहिले नै सम्पर्क गर्नुहोस्।
सम्पर्क फारम(“आन्तरिक AI आधार परामर्श चाहिन्छ” भनी लेखिदिनुहोस्) / info@flagship-ai.jp
शृंखला “लिगेसी to AI वास्तविक अभिलेख”
- समग्र संस्करण: एउटै PC मा २२ प्रणाली र 246,000 लाइन ― AI विकासको ३.५ महिनाको मापन-अभिलेख
- वास्तविक अभिलेख①: २० वर्ष पुरानो Java लाई, करिब एक हप्तामा पूर्ण नवीकरण
- वास्तविक अभिलेख②: विद्यमान कोडमा ० लाइन परिवर्तनसहित, मूल प्रणालीमा नयाँ प्रवेशद्वार बनाउने
- वास्तविक अभिलेख③: एक महिना स्तरको संरचना अध्ययनलाई, दुई दिनमा प्रोटोटाइप + वास्तविक मापनले
- वास्तविक अभिलेख④: पुरानो माइनिङ PC दुई दिनमा “आन्तरिक निजी ChatGPT” मा (यही लेख)
※ यस लेखका अंकहरू २०२६ अगस्टको वास्तविक मापन हुन्। निर्माण परिणाम हार्डवेयरको अवस्था र आवश्यकताअनुसार फरक हुन्छ।