ჯიბის AI მოწყობილობა გინესის მსოფლიო რეკორდების წიგნში შევიდა
ხელოვნური ინტელექტის პერსონალიზაციის რბოლაში ახალი მოთამაშე გამოჩნდა, იმდენად პატარა, რომ ჯიბეშიც მარტივად მოათავსებთ. Tiiny AI Inc.-მა Pocket Lab წარადგინდა, პატარა გამოსათვლელი მოწყობილობა, რომელიც Guinness World Records-მა Smallest MiniPC (100B LLM Locally)-ად აღიარა — მთლიან მოწყობილობაზე 120 მილიარდამდე პარამეტრის მქონე დიდი ენობრივი მოდელების გაშვება შეუძლია ისე, რომ ღრუბლოვან სერვერებს საერთოდ არ დაეყრდნოს.
მართალია, Pocket Lab 65-ვატიანი სიმძლავრით მუშაობს, მოკრძალებული დესკტოპების მსგავსად, მაგრამ სრულად Offline რეჟიმში 120 მილიარდი პარამეტრის მქონე მოდელების დამუშავება შეუძლია. ისეა აღჭურვილი, რომ AI სამუშაო დატვირთვებს გაუმკლავდეს, რომლებიც ტრადიციულად ღრუბლოვან ინსფრასტრუქტურაზეა მიბმული და მათ პერსონალურ ენერგოეფექტურ ფორმაში გადაყვანაზე ზრუნავს.
ეს დაპირება კი ორ ტექნიკურ სისტემას ეყრდნობა: Tiiny AI-ის მიერ შემუშავებული TurboSparse-ის ნეირონული დონის აქტივაციის მეთოდი ზედმეტი გამოთვლების შესამცირებლადაა შექმნილი, რათა მოდელებმა ნაკლები ენერგიის მოხმარებისას მეტი ინტელექტი შეინარჩუნოს. ხოლო PowerInfer კომპანიის ღია კოდის დასკვნის ძრავაა, CPU-სა და NPU-ს შორის ჟონგლიორის როლს ირგებს – დინამიკურად ანაწილებს დავალებებს, რათა მუშაობის სტაბილურობა ენერგიის მოხმარების მკვეთრი ზრდის გარეშე შეინარჩუნოს. ერთად კი ქმნიან იმას, რასაც კომპანია სერვერის დონის მუშაობად აღწერს, ოღონდ სერვერის დონის ძალის გარეშე.
აღსანიშნავია, რომ Pocket Lab მხარს უჭერს ღია კოდის მოდელებისა და ჩარჩოების ფართო სპექტრს, იქნება ეს Llama, Qwen, DeepSeek თუ Mistral. როგორც Tiiny AI ამბობს, მომხმარებლებს პოპულარული ვარიანტების ერთი დაწკაპუნებით განთავსება შეუძლიათ…
რაც შეეხება ხელმისაწვდომობაზე ფოკუსირებას, ეს უფრო დიდი გეგმის ნაწილია — მოდელების Offline რეჟიმში გაშვება იმას ნიშნავს, რომ დეველოპერებს, მკვლევრებსა თუ კრეატორებს სენსიტიურ სამუშაოებთან გამკლავება გარე სერვერების გარეშე შეეძლებათ… კომპანიის მტკიცებით კი, AI გამოთვლების დეცენტრალიზება მრავალ პრობლემას მოაგვარებს, მათ შორის გარემოსდაცვით ხარჯებს შეამცირებს და მომხმარებლებს მონაცემებზე მეტ ავტონომიურობასაც შესთავაზებს.
www.marketer.ge
