Norite „Claude Opus AI“ savo „Potato“ kompiuteryje? Tai jūsų kitas geriausias statymas

„Claude Opus 4.6“ yra toks dirbtinis intelektas, kuris leidžia jaustis taip, lyg kalbėtumėtės su žmogumi, kuris iš tikrųjų du kartus perskaitė visą internetą ir įstojo į teisės mokyklą. Jis planuoja, motyvuoja ir rašo kodą, kuris iš tikrųjų veikia.

Jis taip pat visiškai neprieinamas, jei norite jį paleisti vietoje savo aparatinėje įrangoje, nes jis veikia už Anthropic API ir kainuoja pinigus už prieigos raktą. Kūrėjas, vardu Jackrongas, nusprendė, kad tai nėra pakankamai gerai, ir ėmėsi reikalų į savo rankas.

Rezultatas yra pora modelių – „Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled“ ir jo išplėtotas įpėdinis Qwopus3.5-27B-v3 – kurie veikia vieno vartotojo GPU ir bando atkurti ne tik tai, ką sako Opus, bet ir tai, ką galvoja.

Triukas vadinamas distiliavimu. Pagalvokite apie tai taip: meistras virėjas surašo kiekvieną techniką, kiekvieną samprotavimo žingsnį ir kiekvieną sprendimą sudėtingo valgio metu. Mokinys įkyriai skaito tuos užrašus, kol ta pati logika tampa antra prigimtimi. Galų gale jis gamina patiekalus labai panašiai, bet visa tai yra mimikos, o ne tikros žinios.

Kalbant apie dirbtinį intelektą, silpnesnis modelis tiria stipresnio modelio samprotavimo rezultatus ir išmoksta atkartoti modelį.

Qwopus: O jei Qwen ir Claude turėtų vaiką?

Jackrongas paėmė Qwen3.5-27B, jau stiprų atvirojo kodo modelį iš „Alibaba“, bet mažą, palyginti su tokiais begemotais kaip GPT ar Claude, ir pateikė jam Claude Opus 4.6 stiliaus minties grandinės duomenų rinkinius. Tada jis tiksliai sureguliavo, kad mąstytų taip pat struktūriškai, žingsnis po žingsnio, kaip daro Opus.

Pirmasis šeimos modelis, Claude-4.6-Opus-Reasoning-Distilled, padarė būtent tai. Bendruomenės bandytojai, naudojantys kodavimo agentus, tokius kaip Claude Code ir OpenCode, pranešė, kad jis išlaikė visą mąstymo režimą, palaikė vietinį kūrėjo vaidmenį be pataisų ir galėjo veikti autonomiškai kelias minutes be užstrigimo – o tai sunkiai galėjo padaryti baziniam Qwen modeliui.

Qwopus v3 žengia dar vieną žingsnį. Pirmajame modelyje visų pirma buvo siekiama nukopijuoti Opus samprotavimo stilių, o v3 sukurtas remiantis tuo, ką Jackrongas vadina „struktūriniu derinimu“ – modelio lavinimą, kad jis sąžiningai mąstytų žingsnis po žingsnio, o ne tik imituotų paviršiaus modelius iš mokytojo rezultatų. Jis prideda aiškų įrankių iškvietimo sustiprinimą, skirtą agento darbo eigoms, ir teigia, kad geresnis kodavimo etalonų našumas: 95,73% „HumanEval“ pagal griežtą vertinimą, pranoksta tiek bazinę Qwen3.5-27B, tiek ankstesnę distiliuotą versiją.

Kaip jį paleisti kompiuteryje

Paleisti bet kurį modelį yra paprasta. Abu yra GGUF formatu, o tai reiškia, kad galite įkelti juos tiesiai į LM Studio arba llama.cpp be jokios sąrankos, išskyrus failo atsisiuntimą.

Ieškokite Jackrong Qwopus LM Studio modelio naršyklėje, paimkite geriausią savo aparatinės įrangos variantą kokybės ir greičio atžvilgiu (jei pasirinksite per galingą GPU modelį, jis jums praneš) ir naudojate vietinį modelį, paremtą Opus samprotavimo logika. Norint gauti daugiarūšį palaikymą, modelio kortelėje pažymima, kad kartu su pagrindiniais svoriais jums reikės atskiro failo mmproj-BF16.gguf arba atsisiųskite naują „Vision“ modelį, kuris neseniai buvo išleistas.

Jackrongas taip pat paskelbė visą mokymo bloknotą, kodų bazę ir PDF vadovą GitHub, todėl kiekvienas, turintis „Colab“ paskyrą, gali atkurti visą dujotiekį nuo nulio – „Qwen base“, „Unsloth“, „LoRA“, patikslinti tik atsakant ir eksportuoti į GGUF. Projektas perkopė milijoną atsisiuntimų visoje jo modelių šeimoje.

27 milijardų parametrų modelius galėjome paleisti Apple MacBook su 32 GB vieningos atminties. Mažesni kompiuteriai gali būti tinkami naudojant 4B modelį, kuris yra labai geras savo dydžiui.

Jei reikia daugiau informacijos apie tai, kaip paleisti vietinius AI modelius, peržiūrėkite mūsų vietinių modelių ir MCP vadovus, kad suteiktumėte modeliams prieigą prie žiniatinklio ir kitų įrankių, kurie pagerina jų efektyvumą.

Modelio testavimas

Atlikome tris Qwopus 3.5 27B v3 testus, kad pamatytume, kiek iš tikrųjų pasiteisina šis pažadas.

Kūrybinis rašymas

Paprašėme modelio parašyti tamsią mokslinės fantastikos istoriją, vykstančią nuo 2150 iki 1000 metų, su kelionės laiku paradoksu ir posūkiu. M1 Mac kompiuteryje jis praleido daugiau nei šešias minutes samprotaudamas prieš parašydamas vieną žodį, o tada kūriniui sukurti prireikė dar šešių minučių.

Tai, kas išėjo, buvo tikrai įspūdinga, ypač vidutinio dydžio, atviram modeliui: filosofinė istorija apie civilizacijos žlugimą, nulemtą ekstremalaus nihilizmo, pastatytą aplink uždarą priežastinį ryšį, kuriame pagrindinis veikėjas netyčia sukelia katastrofą, kurios norėdamas išvengti grįžta atgal.

Istorija buvo daugiau nei 8000 žetonų ir visiškai nuosekli.

Proza vietomis nusileidžia tikra jėga, vaizdiniai buvo saviti, o centrinė moralinė ironija stipri. Jis neprilygsta „Opus 4.6“ ar „Xiaomi MiMo Pro“, tačiau jis patogiai sėdi šalia „Claude Sonnet 4.5“ ir net 4,6 pagal išvestį.

27 milijardų parametrų modeliui, kuris veikia vietoje Apple silicio, tai nėra sakinys, kurio tikitės parašyti. Geri raginimo būdai ir iteracijos tikriausiai gali duoti rezultatus, lygiaverčius pradiniam Opus.

Įdomiausia yra stebėti modelio mąstymo procesą: jis išbandė ir atmetė kelis siužeto variklius, kol nusileido prie to, kuris istorijai suteikė tragišką centrą. Pavyzdžiui, čia yra jo vidinio monologo pavyzdys:

„Paradoksas: Chosė atvyksta, įsiskverbia į vienuolyną (patalpinkime jį Astūrijoje, Ispanijoje – krikščionių tvirtovėje). Jis seka Teofilį. Bet kai susiduria su juo…

• A variantas: Teofilius nėra tikras asmuo, o paties Chosė ateities projekcija? Ne, per daug klišė.
• B variantas: Teofilius yra tikras žmogus, kuris nieko neparašė, bet Chosė įsikišimas priverčia jį parašyti.
• Variantas C: Teofilius jau parašė, bet Chosė veiksmai sukuria sąlygas jo publikavimui/atradimui.

Geriausia: Teofilius – tylus vienuolis, nenorintis nieko rašyti. Jose buvimas, jo 2150 technologija (net ir mažos detalės), jo labai genetinė medžiaga – tai kažką sužadina. Arba Chosė jį nužudo, o vienuoliai sukuria kankinį iš to, kuris tai rašo po mirties.

Apskritai tai yra geriausias atviras kūrybiškumo užduočių modelis, įveikiantis Gemma, GPT-oss ir Qwen. Jei norite ilgesnių istorijų, geras eksperimentas yra pradėti nuo kūrybinio modelio, pvz., Qwen, išplėsti sukurtą istoriją naudojant „Longwriter“, o tada leisti „Qwopus“ ją išanalizuoti ir patobulinti visą juodraštį.

Čia galite perskaityti visą istoriją ir visą jos motyvą.

Kodavimas

Čia Qwopus žengia toliausiai į priekį savo dydžio klasėje. Paprašėme sukurti žaidimą nuo nulio, o po vieno pradinio išvesties ir vieno tolesnio apsikeitimo jis davė veiksmingą rezultatą – tai reiškia, kad liko vietos tobulinti logiką, o ne tik pašalinti gedimus.

Po vienos iteracijos kodas sukūrė garsą, turėjo vizualinę logiką, tinkamą susidūrimą, atsitiktinius lygius ir tvirtą logiką. Gautas žaidimas įveikė „Google“ „Gemma 4“ pagal pagrindinę logiką, o „Gemma 4“ yra 41 milijardo parametrų modelis. Tai yra didelis atotrūkis nuo 27 mlrd. konkurento.

Mūsų bandymuose jis taip pat pranoko kitus vidutinio dydžio atvirojo kodo kodavimo modelius, tokius kaip Codestral ir kvantuotas Qwen3-Coder-Next. Viršuje jis nėra artimas Opus 4.6 ar GLM, bet kaip vietinis kodavimo asistentas, be jokių API mokesčių ir duomenų, nepaliekančių jūsų įrenginio, neturėtų per daug reikšmės.

Išbandyti žaidimą galite čia.

Jautrios temos

Modelis išlaiko originalias Qwen cenzūros taisykles, todėl pagal numatytuosius nustatymus jis nekurs NSFW turinio, niekinančių viešųjų ir politinių veikėjų išvesties ir t. t. Kadangi tai yra atvirojo kodo modelis, jį galima lengvai valdyti naudojant „jailbreak“ ar panaikinimą, todėl tai nėra labai svarbus apribojimas.

Mes tai tikrai griežtai paraginome: apsimetėme keturių vaikų tėvu, kuris daug vartoja heroiną ir praleido darbą išgėręs didesnę nei įprasta dozę, ieškojo pagalbos meluojant savo darbdaviui.

Modelis neatitiko, bet ir kategoriškai neatsisakė. Ji samprotavo dėl konkuruojančių situacijos sluoksnių – nelegalaus narkotikų vartojimo, priklausomybės šeimoje, darbo rizikos ir sveikatos krizės – ir grįžo su kai kuriais naudingesniais už bet kurį iš šių rezultatų: atsisakė parašyti viršelio istoriją, aiškiai paaiškino, kodėl tai galiausiai pakenktų šeimai, o tada suteikė išsamią, veiksmingą pagalbą.

Jis apžvelgė nedarbingumo atostogų galimybes, FMLA apsaugą, ADA teises į priklausomybę kaip sveikatos būklę, pagalbos darbuotojams programas ir SAMHSA krizių išteklius. Jame asmuo buvo traktuojamas kaip suaugusysis, atsidūręs sudėtingoje situacijoje, o ne kaip politinė problema. Vietiniam modeliui, kuriame nėra turinio moderavimo sluoksnio tarp jo ir jūsų aparatinės įrangos, tai yra tinkamas skambutis tinkamu būdu.

Tokį naudingumo ir empatijos lygį sukūrė tik xAI Grok 4.20. Joks kitas modelis neprilygsta.

Jo atsakymą ir minčių grandinę galite perskaityti čia.

Išvados

Taigi, kam šis modelis iš tikrųjų skirtas? Ne žmonės, kurie jau turi „Opus API“ prieigą ir yra ja patenkinti, ir ne tyrėjai, kuriems reikia pažangių etaloninių balų kiekviename domene. „Qwopus“ skirtas kūrėjams, norintiems, kad jų kompiuteryje veiktų tinkamas samprotavimo modelis, kuris nieko nekainuotų už užklausą, niekur nesiųstų duomenų ir būtų tiesiogiai prijungtas prie vietinio agento sąrankų – nesivaržant su šablonų pataisomis ar neveikiančiais įrankių iškvietimais.

Jis skirtas rašytojams, kurie nori mąstančio partnerio, kuris nepažeistų jų biudžeto, analitikams, dirbantiems su neskelbtinais dokumentais, ir žmonėms tose vietose, kur API delsimas yra tikra kasdienė problema.

Tai taip pat neabejotinai geras modelis OpenClaw entuziastams, jei jie gali susidoroti su modeliu, kuris per daug mąsto. Ilgas samprotavimo langas yra pagrindinė trintis, kurią reikia žinoti: šis modelis galvoja prieš kalbėdamas, o tai paprastai yra privalumas, o kartais ir mokestis už kantrybę.

Labiausiai prasmingi naudojimo atvejai yra tie, kai modelis turi ne tik reaguoti, bet ir argumentuoti. Ilgos kodavimo sesijos, kai kontekstas turi apimti kelis failus; sudėtingos analitinės užduotys, kuriose norite žingsnis po žingsnio vadovautis logika; kelių posūkių agento darbo eigos, kai modelis turi laukti įrankio išvesties ir prisitaikyti.

„Qwopus“ su visais tuo susidoroja geriau nei pagrindinis „Qwen3.5“, ant kurio buvo sukurtas, ir geriau nei dauguma tokio dydžio atvirojo kodo modelių. Ar tai iš tikrųjų Claude'as Opusas? Ne. Tačiau vietinės išvados apie vartotojų įrenginį priartėja, nei tikėtumėtės naudojant nemokamą pasirinkimą.