Inžinerijos tinklaraštis – „Prexy“: ypač greitos paieškos ir pakeitimo taisyklės
Sveiki atvykę į mūsų pirmąjį inžinerinį tinklaraštį. Jis galbūt šiek tiek techniškesnis nei įprasta, tačiau stengėmės, kad būtų suprantamas visiems. Šiame įraše kalbėsime apie „Prexy“ – naują „Clonable“ įrankį, skirtą keitimo taisyklėms taikyti.
Kontekstas
Jei naudojatės „Clonable“, galbūt jau esate susipažinę su „substitution rule“ funkcija. Šias paieškos ir pakeitimo taisykles galite naudoti, kad tekstą ar kodą pakeistumėte savo pasirinktu variantu. Tai galite panaudoti, pavyzdžiui, norėdami pakeisti API raktą ar analizės ID, kad galėtumėte atlikti skirtingas analizes savo originaliam tinklalapiui ir išverstoms klonų versijoms. Viduje šios taisyklės taip pat naudojamos jūsų originalaus domeno vardo pakeitimui į jūsų klono domeno vardą ir kai kuriems kitiems dalykams.
Nuo pačios pirmosios „Clonable“ versijos ši funkcija nebuvo keičiama, nes puikiai atliko savo darbą. Vis dėlto buvo galima patobulinti našumą ir naudotojo patirtį. Kartkartėmis mes imamės „Clonable“ – mūsų produkto dalies, kuriai jau seniai nebuvo skirta laiko, – ir ją tobuliname. Pavyzdžiui, praėjusiais metais peržiūrėjome visą savo duomenų infrastruktūrą, kad ji taptų greitesnė, lengviau pritaikoma ir atsparesnė klaidoms, o tam jau anksčiau iš naujo sukūrėme URL vertimo funkciją nuo pat pradžių. Šį ketvirtį atėjo eilė pakeitimo taisyklėms.
Ankstesnė situacija ir apribojimai
Pakeitimo taisyklės „Clonable“ taikomos tik pačioje paskutinėje fazėje, prieš pat atsakymo grąžinimą klientui. Todėl pirmojoje „Clonable“ versijoje nuspręsta tai įgyvendinti NGINX žiniatinklio serveryje, naudojant „replace-filter-nginx-module“ modulį, sukurtą „OpenResty“. Modulis naudoja „sregex“ kaip srautinio apdorojimo reguliariųjų išraiškų variklį, kurį taip pat sukūrė „OpenResty“. Srautinio apdorojimo aspektas šiuo atveju yra svarbus, nes nenorime visiškai įkelti kiekvieno atsakymo į atmintį. Jei tai darytume, keletas didelių atsakymų galėtų sukelti „NGINX“ avariją arba įstrigimą dėl nepakankamo atminties kiekio. Antra svarbi „sregex“ savybė yra ta, kad jis gali lygiagrečiai apdoroti keletą taisyklių. Kiekvienas klonas jau turi tam tikrą skaičių standartinių taisyklių, o kartais – ir keletą taisyklių, pridėtų specialiai tam klonui. Jei jų nebūtų galima apdoroti vienu metu, vis tiek turėtume buferizuoti visą atsakymą, nes po pirmosios taisyklės turėtume vėl peržiūrėti atsakymą, kad galėtume apdoroti antrąją taisyklę.
Tačiau pastaruoju metu vis dažniau susiduriame su keistais veikimo sutrikimais. Dažniausiai jie trunka trumpai, tačiau kraštutiniais atvejais puslapio atsakymo laikas gali pailgėti net keliomis sekundėmis. Po vieno tokio piko puslapis dažniausiai vėl įkeldavo normaliai, todėl problemą buvo sunku atkurti. Norėdami tai išsamiau išanalizuoti, prie visų atsakymų pridėjome „Clonable-Timings“ antraštę, kuri leido mums apytikriai nustatyti, kuris vertimo proceso etapas užtrukdavo tiek daug laiko. Iš to paaiškėjo, kad beveik visais atvejais „upstream“ reagavo greitai, o vertimas taip pat vyko gana sklandžiai. Tačiau tarp vertimo užbaigimo ir užklausos visiško užbaigimo buvo tarpas, o tai davė užuominą, kad tai gali būti susiję su pakeitimo taisyklėmis.
NGINX lygiagretaus veikimo modelis
Tačiau tai dar neatsakė į klausimą, kodėl šie vėlavimai pasitaikydavo tik retkarčiais ir kodėl tai vyko, nors serveriai nebuvo apkrauti net iki pusės savo pajėgumo. Norėdami geriau suprasti šį reiškinį, turime šiek tiek giliau panagrinėti, kaip „NGINX“ tvarko darbo krūvius.
„NGINX“ naudoja „worker“ architektūrą su vienu pagrindiniu procesu ir keliais „worker“ procesais. Ryšiai paskirstomi tarp „worker“ procesų, kad vienu metu būtų galima apdoroti kelis užklausimus. Tačiau tokia konfigūracija turi ir trūkumą: kai vienas „worker“ procesas užimtas apdorodamas užklausimą, kiti užklausimai, priskirti tam pačiam procesui, turi laukti. Dėl to vienas sudėtingas užklausimas gali sukelti kelių užklausimų vėlavimą, net jei kiti „worker“ procesai neturi darbo. Šį reiškinį puikiai iliustruoja žemiau pateiktas paveikslas. Kuriant šį paveikslą buvo atliekamas apkrovos testas, apimantis 10 skirtingų ryšių. Paveiksle aiškiai matyti, kad 3 „worker“ procesai intensyviai dirba, o ketvirtasis beveik nieko nedaro.

Laikas „Prexy“
Aiškiai įžvelgę šią kliūtį, parengėme planą, kaip ją pašalinti. Šis projektas buvo pavadintas „Prexy“ – tai „RegEx“ ir „Proxy“ žodžių junginys. Galutiniam rezultatui buvo keliami trys pagrindiniai reikalavimai:
Tai turi būti tiesioginis dabartinės konfigūracijos pakaitalas, todėl keitimo taisyklės turi būti taikomos taip, kad nebūtų sutrikdyta esamų konfigūracijų veikla.
Pakeitimo taisyklės taikomos srautinio perdavimo būdu, kad sprendimas nenaudotų per daug atminties.
Naujas sprendimas turi veikti greičiau nei dabartinis.
Pirmiausia reikėjo rasti galingą daugiasiūlę vykdymo aplinką, kuri efektyviai apdorotų užklausas. Įvertinę keletą variantų, pasirinkome „Tokio“ vykdymo aplinką, skirtą programavimo kalbai „Rust“. „Rust“ žinoma tuo, kad ja galima rašyti greitas programas, išvengiant saugumo rizikų, būdingų kitoms žemo lygio kalboms, pavyzdžiui, C++. „Tokio“ vykdymo aplinka yra lanksti asinchroninė aplinka, sukurta tinklo programoms. Viena iš mums svarbiausių jos savybių yra tai, kad ji veikia pagal „work-stealing“ principą. Tai reiškia, kad, skirtingai nei „NGINX“, užklausa nėra priskirta vienam darbuotojui, o darbuotojas, neturintis darbo, gali „pavogti“ darbą iš kito darbuotojo. Tokiu būdu mūsų serverių ištekliai gali būti geriau išnaudojami.
Pirmasis prototipas
Pasirinkę pagrindines technologijas, nusprendėme sukurti pirmąjį prototipą, kad įvertintume, kiek greičio šis projektas mums suteiktų ir ar jis apskritai vertas pastangų. Kaip pirmąjį reguliariųjų išraiškų variklio (tos dalies, kuri iš tikrųjų apdoroja ir taiko taisykles) įgyvendinimą, naudojome standartinę reguliariųjų išraiškų biblioteką (arba „crate“, kaip jos vadinamos „Rust“ terminologijoje). Šis variklis, kaip ir „sregex“, yra „non-backtracking“, todėl ReDoS problemos rizika yra mažesnė. ReDoS atveju reguliarus išraiškos įvertinimas užtrunka eksponentiškai ilgiau, kas gali turėti katastrofiškų pasekmių našumui – tai patvirtina „Cloudflare“ patirtis, kai dėl šio reiškinio kilo didelis veiklos sutrikimas. Todėl mums svarbu, kad variklis, kurį naudojame, būtų „non-backtracking“.
Naudodami šį reguliariųjų išraiškų variklį, sukūrėme pirmąjį prototipą. Šis prototipas naudojo kietai užkoduotas taisykles, o reguliariųjų išraiškų variklis buferizavo visą atsakymą, o ne transliavo jį srautu, tačiau to pakako pirmajam našumo testui.
Naudodami šį reguliariųjų išraiškų variklį, sukūrėme pirmąjį prototipą. Šis prototipas naudojo kietai užkoduotas taisykles, o reguliariųjų išraiškų variklis buferizavo visą atsakymą, o ne transliavo jį srautu, tačiau to pakako pirmajam našumo testui. Mūsų testavimo konfigūraciją sudarė dvi virtualios mašinos (VM). Vienoje VM veikė konfigūracija, kurioje galėjo veikti tiek senasis, tiek naujasis sprendimas. Tokiu būdu galėjome lengvai palyginti abu metodus. Antroje VM veikė NGINX kaip kilminis serveris, teikiantis bandomąjį failą. Tame pačiame VM taip pat veikė įrankis wrk, kuriuo generavome apkrovą. Tai nėra visiškai optimalus sprendimas, nes norint gauti grynus rezultatus, apkrovos generatorių geriausia paleisti atskiroje VM, tačiau ši VM turėjo pakankamai išteklių, kad NGINX ir wrk netrukdytų vienas kitam.
Pirmieji bandymų rezultatai buvo akivaizdūs: „Prexy“ vieną užklausą apdorodavo maždaug 22 kartus greičiau (žr. paveikslėlį žemiau). Tai suteikė projektui galutinį žalią šviesą, nes esant tokiam dideliam skirtumui buvo pakankamai rezervo, kad būtų galima kompensuoti galimus našumo sumažėjimus, kurie galėtų atsirasti tobulinant funkcionalumą.

Po pirmojo bandymo atlikome keletą akivaizdžių optimizacijų, pavyzdžiui, kompiliuotų reguliariųjų išraiškų talpinimą į talpyklą. Be to, įdiegėme efektyvesnį būdą pakartotinai naudoti ryšius su aukštesniu lygmeniu. Taip pasiekėme apie 20 % greičio padidėjimą. Tada abu sprendimus išbandėme esant didžiausioms apkrovoms, siųsdami į serverį kuo daugiau užklausų. Čia skirtumas taip pat buvo aiškiai matomas, o „Prexy“ pasiekė maždaug 25 kartus didesnį pralaidumą nei senasis sprendimas.

Srautinio apdorojimo reguliariųjų išraiškų variklis
Vienas iš projekto reikalavimų buvo, kad reguliarieji išraiškų varikliai veiktų srautinio režimu. Prototipo reguliarieji išraiškų varikliai to neįgyvendino, todėl teko papildomai dirbti. Tačiau paaiškėjo, kad šie varikliai yra gerai optimizuoti, todėl nusprendėme juos naudoti kaip pagrindą kuriant srautinį variklį. Perduodant duomenis per reguliarieji išraiškų variklį, svarbu atkreipti dėmesį į keletą dalykų. Pirma, nežinote, kokie duomenys dar bus gauti. Todėl turite dirbti su daliniais atitikimais: atitikimais, kurie dar nėra pilni, bet jau atitinka vieną ar daugiau simbolių. Radus pilną atitikimą, reikia patikrinti, ar nėra persidengiančių dalinių atitikimų, nes galiausiai jie taip pat gali būti atitikimai (o persidengimo atveju ilgesnis atitikimas laimi prieš trumpesnį). Todėl pilnas atitikimas apdorojamas tik tada, kai aišku, kad visi esantys daliniai atitikimai nevirs į pilnus.
Tolesnės optimizacijos
Kaip ir tikėtasi, reguliariųjų išraiškų variklio pertvarkymas turėjo neigiamą įtaką „Prexy“ našumui. Tačiau, palyginti su ankstesniu sprendimu, vis dar turėjome pakankamai rezervo, o įdiegus papildomas optimizacijas galiausiai pasiekėme net geresnius rezultatus nei prieš pertvarkant reguliariųjų išraiškų variklį. Viena iš pritaikytų optimizacijų – įsiminti, ar tam tikram failui taikoma taisyklė. Statiniai ištekliai, tokie kaip CSS ir JS failai, beveik niekada nesikeičia, todėl beprasmiška kiekvieną kartą vykdyti taisyklę, jei ji niekada nesutampa su tuo konkrečiu failu. Alternatyva buvo talpinti pakeitimų rezultatus į talpyklą, tačiau šios strategijos trūkumas yra tas, kad visų failų saugojimui reikia daug atminties. Įsimindami, kokios taisyklės turi būti taikomos, mums reikia tik kelių baitų vienam failui, nes informaciją saugome kaip bitmapą.
Be to, optimaliai išnaudojame reguliariųjų išraiškų variklio optimizacijas, pavyzdžiui, nefiksuodami fiksuojančių grupių, kai jos nenaudojamos pakeitime. Dėl to reguliariųjų išraiškų variklis turi įsiminti tik viso atitikmens pradžią ir pabaigą, o tai sutaupo darbo. Taip pat išjungėme pavadintas fiksuojančias grupes, nes tai buvo gana sudėtinga srautinio perdavimo variante, o kadangi senasis sprendimas to taip pat nepalaikė, tai nebuvo būtina. Visos šios optimizacijos galiausiai užtikrino tokį našumą:

Galiausiai – aiškus ir naudotojui draugiškas rezultatas.
Išsamiai išbandę „Prexy“, siekdami užtikrinti, kad jo veikimas iš tiesų atitiktų senąjį sprendimą, pradėjome laipsnišką diegimą. Per maždaug savaitę kiekvienam klonui aktyvavome „Prexy“. Mūsų stebėjimo sistemoje aktyvavimo momentas dažnai buvo aiškiai matomas. Neretai atsakymo laikas sutrumpėdavo maždaug 50 %. Taip pat buvo pastebima mažesnių, apie 10 % skirtumų, pas kitus klientus, turėjusius nedaug pakeitimo taisyklių. Mūsų pačių svetainė tapo maždaug 30 % greitesnė (~50 ms).
Įdiegus „Prexy“, pastebėjome šiuos skirtumus mūsų bendroje infrastruktūroje.
33 % mažesnis RAM naudojimas
20 % mažesnis procesoriaus apkrovimas
10–50 % greitesni atsakymai
Apibendrinant galime teigti, kad „Prexy“ buvo sėkmingas projektas. Pakeitus pasenusį „NGINX“ modulį, dabar galime naudoti naujesnes ir efektyvesnes technologijas, kurios visiems mūsų klientams suteikia aiškiai matomą naudą. Ateityje taip pat toliau tobulinsime „Clonable“, tiek diegdami naujas funkcijas, tiek gerindami esamas.
Dėkojame, kad perskaitėte šį inžinerinį tinklaraštį. Praneškite mums, jei norėtumėte dažniau gauti tokio pobūdžio techninių įžvalgų apie mūsų produktą. Ar šis projektas jus visiškai sužavėjo? Tuomet apsilankykite mūsų darbo pasiūlymų puslapyje :)
Pradėkite naudotis „Clonable“ nemokamai jau šiandien
Sužinokite, kaip centralizuotai valdyti tarptautines svetaines iš vienos platformos.