curs 9 - accelerarea accesului web · varnish administrare varnish concluzii ... i reverse proxy -...

Curs 9Accelerarea accesului web

Servicii avansate pentru ISP

9 mai 2017

SAISP Curs 9, Accelerarea accesului web 1/43

Outline

Nevoia de accelerare

Accelerarea web

Varnish

Administrare Varnish

Concluzii

Intrebari


Paradigma client-server

I Arhitectura distribuitaI Server

I furnizor de serviciiI Ex: web server, file server

I ClientI solicita servicii

I Se partajeaza procesarea ıntre cele 2 entitati

I Comunica peste o retea de calculatoare


Incarcarea pe server

I Factori

I numar de cereriI complexitatea de prelucrarea a cererilorI dimensiunea datelor transferateI interactiunea cu alte servicii ın cadrul unei cereri

I Componente afectateI CPU (numar de procese, tipul lor CPU - I/O bound)I memoriei (cantitatea de memorie folosita)I lat, ime de banda (numar de pachete, dimensiunea acestora)I I/O (ıncarcarea discului cu cereri)



I FactoriI numar de cereriI complexitatea de prelucrarea a cererilorI dimensiunea datelor transferateI interactiunea cu alte servicii ın cadrul unei cereri

I Componente afectate

I CPU (numar de procese, tipul lor CPU - I/O bound)I memoriei (cantitatea de memorie folosita)I lat, ime de banda (numar de pachete, dimensiunea acestora)I I/O (ıncarcarea discului cu cereri)



I FactoriI numar de cereriI complexitatea de prelucrarea a cererilorI dimensiunea datelor transferateI interactiunea cu alte servicii ın cadrul unei cereri

I Componente afectateI CPU (numar de procese, tipul lor CPU - I/O bound)I memoriei (cantitatea de memorie folosita)I lat, ime de banda (numar de pachete, dimensiunea acestora)I I/O (ıncarcarea discului cu cereri)


Solut, ii pentru reducerea ıncarcarii

I Load balancingI distribuire cereri pe mai multe servereI priority activationI asymmetric loadI ssl offloadingI remember: LVS

I LimitariI lat, ime de banda (priority queuing)I procesor (cgroups)I memorie

I ArhivareI trade-off (CPU vs. banda consumata)


Solut, ii de accelerare a accesului

I CachingI La ce anume putem face caching?

I CPU cacheI Disk buffer (datele de pe disc ın memorie)I Page cacheI Web cache (paginile web)I DNS cache (intrarile DNS)I P2P cache (similar cu Web cache)I Database cache


Outline


Accelerarea web

Varnish


Concluzii

Intrebari


Acceleratoare web - roluri

I Cresterea vitezei

I Securitate

I Alterarea traficului

I Caching

I Optimizare de cod (HTML, Javascript)

I Filtrare de reclame


Proxy

I Intermediator ıntre serviciu si client


Forward proxy

I Deseori referit doar cu proxy

I Asigura servicii de proxy unui grup de clientiI Se adreseaza ın general retelei interne (LAN)

I Exceptie:

anonimizare

I Din punct de vedere al serviciului accesat, adresa sursa estecea a proxy-ului


Forward proxy

I Deseori referit doar cu proxy

I Asigura servicii de proxy unui grup de clientiI Se adreseaza ın general retelei interne (LAN)

I Exceptie: anonimizare

I Din punct de vedere al serviciului accesat, adresa sursa estecea a proxy-ului


Forward proxy (2)


Reverse proxy

I Calculatoarele nu sunt singurele entitati dintr-un LAN

I servere (de obicei ın DMZ) accesate din exterior

I Nu se poate folosi solutia clasica de Forward proxyI directia traficului este exact invers (Reverse proxy)

I Accepta cereri din exterior ın numele serverelor

I Ascunde identitatea sau chiar existenta unui server

I Balansarea cererilor catre serverele disponibile


Reverse proxy

I Calculatoarele nu sunt singurele entitati dintr-un LANI servere (de obicei ın DMZ) accesate din exterior

I Nu se poate folosi solutia clasica de Forward proxy

I directia traficului este exact invers (Reverse proxy)





Reverse proxy

I Calculatoarele nu sunt singurele entitati dintr-un LANI servere (de obicei ın DMZ) accesate din exterior

I Nu se poate folosi solutia clasica de Forward proxyI directia traficului este exact invers (Reverse proxy)





Reverse proxy (2)


Forward proxy vs. Reverse proxy

I Forward proxyI intermediaza traficul ın numele clientilorI ascunde identitatea clientilor

I Reverse proxyI intermediaza traficul ın numele serverelorI ascunde identitatea serverelor


Alte beneficii ale unui proxy

I Monitorizare si filtrarea traficului

I Accesarea anonima a serviciilor

I Imbunatatirea perfomantelor (caching)

I Compresia datelor trimise ın InternetI Single point of access

I mai usor de a aplica politicile de securitate


Ce este un accelerator web?

I Reverse-proxy ce asigura

I cachingI load balancingI securitatea datelorI accounting



I Reverse-proxy ce asiguraI caching

I load balancingI securitatea datelorI accounting



I Reverse-proxy ce asiguraI cachingI load balancing

I securitatea datelorI accounting



I Reverse-proxy ce asiguraI cachingI load balancingI securitatea datelor

I accounting



I Reverse-proxy ce asiguraI cachingI load balancingI securitatea datelorI accounting


Exemple de proxy

I Squid - proxy (forward proxy)

I Cel mai utilizat ın ziua de azi

I Multi utilizatori ıl folosesc fara sa stie acest lucru

I Functionalitate de proxy transparent (iptables mangle + Squidinternal configs)


Exemple de reverse proxy

I Reverse proxy - Apache

I Implementat ın module: mod_proxy, mod_cache

I Activat folosind directiva ProxyPass

I Poate juca rolul si de forward proxy folosind directivaProxyRequests

I Nu este recomandat sa se foloseasca forward proxy peacelasi server Apache ce are activ si reverse proxy. De ce?

I clientii pot genera trafic malitios folosind forward proxyI se ajunge la blocarea adresei IP care este folosita si pentru

reverse proxyI rezulta innacesibilitatea serviciilor oferite pe aceeasi adresa IP








I clientii pot genera trafic malitios folosind forward proxy

I se ajunge la blocarea adresei IP care este folosita si pentrureverse proxy

I rezulta innacesibilitatea serviciilor oferite pe aceeasi adresa IP









reverse proxy

I rezulta innacesibilitatea serviciilor oferite pe aceeasi adresa IP









reverse proxyI rezulta innacesibilitatea serviciilor oferite pe aceeasi adresa IP


Exemple de acceleratoarea web

I VarnishI JSCAPE MFT Gateway

I load balancerI reverse proxyI NU e grauit

I DrupalI reverse proxy cacheI versiunea 7I NU e gratuit


Exemple de acceleratoarea web (2)

I Akamai Web Application AcceleratorI lider de piataI solutie complexa vanduta ca un serviciuI se folosesc servere AkamaiI asigura replicare locala (la nivel de continent/tara/oras)I este practic un CDN (Content Delivery Network)

I Ce este un CDN?

I retea de dimensiuni mariI distribuita pe tot globulI asigura disponibilitate ridicataI asigura performanta ridicataI de obicei folosit de companiile media pentru a face streaming

(ex: televiziuni)


Exemple de acceleratoarea web (2)

I Akamai Web Application AcceleratorI lider de piataI solutie complexa vanduta ca un serviciuI se folosesc servere AkamaiI asigura replicare locala (la nivel de continent/tara/oras)I este practic un CDN (Content Delivery Network)

I Ce este un CDN?I retea de dimensiuni mariI distribuita pe tot globulI asigura disponibilitate ridicataI asigura performanta ridicataI de obicei folosit de companiile media pentru a face streaming

(ex: televiziuni)


Outline


Accelerarea web

Varnish


Concluzii

Intrebari


Scurt istoric

I Initiat ın 2005 de divizia online a unui ziar tabloid norvegian(Verdens Gans)

I Varnish Cache 1.0 lansat ın septembrie 2006

I Open-source, sub licenta FreeBSD

I Suport comercial la cerereI Varnish Governance Board (VGB)

I 3 persoaneI arhitect Poul-Henning Kamp (binecunosct developer ın

comunitatea FreeBSD)

I Versiunea 2.0 a fost lansata ın 2008, 3.0 ın 2011

I Versiunea 4.0 pe 29 Aprilie 2014 (Release party:)).


Beneficii ale utilizarii Varnish

I Accelerator Web

I Bazat numai pe protocolul HTTP

I Reducerea contention-ului ıntre thread-uri

I Load balancing (round-robin sau random director)

I Compresie/decompresie a datelor

I Caching ın memorie al fisierelor

I Speed-up 300x-1000x depinzand de arhitectura


Principii de design

I Solve real problemsI performantaI flexibilitate

I Optimize for modern hardwareI 64-bit, multi-coreI 32-bit, limitat la 3GB de memorie virtuala

I Work with the kernel, not against itI kernelul decide cand sa faca swappingI foloseste cat mai multe facilitati oferite de kernel (epoll,

kqueue)


Detalii interne

I Memory cachingI nu tine cont daca datele se afla ın memorie sau swapI rezerva o sectiune suficient de mare de memorie (virtuala)I ramane la latitudinea sistemului de operare unde va tine datele

(pe disc sau ın memorie)

I VCL - Varnish Configuration LanguageI translatat ın cod CI compilat si linkat dinamic la runtime de VarnishI asigura flexibilitate ridicataI nu e nevoie ca administratorul sa stie detalii de implementare

ale VarnishI permite inserarea de cod C nativ prin VCL


Detalii interne (2)

I ThreadedI scaleaza aproape proportional cu numarul de procesoare

disponibil

I Object cachingI Obiecte stocate ın hash-uriI Hashing-ul poate fi controlat prin modificarea algoritmului

folosit de VarnishI Mai multe obiect pot avea aceeasi cheie


Outline


Accelerarea web

Varnish


Concluzii

Intrebari


Mediul de lucru

I Server-e WebI orice server ce foloseste protocolul HTTPI independent de serverul Web folosit

I Varnish ServerI se ofera pachete pentru RedHat/CentOS/Debian/UbuntuI pentru Debian-based: sudo apt-get install varnish


Comenzi de interactiune cu Varnish

I service varnish restartI repornirea procesului

I service varnish reloadI recitirea scripturilor VCLI cache-ul nu este afectat

I varnishadm param.set ...I configurarea parametrilor fara a reseta serviciul

I varnishadm param.show ...I afisarea parametrilor


Fis, iere de configurare Varnish

I /etc/default/varnishI configurarea parametrilor liniei de comanda cu care va porni

VarnishI configurarea altor parametri interni VarnishI o data cu modificarea acestui fisier trebuie sa resetati serviciul

I /etc/varnish/default.vclI locatia/numele acestuia poate fi modificat ın

/etc/default/varnishI contine definitia backend-server (cel de la care preia contentul

- ex: Apache server)


Exemplu de configurare de baza

I /etc/default/varnish

1 NFILES=131072

2 MEMLOCK=82000

3 INSTANCE=$(uname -n)

4 DAEMON OPTS="-a :80 \5 -T localhost:1234 \6 -f /etc/varnish/default.vcl \7 -s malloc,256m"

I /etc/varnish/default.vcl1 backend default {2 .host = "localhost";

3 .port = "8080";

4 }


Logging s, i statistici

I Log data in real-time

I Foloseste shared-memory (nu face logging pe disc!)

I varnishlogI accesarea datelor specifice unui request

I varnishstatI vizualizarea counter-elor globaleI numar de cereri, numar de obiecte stocare

I varnishncsaI log-uri ın format Apache

I se poate modifica comportamentul implicit de scriere ınmemorie din /etc/default/varnishlog


Logging s, i statistici

I Log data in real-time

I Foloseste shared-memory (nu face logging pe disc!)I varnishlog

I accesarea datelor specifice unui request

I varnishstatI vizualizarea counter-elor globaleI numar de cereri, numar de obiecte stocare

I varnishncsaI log-uri ın format Apache

I se poate modifica comportamentul implicit de scriere ınmemorie din /etc/default/varnishlog


varnishlog output

1 97 ReqStart c 10.1.0.10 50866 117511506

2 97 RxRequest c GET

3 97 RxURL c /style.css

4 97 RxProtocol c HTTP/1.1

5 97 RxHeader c Host: www.example.com

6 97 VCL call c recv lookup

7 97 VCL call c hash hash

8 97 Hit c 117505004

9 97 VCL call c hit deliver

10 97 Length c 3218

11 97 VCL call c deliver deliver

12 97 TxProtocol c HTTP/1.1

13 97 TxStatus c 200

14 97 TxResponse c OK

15 97 TxHeader c Content-Length: 3218

16 97 TxHeader c Date: Sat, 22 Aug 2008 01:10:10 GMT

17 97 TxHeader c X-Varnish: 117511501 117505004

18


varnishstat output

1 0+00:44:50 foobar

2 Hitrate ratio: 10 100 175

3 Hitrate avg: 0.9507 0.9530 0.9532

4

5 574660 241.00 213.63 Client connections accepted

6 2525317 937.00 938.78 Client requests received

7 2478794 931.00 921.48 Cache hits

8 7723 3.00 2.87 Cache hits for pass9 140055 36.00 52.07 Cache misses

10 47974 12.00 17.83 Backend conn. success

11 109526 31.00 40.72 Backend conn. reuses

12 46676 5.00 17.35 Backend conn. was closed

13 156211 41.00 58.07 Backend conn. recycles

14 110500 34.00 41.08 Fetch with Length

15 46519 6.00 17.29 Fetch chunked

16


VCL - masina de stari


VCL - vcl recv

1 sub vcl recv {2 if (req.restarts == 0) {3 if (req.http.x-forwarded-for) {4 set req.http.X-Forwarded-For =

5 req.http.X-Forwarded-For + ", " + client.ip;

6 } else {7 set req.http.X-Forwarded-For = client.ip;

8 }9 }

10 if (req.request != "GET" &&

11 ...

12 req.request != "DELETE") {13 /* Non-RFC2616 or CONNECT which is weird. */

14 return (pipe);

15 }16 if (req.request != "GET" && req.request != "HEAD") {17 /* We only deal with GET and HEAD by default */

18 return (pass);

19 }20 if (req.http.Authorization || req.http.Cookie) {21 /* Not cacheable by default */

22 return (pass);

23 }24 return (lookup);

25 }


VCL - functii

I regsub(str, regex, sub)

I regsuball(str, regex, sub)

I ban_url(regex)

I ban(expression)

I purge;

I return(restart)

I return()

I hash_data()


Load-balancing

I Declaram mai multe backend-uri ın/etc/varnish/default.vcl

I Cream un director ın care setam ca membri backend-urilecreate

I 2 tipuri de director: round-robin, random

I modificam vcl recv pentru a seta noul director/backend

1 director baz round-robin {2 {3 .backend = foo;

4 }5 {6 .backend = bar;

7 }8 }9

10 sub vcl recv {11 if (req.http.host ∼ "^(www.)?mysite.com$") {12 set req.backend = baz;

13 }14 }


Load-balancing folosind atribute

I Folosim atributele primite de la client pentru a faceload-balancing

I Atribute: adresa IP, header-ul HTTP, URL-ul1 director baz client {2 {3 .backend = foo;

4 .weight = 1;

5 }6 {7 .backend = bar;

8 .weight = 1;

9 }10 }11

12 sub vcl recv {13 set req.backend = baz;

14 /* Load balance by URL */

15 set client.identity = req.url;

16 /* Load balance by client IP, this is the default */

17 set client.identity = client.ip;

18 /* Load balance by user agent */

19 set client.identity = req.http.user-agent;

20 }


Outline


Accelerarea web

Varnish


Concluzii

Intrebari


Cuvinte cheie

I accelerare

I client-server

I reducerea ıncarcarii

I proxy

I forward proxy

I reverse proxy

I Squid

I Varnish

I memory caching

I VCL

I accelerarea web

I load balacing


Link-uri utile

I http://en.wikipedia.org/wiki/Scalability

I http://en.wikipedia.org/wiki/Load_balancing_(computing)

I http://en.wikipedia.org/wiki/Web_accelerator

I http://en.wikipedia.org/wiki/Proxy_server

I http://en.wikipedia.org/wiki/Reverse_proxy

I http://www.jscape.com/blog/bid/87783/

Forward-Proxy-vs-Reverse-Proxy

I http://httpd.apache.org/docs/2.0/mod/mod_proxy.html#

forwardreverse

I http://wiki.squid-cache.org/SpoonFeeding

I http://www.squid-cache.org/Intro/

I https://www.varnish-software.com/static/book/

I http://www.akamai.com/html/solutions/web_application_

accelerator.html

I https://drupal.org/node/1046922


http://en.wikipedia.org/wiki/Scalability

http://en.wikipedia.org/wiki/Load_balancing_(computing)

http://en.wikipedia.org/wiki/Web_accelerator

http://en.wikipedia.org/wiki/Proxy_server

http://en.wikipedia.org/wiki/Reverse_proxy

http://www.jscape.com/blog/bid/87783/Forward-Proxy-vs-Reverse-Proxy

http://www.jscape.com/blog/bid/87783/Forward-Proxy-vs-Reverse-Proxy

http://httpd.apache.org/docs/2.0/mod/mod_proxy.html#forwardreverse

http://httpd.apache.org/docs/2.0/mod/mod_proxy.html#forwardreverse

http://wiki.squid-cache.org/SpoonFeeding

http://www.squid-cache.org/Intro/

https://www.varnish-software.com/static/book/

http://www.akamai.com/html/solutions/web_application_accelerator.html

http://www.akamai.com/html/solutions/web_application_accelerator.html

https://drupal.org/node/1046922

Outline


Accelerarea web

Varnish


Concluzii

Intrebari


curs 9 - accelerarea accesului web · varnish administrare varnish concluzii ... i reverse proxy -...

Documents