balaur.ro - cristian george strat

23

Upload: geekmeet

Post on 27-Jun-2015

1.095 views

Category:

Education


3 download

DESCRIPTION

GeekMeet #1, Bucuresti

TRANSCRIPT

Page 1: Balaur.ro - Cristian George Strat
Page 2: Balaur.ro - Cristian George Strat

EchipaMircea Silviu Cristian

Page 3: Balaur.ro - Cristian George Strat

Caută joburi

Page 4: Balaur.ro - Cristian George Strat

API & Widget

• API– Indexare– Căutare (folosit de jobincluj.ro si 1000eu.ro)

• Widget

Page 5: Balaur.ro - Cristian George Strat

Job trends

Page 6: Balaur.ro - Cristian George Strat

Bucuresti

Page 7: Balaur.ro - Cristian George Strat

Python vs Ruby

Page 8: Balaur.ro - Cristian George Strat

Tehnologii

Javascript

bash

Page 9: Balaur.ro - Cristian George Strat

Tehnologii backend

BeautifulSoup

Facebook Apache Thrift

Page 10: Balaur.ro - Cristian George Strat

Tehnologii Frontend

Google Vis. API

Page 11: Balaur.ro - Cristian George Strat

Alte tehnologii

routes

pycrypto

rsync

glade

Page 12: Balaur.ro - Cristian George Strat

Arhitectura

Page 13: Balaur.ro - Cristian George Strat

Indexing pipeline

...

URLsHTML

Thriftjobs

Page 14: Balaur.ro - Cristian George Strat

Data

• 60+ GB• No MySQL– Read-only– Secvential– Shard-uri Thrift– Bloom filters

Page 15: Balaur.ro - Cristian George Strat

Pipeline

• Bash rulează (Job-uri în paralel / secvențial)

Page 16: Balaur.ro - Cristian George Strat

Testing

• import unittest• Testing framework

Page 17: Balaur.ro - Cristian George Strat

Job Editor

glade

Page 18: Balaur.ro - Cristian George Strat

Logging

• 4 niveluri– DEBUG, INFO, WARN, ERROR

• Why?– Troubleshooting– Profiling– Goodies

Page 19: Balaur.ro - Cristian George Strat

Logging → Status

Page 20: Balaur.ro - Cristian George Strat

Xapian

• Pro– Scris în C/C++– API compact, mic– Foarte rapid la căutare– Imbunătățit activ

• Contra– Mai încet la indexare– Index mai mare (trends index ~4.5G)

Page 21: Balaur.ro - Cristian George Strat

[email protected]

• Relevanță custom• Custom spelling suggestions• Elimină duplicatele• Random shuffle

Page 22: Balaur.ro - Cristian George Strat

Show me the QPS

+ caching

Page 23: Balaur.ro - Cristian George Strat

Întrebări?http://balaur.ro/contact