17(/,(17$ &20387$7,21$/$ ,17(5$7$atm.neuro.pub.ro/radu_d/html/09_10/ici2009/curs_1.pdf1&6...

Radu DOGARU Ultima actualizare 2019

Curs Inteligenta ComputationalaIntegrata (ICI), an IVA- CTI Slide 1

……. INTELIGENTA COMPUTATIONALA .. INTEGRATA

Algoritmi si arhitecturi cu complexitate redusa si implicit usor integrabili in tehnologii (VLSI, FPGA, microcontrollere)

NATURAL COMPUTING

Arhitecturi + algoritmi – mimeaza inteligenta naturalaAplicatii:-Recunoastere biometrica-Recunoastere voce -Asistenti pentru persoane cu dizabilitati-Recunoastere de imagini - Dispozitive introducere date (semnaturi, scris etc.)- “Smart sensors”- Robotica …- Idei noi ??

“LOW POWER”vOICefor Android

“smart pen”

Rec. voce pt. medicinaIntelegere imagini -> conversie mesaje sonore

Integrare sw. (ex. KERAS/ Tensorflow)



Inteligența este facultatea de a descoperi proprietățile obiectelor și fenomenelor înconjurătoare, cât și a relațiilor dintre acestea, dublată de posibilitatea de a rezolva probleme noi.

Inteligența unui sistem nu este definită de modul în care este el alcătuit, ci prin modul în care se comportă.

STRUCTURA (ARHITECTURA)

Putem avea structuri supradimensionate (over-fitting) sau sub-dimensionate (under-fitting; acestea nu pot suporta o “inteligenta” prea evoluata

MEDIUL DE STIMULARE

CAPACIATATE DE GENERALIZARE

TRANSFER DE CUNOSTINTE

Necesitatea de INTEGRARE presupune optimizarea (reducerea complexitatii, adecvare la tehnologie) STRUCTURII (ARHITECTURII) si a algoritmului de invatare (TRANSFER DE CUNOSTINTE)



Organizare: Lab. Miercuri, sala B125B, fara pauza cu un test de 10’ la final - Nota in laborator 40p din 6 lucrari (6 p. max. fiecare lucrare + 4 din oficiu) -Nu avem colocviu de lab. Lucrarile se fac in sapt. 1+2,3+4,5+6,7+8,9+10,12+13- Saptamana 11 se “sare” (este 1 mai)

Din 2019 – parte din lucrarile de laborator (incepand cu L3) se vor efectuape platforma Kaggle (permite acces la resurse CPU/GPU suficient de puternice pentru a rula aplicatii computational intensive – accesul necesitacel mult un browser functional care poate rula inclusiv pe un sistem maivechi (XP) sau o tableta / telefon mobil.

Pentru aceasta va rugam sa va creati un cont propriu KaggleLucrarile de laborator (dar vom prezenta exemple si la curs) vor fidisponibile pe site-ul disciplinei in format Jupyter Notebook

Cunostinte minimale de Python pot fi utile

Kitul de laborator vechi este diponibil pe site (necesita Octave – open source) si va recomandam sa parcurgeti in avans lucrarea de laborator la care veti participa !



Cuantizare pentru implementare eficienta modele TF (tensorflow)

“State of the art” in integrarea sistemelor cu inteligenta computationala

Platforme FPGA pentru integrare eficienta (de ex. Conv. Neural Nets)




NCS2 este realtivieftin (400-500 lei) si este solutiaoptima pentru a integra o solutiede inteligentacomputationala in platforme “low-cost” “low-power”(gen Raspberry Pi)

Modelul estepreantrenat in Keras, Tensorflowetc..




TPU – Tensor Processing Unit – HW specializat disponibil pe platforme cloud Google (integrat in Tensorflow) – o solutie foarte eficienta pentru integraresoftware

Este accesibil (la costuri 0) peGoogle Colab.



DIFERITE SUBDOMENII ALE INTELIEGNTEI COMPUTATIONALE



http://design.open.ac.uk/ecidII/docs/Bitterman.pdf

ARTIFICIAL INTELLIGENCE VS. COMPUTATIONAL INTELLIGENCE

Se bazeaza pe reguli de inferenta (sisteme expert)

Desi a fost o mare speranta in anii ’60 –’70 nu a putut rezolva multe probleme practice

Se bazeaza pe codificarea si prelucrarea numerica (computing) a informatiei.

Arhitecturi computationale de inferenta: -Neurale - Fuzzy

…”Approaches based on Classical AI are inferior compared to approachesbased on CI regarding the treatment of most complexity issues in design.In particular this concerns dealing with vagueness, multi-objectivity andlarge amount of possible solutions. Therefore, application of classical AI islimited to problems that minimally involve these issues. As design tasksare generally characterized by these issues, application of the classical AIapproach for such tasks is questionable in general.”

Nota: In contextul exploziei de aplicatii presa a preluat sub denumirea “artificial intelligence”

domeniul stiintific computational intelligence



Retele neurale(cu o arhitectura specifica

realizataprin conectarea unui model

simplu de neuron

Intrare x(vector al caracteristicilor)

n - Nr. de intrari

Sisteme “Feed-forward” (fara bucla de reactie)Folosit în cele mai multe cazuri practice

d Iesirea dorita

Iesire(i)y

Algoritm de antrenare (un caz special pentru o problemă de optimizare)

Eroareae=d-y

Problema de invatat (ex. recunoastere de figuri) este o colectie de esantioane

numite set de antrenareFiecare esantion: (x,d) intrare – iesirea dorita

W Ponderile sinapticeajustabile in timpul antrenarii)

Neuro



Sisteme cu logica fuzzy

Arhitectura este definităastfel incat se poate cuantifica

folosind reguli"fuzzy" Sisteme expert ca:

IF temperatura (x) este mare THEN controlul caldurii (y) este mic

Intrare x(vector al caracteristicilor)

n Nr. de intrari

Sisteme “Feed-forward” cu logica fuzzy

Iesirea y

Algoritmul de antrenare nu mai este necesarDar există şi sistemele neuro-fuzzy unde antrenarea se face pentru un reglaj fin

Problema de invatat (ex. controlarea temperaturii) este o colecţie de reguli, exprimate ca mai sus

Nu este nevoie de antrenarea datelor – avantaj importantDar functioneaza numai pe baza cunostintelor umane care pot fi exprimate ca reguli

G parametri dati de expertul uman

Fuzzy



ARHITECTURA (STRUCTURA) PARAMETRI (G)

Capacitate repr. functionala

Intrare x

n intrari

Iesirea y

TRANSFER CUNOSTINTE

Mediul de stimulareCapacitate de generalizare

AGENT INTELIGENT

actiune

stimuli

PERFORMANTA

Agent INTELIGENT REAL (om)



Studiu de caz – optimizarea pentru integrare a arhitecturii



ALTA ABORDARE SIMILARA

Utilizarea unei precizii finite pentru reprezentarea parametrilor



Se pune problema optimizarii numarului efectiv de biti pentru reprezentarea parametrilor



r - parametru structural unic (poate fi optimizat relativ usor)



CU PRIVIRE LA PARAMETRI



LEGEA PARSIMONIEI - Aplicabila si in alte privinte

17(/,*(17$ &20387$7,21$/$ ,17(*5$7$atm.neuro.pub.ro/radu_d/html/09_10/ici2009/curs_1.pdf1&6...

Documents

17(/,(17$ &20387$7,21$/$ ,17(5$7$atm.neuro.pub.ro/radu_d/html/09_10/ici2009/curs_1.pdf1&6...