Download - MANIPULATOARE SI ROBOTI INDUSTRIALI
ROBOTI INDUSTRIALI 1
Comunicarea prin voce
• Metodele uzuale de introducere a datelor, sau
de programare a RI, sunt greoaie, necesita
operatori specializati, dureaza timp indelungat si
determina cresterea gabaritului terminalului.
• Robotii din ultima generatie sunt dotati cu
sisteme de comunicare in limbaj natural.
ROBOTI INDUSTRIALI 2
Principiul comunicarii prin
voce
Receptorul
(Emitatorul)
robotuluiCanal de
transmitere
Sursa de
informatii
ROBOTI INDUSTRIALI 3
Sursa de informatii = om - prelucreaza informatiile,
elaboreaza mesajul si il transmite verbal
Canalul de transmitere = spatiul aerian om-robot
Receptor = dispozitiv sau organ care capteaza oscilatiile
acustice, realizeaza decodificarea si transmite mesajul
calculatorului robotului, respectiv sistemului nervos.
Emitator (codificator) = dispozitiv sau organ fonator
care transforma mesajul sistemului de comanda al
robotului, respectiv impulsurile nervoase ale cortexului
uman, in oscilatii acustice (vorbire).
ROBOTI INDUSTRIALI 4
Avantajele comunicarii directe
• Eliminarea terminalelor de comanda
complicate
• Se estimeaza ca timpul de transmitere al
informatiei pe cale verbala se reduce la jumatate
fata de alte tipuri de transmitere a informatiei.
ROBOTI INDUSTRIALI 5
Caracteristicile semnalului
vocal
1. Continuitatea – nu exista separare intre cuvintele
sau silabele succesive.
2. Variabilitatea – pentru un continut fonetic egal,
semnalul sonor contine particularitati legate de
individ sau situatie.
3. Codarea – face referire la prelucrarea prealabila din
punct de vedere fonetic, semantic si lexical.
ROBOTI INDUSTRIALI 6
Fonemul
Este cea mai mica unitate fonica din componenta cuvintelor.
Fonemele reprezinta surse temporale care se utilizeaza la analiza
spectrului vocal.
Consoanele din structura cuvintelor se
caracterizeaza printr-o variatie
nerepetabila a semnalului in timp.Consoana ‘t’
Vocalele sunt semnale nesinusoidale
care se repeta atata timp cat sunt
pronuntate.
Vocala ‘a’ Vocala ‘e’
ROBOTI INDUSTRIALI 7
Vorbirea in robotica
Recunoasterea
vorbiriiSinteza vorbirii
ROBOTI INDUSTRIALI 8
Sinteza vorbirii
Procesul prin care un robot raspunde intr-un limbaj inteligibil
pentru om. Acesta poate fi inteles si de catre un alt robot.
Metode in sinteza vorbirii:
• Utilizarea unor mesaje cu voce umana inregistrate anterior;
• Utilizarea cuvintelor digitizate preluate din vorbirea umana;
• Utilizarea circuitelor integrate fonice.
ROBOTI INDUSTRIALI 9
Exemplu
ROBOTI INDUSTRIALI 10
Utilizarea vocii umane
preinregistrate
La inceput s-a utilizat inregistrarea vocii umane pe
banda magnetica.
Primele servicii telefonice anuntand ora utilizau vocea
umana preinregistrata.
? – Mesajele inregistrate trebuie sa anticipeze posibilele
raspunsuri ce ar trebui oferite de robot.
ROBOTI INDUSTRIALI 11
Utilizare cuvinte digitizate
Un sistem care utilizeaza
vocea umana digitizata are
avantajul de a stoca
sunetele in memoria
calculatorului ca orice alta
informatie numerica.
R2D2
ROBOTI INDUSTRIALI 12
Conversii TEXT -> VORBIRE
www.nch.com.au/verbose/index.html
ROBOTI INDUSTRIALI 13
Conversii TEXT -> VORBIRE
www.nch.com.au/verbose/index.html
ROBOTI INDUSTRIALI 14
Conversii TEXT -> VORBIRE
www.nch.com.au/verbose/index.html
ROBOTI INDUSTRIALI 15
Conversii TEXT -> VORBIRE
www.nch.com.au/verbose/index.html
ROBOTI INDUSTRIALI 16
Exemplu - Digitalker
National Semiconductor
– sistem de digitizare a
vocii umane Digitalker -
utilizeaza 3-5 circuite
integrate speciale si alte
cateva pentru selectia
adreselor si amplificare
audio.
ROBOTI INDUSTRIALI 17
Exemplu - Digitalker
ROBOTI INDUSTRIALI 18
Exemplu - Digitalker
ROBOTI INDUSTRIALI 19
Utilizare circuite integrate
fonice
• Metoda simpla de sinteza a vorbirii.
• Un circuit integrat fonic utilizeaza fonemii pentru a
produce vorbirea.
• De exemplu pentru Limba Engleza un circuit fonic
include 5 pauze cu durate diferite si 59 de fonemi ( cum
ar fi "OY" in cuvantul „boy‟ sau "AY" in cuvantul
„sky‟).
ROBOTI INDUSTRIALI 20
Exemplu – circuit CTS256A-AL2 IC
Sinteza vorbirii
se realizeaza
prin trimiterea
unor caractere
ASCII
circuitului.
ROBOTI INDUSTRIALI 21
Exemplu
– circuit CTS256A-AL2 IC
ROBOTI INDUSTRIALI 22
Sinteza vorbirii – in concluzie
Sintetizoarele formantice – reproduc sub forma numerica
principiul de functionare al organului fonatoriu uman.
In locul cavitatii organului fonatoriu uman se utilizeaza un set
de filtre digitale inseriate, cu frecventa centrala si banda de
trecere comandate. Semnalele sunt sumate de catre blocul
sumator S.
ROBOTI INDUSTRIALI 23
Sinteza vorbirii – in concluzie
Generator
Generator
F1 F2 F3
FC1
FC2
FC3
Bloc
sumator
fonemi
filtre
Semnalele sunt sumate intr-un bloc sumator. Pentru sinteza
vocalelor se utilizeaza un set de filtre cu frecvente de 300-5100 Hz
ROBOTI INDUSTRIALI 24
Sintetizorul de voce
Memorie μP registreSintetizor
filtru
digital
Convertor
N/A
Amplif.
difuzor
Baze de
timp
- formele de unda corespunzatoare datelor se emit din
memoria μP catre convertorul N/A. Semnalul este
amplificat si convertit in sunet.
- un astfel de sintetizor necesita o memorie de 0.5-
4kb pentru a realiza vorbirea pe durata unei secunde.
ROBOTI INDUSTRIALI 25
Exemplu -Voice Extreme™
Development Board
http://www.generation5.org/content/2003/vekit.asp
ROBOTI INDUSTRIALI 26
VE module
http://www.generation5.org/content/2003/vekit.asp
ROBOTI INDUSTRIALI 27
Recunoasterea vorbirii
Intelegerea vorbirii
Recunoasterea vorbirii Intelegere cuvinte
Incercarea de a recunoaste ca o
anumita serie de sunete reprezinta
anumite cuvinte.
Intelegerea relatiilor intre diferite
cuvinte.
Oamenii sunt capabili sa inteleaga chiar si cand au auzit in jur de
50% din cuvinte.
ROBOTI INDUSTRIALI 28
Probleme
Procent redus in
recunoasterea vorbirii (Lb.
Engleza) datorita
multitudinii de omonime
(cuvinte ce suna aproape
identic dar au intelesuri
diferite).
ROBOTI INDUSTRIALI 29
Omonimie pe grupuri de
cuvinte
ROBOTI INDUSTRIALI 30
Recunoasterea vorbirii
Subsistem de
analiza
Subsistem de
comparare Memorie
Afisare
rezultate
Subsistem de
invatare
Este o problema de recunoastere a formelor si cuprinde un sistem de
analiza format din microfon, analizor spectral si bloc de decizie.
ROBOTI INDUSTRIALI 31
Recunoasterea vorbirii
Presupune determinarea parametrilor specifici ai unui cuvant si
compararea acestora cu parametrii memorati in faza de invatare.
Compararea ia in considerare abaterea datorata nepronuntatii identice
a cuvantului, chiar de catre o aceeasi entitate.
Sistemele de analiza si recunoastere a vorbirii efectueaza studiul
semnalului sonor convertit in semnal electric, in domeniul frecventei
si in domeniul timp. Pentru ca semnalul furnizat de microfon si
amplificat sa nu depinda de nivelul sonor sau de distanta dintre
vorbitor si microfon, amplificatorul trebuie sa aiba un reglaj automat
al amplificarii pentru o gama larga a semnalului de intrare.
ROBOTI INDUSTRIALI 32
Analiza in domeniul frecventei
Sistemele de analiza in domeniul frecventei se numesc
VOCODERE si se bazeaza pe posibilitatea descompunerii
semnalelor periodice intr-o suma de semnale sinusoidale de
amplitudini si faze diferite si cu frecvente in progresie aritmetica.
Microfon Amplif.
FTB
FTB
FTB
Decodificare
Semnalizare
detectieFiltre trece
banda
ROBOTI INDUSTRIALI 33
Vocoderul
Microfon Amplif.
FTB
FTB
FTB
Decodificare
Semnalizare
Lantul sistemului cuprinde microfon, amplificator, filtre analogice
trece banda, cuplate in paralel si urmate fiecare de catre un circuit
detector pentru determinarea amplitudinii medii si a valorii de varf
pe fiecare banda de frecventa.
ROBOTI INDUSTRIALI 34
Vocoderul
Microfon Amplif.
FTB
FTB
FTB
Decodificare
Semnalizare
Nivelurile de tensiune detectate se aplica unui bloc decodificator
care ataseaza fiecarui fonem cate un semnal specific.
Fonemul este analizat atunci cand nivelurile semnalelor de la iesirile
detectoarelor corespund nivelurilor de tensiune memorate pentru
respectivul fonem.
ROBOTI INDUSTRIALI 35
Vocoderul
Microfon Amplif.
FTB
FTB
FTB
Decodificare
Semnalizare
Pentru cresterea preciziei, in afara analizei in domeniul frecventei se
mai determina frecventa fundamentala, centrul de greutate al
frecventelor si formatii de vocale. Se folosesc in acest scop tehnici
de programare dinamica.
ROBOTI INDUSTRIALI 36
Analiza in domeniul timp
Se realizeaza prin esantionarea cuvantului in
transe de durate egale si codare dupa parametrul
determinant al fiecarui esantion.
Pentru fiecare esantion se determina numarul de
treceri prin zero ale semnalului si derivatelor I si
II si se compara cu informatiile similare stocate
in memoria sistemului.
ROBOTI INDUSTRIALI 37
Sistem recunoastere cuvinte
A
Subsistem
de invatare
Subsistem de
analiza in
frecventa
Subsistem
detectie treceri
prin zero
Subsistem
analiza
amplitudine-
timp
Microfon
Magis
trala
date
Magis
trala
de
ad
rese
PROM
PROM
μP
RAM
ROBOTI INDUSTRIALI 38
Sistem recunoastere cuvinte
Sistemele pentru analiza si intelegerea vorbirii formate din
propozitii si fraze necesita analiza fonetica, lexicala, sintactica si
semantica.
Analiza fonetica – consta in obtinerea unui mesaj vocal divizat in
timp astfel incat fiecare element este imaginea unui fonem.
Fiecarui interval de timp i se atribuie o valoare codificata
(consoana, vocala, interval).
Analiza lexicala – realizeaza recunoasterea unui cuvant dintr-o
fraza sau dintr-un grup de cuvinte.
ROBOTI INDUSTRIALI 39
Sistem recunoastere cuvinte
Analiza sintactica – analiza structurii frazei
Analiza semantica – studiaza semnificatia cuvintelor. Este
utilizata atunci cand analiza sintactica nu este suficienta pentru
intelegerea unor cuvinte sau propozitii.
Din punct de vedere semantic cuvintele au atasate pentru
identificare o serie de markeri de forma, culoare, natura.
Analiza semantica permite cunoasterea mediului inconjurator pe
baza relatiilor dintre obiecte si descrierea starii efectorului in
raport cu aceste obiecte (apucat, eliberat, cuplat etc.)
ROBOTI INDUSTRIALI 40
Exemplu
In cazul utilizarii acestor doua
cuvinte in comenzi diferentierea
intre ele se poate realiza prin
detectarea momentului trecerilor
prin zero.
ROBOTI INDUSTRIALI 41
ROBOTI INDUSTRIALI 42
Tipuri de comenzi pentru roboti
ROBOTI INDUSTRIALI 43
Tipuri de comenzi pentru roboti
ROBOTI INDUSTRIALI 44
Vocabularul robotului!!! – trebuie sa fie cat mai redus posibil pentru o aplicatie, iar
cuvintele cat mai diferite.
Cuvintele Up, Down, Left si Right nu sunt chiar atat de diferite pe cat
ne-am dori pentru un sistem fiabil d.p.d.v al recunoasterii vorbirii.
ROBOTI INDUSTRIALI 45
Problema - asigurare fiabilitate in
recunoasterea cuvintelor !!!
ROBOTI INDUSTRIALI 46
Concluzii
• Comunicarea prin voce poate conduce la o
utilizare mai usoara si mai sigura a robotilor.
• Intelegerea limbajului natural implica
constructia unor masini sau roboti capabile sa
“auda”.
• Tipurile de sisteme de recunoastere a vorbirii
includ sisteme dependente de vorbitor sau
independente (capabile a intelege orice vorbitor).
Aplicatie – comanda prin
voce a unui robot
ROBOTI INDUSTRIALI 47
Sinteza voce difuzorComanda operator uman
Kit recunoastere voce VR
stamp
ROBOTI INDUSTRIALI 48
Arhitectura microcontroller-ului RSC-4128
- procesor de semnal pe 8 biţi, 128 KB memorie ROM, ADC
pe 16 biţi, DAC pe 10 biţi, ieşire PWM pentru speaker, pre-
amplificator pentru microfon, 5 timere programabile, 24 de
pini ce pot fi configuraţi atât ca intrări cât şi ca ieşiri
Conectare
ROBOTI INDUSTRIALI 49
Kitul de recunoaştere voce VR Stamp
Pini de iesire
20,21,22,23
Pini de intrare ai
portului T
24-PT0,
25- PT1
26-PT2,
27- PT3
Conectare
ROBOTI INDUSTRIALI 50
COMANDA CODUL IN BINAR CODUL IN HEX
START 0000 0001 0 x 01
STOP 0000 1000 0 x 08
FORWARD 0000 0010 0 x 02
BACK 0000 0100 0 x 04
GREEN 0000 0011 0 x 03
RED 0000 1001 0 x 09
Comenzile trimise de kit-ul VR Stamp microcontroller-ului Mc9S12E128
Programare KIT VR
ROBOTI INDUSTRIALI 51
Integreaza tehnologia FluentChipTM capabilă să implementeze
recunoaşterea vorbirii bazată pe Modelul Markov Ascuns şi Reţele
Neuronale în familia de microcontrollere RSC-4x produse de firma
Sensory.
Realizare aplicatie
ROBOTI INDUSTRIALI 52
Quick T2SI-LiteTM
– prin intermediul
căruia se defineşte
prin text
vocabularul de
recunoscut şi
modele gramaticale
şi acustice ale
cuvintelor;
Realizare aplicatie
ROBOTI INDUSTRIALI 53
In submeniul
„Prompts” se
asigneaza cate un
raspuns fiecarei
comenzi (fisiere wav
(fie luate gata facute
fie inregistrate). Pentru
a inregistra
raspunsurile s-a folosit
programul „Audicity”.
Realizare aplicatie
ROBOTI INDUSTRIALI 54
In submeniul „Tuning”
se poate lucra la
finetea descrierii
fonetice.
Realizare aplicatie
ROBOTI INDUSTRIALI 55
QuickSynthesisTM 4 –
comprima fişierele
audio ce conţin cuvinte
înregistrate, pentru a
ocupa un loc cât mai
mic în memoria
microcontroller-ului
(selectie metode de
compresie SXL-2400
biti/s; … SXH-9000
biti/s);
Pentru redarea fisierelor audio se folosesc functiile din biblioteca
fluentChip-ului SxTalk si PlaySnd(_SxTalk si _PlaySnd pentru
programele in C)
QS4
ROBOTI INDUSTRIALI 56
Cand un proiect QS4 este compilat se creaza 4 fisiere:
<numele proiectului>.mca: cod sursa in limbaj de asamblare
referitor la datele modulului de sunet
<numele proiectului>.mco iesirea asamblorului, modul cu
datele de sunet linkeditabil
<numele_proiectului>.inc fisier de tip include in limbaj
de asamblare, defineste etichetele pentru sunete individuale
<numele_proiectului>.h fisier header in C, defineste
etichete pentru diferite sunete
Realizare program final
ROBOTI INDUSTRIALI 57
Pyton IDE: program de creare proiecte, compilare, asamblare si
linkeditare (reunire fisiere create cu programele Quick T2SI si QS4
Sensory Loader
4 – prin
intermediul
acestui program
se pot incarca in
microcontroller
fişierele .hex sau
.bin obţinute în
urma compilării.