Análise de sentimento em social media - DMIR - Inesc-ID

Silvio Amir samir@inesc-­‐id.pt REACTION Análise de Sen2mento em Social Media 1. 
2. 
3. 
4. 
Social Media Sen/ment Analysis Challenges Approaches –  Sen/ment Lexicon –  Rules –  Machine Learning 5.  Projects –  Sen/Bubbles –  Twitómetro –  POPSTAR REACTION Agenda REACTION Social Media reviews REACTION Social Media Sen2ment Analysis REACTION Social Media Sen2ment Analysis gauging society The field of study that analyzes people’s opinions, sen:ments, evalua:ons, appraisals, a<tudes, and emo:ons (…) Bing Liu REACTION Sen2ment Analysis objec:ve vs subjec:ve REACTION Sen2ment Analysis REACTION Sen2ment Analysis polarity Hoje é um daqueles dias em que tudo
corre mal :(
O novo iphone é lindo! A camera é
excelente e o ecrã é perfeito.
É incrível a irresponsabilidade orçamental
deste governo.
REACTION Sen2ment Analysis examples •  Some words are ambiguous •  Its hard to detect irony and sarcasm REACTION Challenges of Sen2ment Analysis •  Some words are ambiguous •  Its hard to detect irony and sarcasm O filme é imprevisível e assustador
Viva ao Passos Coelho! Menos
empregos mas mais “oportunidades”
REACTION Challenges of Sen2ment Analysis •  Some words are ambiguous •  Its hard to detect irony and sarcasm O filme é imprevisível e assustador
Viva ao Passos Coelho! Menos
empregos mas mais “oportunidades”
REACTION Challenges of Sen2ment Analysis REACTION Challenges of Social Media Mining REACTION Challenges of Social Media Mining 1. 
2. 
3. 
4. 
Social Media Sen/ment Analysis Challenges Approaches –  Sen/ment Lexicon –  Rules –  Machine Learning 5.  Projects –  Sen/Bubbles –  Twitómetro –  POPSTAR REACTION Agenda Hoje é um daqueles dias em que
tudo corre mal :(
O novo iphone é lindo! A camera é
excelente e o ecrã é perfeito.
É incrível a irresponsabilidade orçamental
deste governo.
REACTION Approaches REACTION Sen2ment Lexicon •  Lists of words with prior polarity –  Sen2Lex-­‐PT •  Easy to implement •  Very naïve REACTION Sen2ment Lexicon Hoje é um daqueles dias em que
tudo corre mal :(
O novo iphone é lindo! A camera é
excelente e o ecrã é perfeito.
É incrível a irresponsabilidade
orçamental deste governo.
REACTION Sen2ment Lexicon examples REACTION Sen2Bubbles http://reaction.fe.up.pt/sentibubbles/merkel/
REACTION Rules •  PaNerns •  Syntac/c clues •  More flexible REACTION Rules •  [copV] [um] Adj+ Adj-­‐ –  ... é um perfeito idiota ... •  Neg [copV] Adj-­‐ –  ... não é men:roso ... REACTION Rules PaFerns Syntac:c clues •  Smileys –  :) ;) :( •  Interjec2ons –  ...oh meu deus!! •  Internet Slang –  lol hahah omg wL •  Strong punctua2on –  !!!?!?! REACTION Rules Syntac:c clues •  Smileys –  :) ;) :( •  Interjec2ons –  ...oh meu deus!! •  Internet Slang –  lol hahah omg wL •  Strong punctua2on –  !!!?!?! REACTION Rules Syntac:c clues •  Smileys –  :) ;) :( •  Interjec2ons –  ...oh meu deus!! •  Internet Slang –  lol hahah omg wL •  Strong punctua2on –  !!!?!?! REACTION Rules Syntac:c clues •  Smileys –  :) ;) :( •  Interjec2ons –  ...oh meu deus!! •  Internet Slang –  lol hahah omg wL •  Strong punctua2on –  !!!?!?! REACTION Rules REACTION Twitómetro http://legislativas.sapo.pt/2011/twitometro/
Ver um líder autocrático como o Sócras a falar
de "diálogo entendimento e concertação"
causa-me náuseas.
É lamentável como o socrates vai
conseguir ganhar as eleições.... graças a
uma direita ridicula e sem ideias.
sendo Sócrates mais confiável e competente
dos politicos Portugueses que disputam a
liderança do novo governo...merece a maioria
absoluta!
REACTION Twitómetro examples Ver um líder autocrático como o Sócras a falar
de "diálogo entendimento e concertação"
causa-me náuseas.
REACTION Twitómetro examples É lamentável como o socrates vai
conseguir ganhar as eleições.... graças a
uma direita ridicula e sem ideias.
sendo Sócrates mais confiável e
competente dos politicos Portugueses que
disputam a liderança do novo
governo...merece a maioria absoluta!
Ver um líder autocrático como o Sócras a falar
de "diálogo entendimento e concertação"
causa-me náuseas.
REACTION Twitómetro examples É lamentável como o socrates vai
conseguir ganhar as eleições.... graças a
uma direita ridicula e sem ideias.
sendo Sócrates mais confiável e
competente dos politicos Portugueses que
disputam a liderança do novo
governo...merece a maioria absoluta!
•  Very heuris/c •  Impossible to cover all the cases! REACTION Rules REACTION Machine Learning •  State-­‐of-­‐the-­‐art •  Even more flexible! •  Black-­‐box REACTION Machine Learning •  Use labeled examples to train an automa/c classifier •  Learn how to generalize REACTION Machine Learning REACTION Machine Learning labeled data x2
negative examples
positive examples
x1
REACTION Machine Learning training x2
decision boundary
negative examples
positive examples
x1
REACTION Machine Learning classifica3on x2
new example
negative examples
new example
positive examples
x1
REACTION Machine Learning classifica3on x2
x1
models are approxima3ons x2
negative examples
positive examples
x1
REACTION Machine Learning REACTION Machine Learning reality is not linear! x2
x1
REACTION Machine Learning REACTION Machine Learning •  Describe the content in terms of their features REACTION Feature Engineering REACTION Feature Engineering 0 1 4.5 1 0 ... 2 2.3 3.2 -1
0 3 2.5 0 0 ... 3 2.3 2.1 1
3 0 9.2 2 3 ... 4 9.3 4.4 1
#smileys
#positive words
REACTION Feature Engineering REACTION POPSTAR http://www.popstar.pt
•  Sen/Lex-­‐PT •  Opinionizer REACTION Developed Resources REACTION Ques2ons ?