Mineração de dados:

Twitter - Big Data

Possibilidades e Consequências

Lincoln de Macêdo demacdolincoln@gmail.com

Parte 1

Programação

O que usaremos:

import tweepy, networkx, numpy
import matplotlib.pyplot as plt

credenciais:

acesse: https://apps.twitter.com/

confs = {
  "consumer_key"        : "",
  "consumer_secret"     : "",
  "access_token"        : "",
  "access_token_secret" : ""
}

login

auth = tweepy.OAuthHandler(confs["consumer_key"], confs["consumer_secret"])
auth.set_access_token(confs["access_token"], confs["access_token_secret"])
twitter = tweepy.API(auth)

Parte 2

Visualizando dados

Toda rede é um GRAFO

graph = networkx.Graph()
graph.add_nodes_from(list(range(20)))
randint = numpy.random.randint
for i in range(50):
    graph.add_edge(randint(20), randint(20))
networkx.draw(graph)

Alcance de um tweet

rts = twitter.retweets("985205611464986624", count=150)
print(rts[0].text)

RT @vagasVTNC: VEM, GENTE!

Batalha de Benefícios ARROMBADOS
https://t.co/y9iI94jLCR https://t.co/4i9yDtMJmv

graph_rt = networkx.Graph(); r = list(range(len(rts))) ; tw = len(r) + 1
graph_rt.add_edges_from([(tw, i) for i in r])
labels = {key: i.author.followers_count for key, i in enumerate(rts)}; labels[tw] = "origem"
nc = networkx.draw(graph_rt, labels=labels, node_size=1700, node_color=graph_rt.node, cmap=plt.cm.autumn)
plt.title("potencial total: {0}".format(numpy.sum([i.author.followers_count for i in rts])));

Quantas informações podemos coletar?

• data
• hora
• geolocalização
• processamento de linguagem natural
• ...

rts[-1].entities

{'hashtags': [],
 'symbols': [],
 'user_mentions': [{'screen_name': 'vagasVTNC',
   'name': 'Vagas Arrombadas',
   'id': 900548047821733894,
   'id_str': '900548047821733894',
   'indices': [3, 13]}],
 'urls': [{'url': 'https://t.co/y9iI94jLCR',
   'expanded_url': 'http://batalhaarrombada.ga',
   'display_url': 'batalhaarrombada.ga',
   'indices': [61, 84]}],
 'media': [{'id': 985205393906335750,
   'id_str': '985205393906335750',
   'indices': [85, 108],
   'media_url': 'http://pbs.twimg.com/media/DawnFf6WAAYGfCq.jpg',
   'media_url_https': 'https://pbs.twimg.com/media/DawnFf6WAAYGfCq.jpg',
   'url': 'https://t.co/4i9yDtMJmv',
   'display_url': 'pic.twitter.com/4i9yDtMJmv',
   'expanded_url': 'https://twitter.com/vagasVTNC/status/985205611464986624/photo/1',
   'type': 'photo',
   'sizes': {'large': {'w': 1254, 'h': 971, 'resize': 'fit'},
    'thumb': {'w': 150, 'h': 150, 'resize': 'crop'},
    'medium': {'w': 1200, 'h': 929, 'resize': 'fit'},
    'small': {'w': 680, 'h': 527, 'resize': 'fit'}},
   'source_status_id': 985205611464986624,
   'source_status_id_str': '985205611464986624',
   'source_user_id': 900548047821733894,
   'source_user_id_str': '900548047821733894'}]}

Parte 3

Fundamentos do que vemos hoje

Sobre antes da internet e que serviram de base para muita coisa na internet

• Sociologia
• Relações Públicas
• Publicidade / Propaganda
• Administração / Recursos Humanos

Propaganda - Edward Bernays - 1928

À medida que a civilização se tornou mais complexa e ficou patente a necessidade de um governo invisível, foram inventados os meios técnicos pelos quais a opinião pode ser controlada. A democracia é administrada por uma minoria inteligente que sabe como regular, controlar e guiar as massas.

Vigiar e Punir - Michel Foucault - 1975

O Panóptico funciona como uma espécie de laboratório de poder. Graças a seus mecanismos de observação, ganha em eficácia e em capacidade de penetração no comportamento dos homens; um aumento de saber vem se implantar em todas as frentes do poder, descobrindo objetos que devem ser conhecidos em todas as superfícies onde este se exerça.

A Liberdade - Zygmunt Bauman - 1988

A necessidade de liberdade e a necessidade de interação social -- inseparáveis, embora por vezes em desacordo uma com a outra -- parecem ser uma faceta permanente da condição humana. De uma maneira geral, a profundidade com que cada uma delas é sentida, depende do grau em que a outra é realizada ou exagerada. O equilíbrio entre elas modifica-se quando passamos de uma era história para outra, ou de uma sociedade para outra.

Grupos de interesse:

• empresas
  • publicidade/propaganda/marketing/relações públicas
  • recursos humanos
• governos
• jornalismo - Volt Data Lab

Produtos e estratégias

• fake news
• bots

Parte 4

Como fazer

1. Conhecer os dados

• Mineração
• visualização

3. Traçar estratégias

• sistemas de recomendação
• bots
• fake news

4. Acompanhamento

• mineração de dados
• visualização de dados
• regressão

Parte 5

Perspectivas sobre o momento

O Mundo Assombrados Pelos Demônios - Carl Sagan - 1995

Essa organização (NSA) monitora telefones, rádios e outros meios de comunicação tanto de amigos como de adversários dos Estados Unidos. Sub-repticiamente, lê a correspondÍncia do mundo. Seu movimento de interceptações diárias é imenso. Em Èpocas de tensão, enormes grupos de funcionários da NSA, fluentes nas línguas importantes, ficam sentados com fones de ouvido, monitorando em tempo real todas as informações, desde comandos cifrados do estado-maior da nação-alvo até conversas íntimas. Em relação a outros materiais, há palavras-chave que fazem os computadores selecionarem, para escrutínio humano, mensagens ou conversas específicas de interesse atual urgente. Tudo é armazenado, de modo que seja retrospectivamente possível voltar às fitas magnéticas - para se pesquisar a primeira aparição de um código, por exemplo, ou a responsabilidade de um comando numa crise. Algumas das interceptações são feitas a partir de postos de escuta em países vizinhos (a Turquia no caso da Rússia, a Índia no caso da China), em aviões e navios que estejam patrulhando por perto, ou em satélites furões na órbita da Terra.

INTERCEPTION OF DIGITAL AND OTHER COMMUNICATIONS [definições]

(2) The term ``call-identifying information´´ means dialing or signaling information that identifies the origin, direction, destination, or termination of each communication generated or received by a subscriber by means of any equipment, facility, or service of a telecommunications carrier.

(4) The term ``electronic messaging services´´ means software-based services that enable the sharing of data, images, sound, writing, or other information among computing devices controlled by the senders or recipients of the messages.

Empresas e serviços

• Figure Eight
• Facebook
• Tensorflow - Google
• Microsoft

Quem pesquisa sobre?

(alguns artigos de exemplo)

• Identifying influential and susceptible members of social networks
• What Makes online Content Viral?
• Reversing Data Politics: An Introduction to the Special Issue

Livros recomendados

Livros recomendados

????????

Dúvidas?

????????