Machine Learning de forma simples e prática

Tempo de leitura: 17 minutes

Loading

Todo mundo está falando sobre Machine Learning de forma simples e prática, mas poucos sabem o que fazer. Se você já tentou ler artigos sobre Machine Learning na Internet, provavelmente se deparou com dois tipos deles: trilogias acadêmicas densas cheias de teoremas, ou contos de fadas duvidosos sobre inteligência artificial, dados, magia científica e empregos do futuro.

 

Decidi traduzir esse post que há muito tempo desejava que existisse. Uma introdução simples para quem sempre quis entender sobre machine learning. Neste post será utilizado apenas problemas do mundo real, soluções práticas, linguagem simples e nenhum teorema de alto nível. Um e para todos. Seja você um programador ou um gerente.

Este é Billy. Billy quer comprar um carro. Ele calcula quanto precisa economizar mensalmente para isso. Ele analisou dezenas de anúncios na internet e descobriu que os carros novos custam cerca de US $ 20.000, os usados ​​de um ano custam US $ 19.000, os de 2 anos custam US $ 18.000 e assim por diante.

Billy, nosso analista brilhante, começa a ver um padrão: o preço do carro depende de sua idade e cai $ 1.000 a cada ano, mas não ficará abaixo de $ 10.000.

Em termos de aprendizado de máquina, Billy inventou a regressão – ele previu um valor (preço) com base em dados históricos conhecidos. As pessoas fazem isso o tempo todo, ao tentar estimar um custo razoável para um iPhone usado no Mercado Livre ou descobrir quantas peças de batatas comprar para um churrasco vegetariano. 200 gramas por pessoa? 500?

Sim, seria bom ter uma fórmula simples para todos os problemas do mundo. Especialmente, para uma festa de churrasco vegetariano. Infelizmente, é impossível.

Voltemos aos carros. O problema é que eles têm diferentes datas de fabricação, dezenas de opções, condições técnicas, picos sazonais de demanda e só Deus sabe quantos outros fatores que não conhecemos. Um Billy médio não consegue manter todos esses dados em sua cabeça enquanto calcula o preço.

O nosso cérebro foi treinado para não gastar energia – precisamos de robôs para fazer as contas por nós. Então, vamos seguir o caminho computacional aqui. Vamos fornecer alguns dados à máquina e pedir que ela encontre todos os padrões ocultos relacionados ao preço.

O mais interessante é que a máquina lida com essa tarefa muito melhor do que uma pessoa real ao analisar cuidadosamente todas as dependências em sua mente.

Esse foi o nascimento do aprendizado de máquina.

Três componentes do aprendizado de máquina

Machine Learning Descomplicado: Os Três Pilares Fundamentais do Aprendizado de Máquina

Um dos objetivos do aprendizado de máquina é prever resultados com base nos dados recebidos. É isso. Todas as tarefas de ML (Machine Learning) podem ser representadas dessa maneira ou não é um problema de ML desde o início.

Quanto maior a variedade de amostras de dados que você tiver, mais fácil será encontrar padrões relevantes e prever o resultado. Portanto, precisamos de três componentes para ensinar a máquina:

Dados Que querem detectar spam? Obtenha amostras de mensagens de spam. Quer prever estoques? Encontre o histórico de preços. Quer descobrir as preferências do usuário? Analise suas atividades no Facebook. Quanto mais diversos os dados, melhor o resultado. Dezenas de milhares de linhas é o mínimo para os desesperados.

Existem duas maneiras principais de obter os dados – manual e automática. Os dados coletados manualmente contêm muito menos erros, mas levam mais tempo para serem coletados – o que os torna mais caros em geral. A abordagem automática é mais barata – você está reunindo tudo o que pode encontrar e esperar o melhor.

Alguns espertinhos como o Google usam seus próprios clientes para rotular dados gratuitamente. Lembra do ReCaptcha, que obriga você a “Selecionar todas as placas de rua”? Isso é exatamente o que eles estão fazendo. Mão de obra gratuita! Legal. Em seu lugar, eu começaria a mostrar o captcha cada vez mais.

É extremamente difícil coletar uma boa coleção de dados (geralmente chamada de conjunto de dados). Eles são tão importantes que as empresas podem até revelar seus algoritmos, mas raramente conjuntos de dados

Recursos
Também conhecidos como parâmetros ou variáveis. Podem ser quilometragem do carro, sexo do usuário, preço das ações, frequência de palavras no texto. Em outras palavras, esses são os fatores para uma máquina olhar.
Quando os dados são armazenados em tabelas, é simples — os recursos são os nomes das colunas.
E se você tiver 100 Gb de fotos de gatos? Não podemos considerar cada pixel como um recurso. É por isso que selecionar os recursos certos geralmente leva muito mais tempo do que todas as outras partes do ML. Essa também é a principal fonte de erros. Sacos de carne são sempre subjetivos. Eles escolhem apenas recursos de que gostam ou consideram “mais importantes”. Por favor, evite ser humano.

Algoritmos
Parte mais óbvia. Qualquer problema pode ser resolvido de forma diferente. O método escolhido afeta a precisão, o desempenho e o tamanho do modelo final. Porém, há uma nuance importante: se os dados forem ruins, mesmo o melhor algoritmo não ajudará. Às vezes, é referido como “garbage in – trash out”. Portanto, não preste muita atenção à porcentagem de precisão, tente adquirir mais dados primeiro.

 

Aprendizagem x Inteligência

Machine Learning Simplificado: Navegando entre Aprendizagem e Inteligência

Uma vez vi um artigo intitulado “As redes neurais substituirão o aprendizado de máquina?” Em algum site de mídia hipster.
Aqui está uma imagem simples para mostrar quem é quem e não ficar essa confusão.

  • Inteligência artificial é o nome de todo uma campo de conhecimento, semelhante à biologia ou à química.
  • O aprendizado de máquina faz parte da inteligência artificial. Uma parte importante, mas não a única.
  • As redes neurais são um dos tipos de aprendizado de máquina. Um popular, mas há outros mocinhos na classe.
  • O Deep Learning é um método moderno de construção, treinamento e uso de redes neurais. Basicamente, é uma nova arquitetura. Atualmente, na prática, ninguém separa o aprendizado profundo das “redes comuns”.

A regra geral é comparar as coisas no mesmo nível.

O que a  máquina pode fazerO que a máquina não pode fazer
PreverCrie algo novo
MemorizarSer inteligente muito rápido
ReproduzirVá além da tarefa deles
Escolha a melhor opçãoMate todos os humanos

O mapa do aprendizado de maquina

Machine Learning Descomplicado: Traçando o Mapa do Aprendizado de Máquina

Se você é muito preguiçoso para leituras longas, dê uma olhada na imagem abaixo para entender um pouco.

Sempre é importante lembrar – nunca há uma única maneira de resolver um problema no mundo do aprendizado de máquina. Sempre existem vários algoritmos que se encaixam, e você tem que escolher qual deles se encaixa melhor.
Vamos começar com uma visão geral básica. Atualmente, existem quatro direções principais no aprendizado de máquina.

Aprendizado de máquina clássico

Machine Learning Sem Mistérios: Explorando o Aprendizado de Máquina Clássico com Simplicidade

Os primeiros métodos vieram da estatística pura nos anos 50. Eles resolveram tarefas matemáticas formais – procurando padrões em números, avaliando a proximidade de pontos de dados e calculando as direções dos vetores.

Hoje em dia, metade da Internet trabalha com esses algoritmos. Quando você vê uma lista de artigos para “ler a seguir” ou seu banco bloqueia seu cartão em um posto de gasolina aleatório no meio do nada, provavelmente é obra de um daqueles carinhas.

As grandes empresas de tecnologia são grandes fãs de redes neurais. Para eles, 2% de precisão é uma receita adicional de US$ 2 bilhões. Mas quando você é pequeno, não faz sentido. Ouvi histórias de equipes que passaram um ano em um novo algoritmo de recomendação para seu site de comércio eletrônico, antes de descobrir que 99% do tráfego vinha de mecanismos de pesquisa. Seus algoritmos eram inúteis. A maioria dos usuários nem abriu a página principal.
Apesar da popularidade, as abordagens clássicas são tão naturais que você poderia facilmente explicá-las a uma criança. Eles são como aritmética básica – usamos todos os dias, sem nem pensar.

Aprendizado Supervisionado

Machine Learning na Prática: Dominando o Aprendizado Supervisionado de Forma Simples

O aprendizado de máquina clássico geralmente é dividido em duas categorias – aprendizado supervisionado e não supervisionado.

No primeiro caso, a máquina tem um “supervisor” ou um “professor” que dá à máquina todas as respostas, como se é um gato ou um cachorro na foto. O professor já dividiu (rotulou) os dados em gatos e cachorros, e a máquina está usando esses exemplos para aprender. Um por um.

O aprendizado não supervisionado significa que a máquina fica sozinha com uma pilha de fotos de animais e uma tarefa para descobrir quem é quem. Os dados não são rotulados, não há professor, a máquina está tentando encontrar padrões por conta própria. Falaremos sobre esses métodos a seguir.

Claramente, a máquina aprenderá mais rápido com um professor, por isso é mais comumente usada em tarefas da vida real. Existem dois tipos dessas tarefas: classificação – a previsão da categoria de um objeto e regressão – a previsão de um ponto específico em um eixo numérico.

Classificação

“Divida objetos com base em um dos atributos conhecidos de antemão.
Separe as meias com base na cor, documentos com base no idioma, música por gênero”

  • Hoje usado para:
  • Filtragem de spam
  • Detecção de idioma
  • Uma pesquisa de documentos semelhantes
  • Análise de sentimentos
  • Reconhecimento de caracteres manuscritos e números
  • Detecção de fraude

Algoritmos populares: Naive Bayes, Árvore de decisão, Regressão logística, K-vizinhos mais próximos, Máquina de vetores de suporte

O aprendizado de máquina é sobre classificar as coisas, principalmente. A máquina aqui é como um bebê aprendendo a separar os brinquedos: aqui está um robô, aqui está um carro, aqui está um carro-robô… Opa, . Erro! Erro!
Na classificação, você sempre precisa de um professor. Os dados devem ser rotulados com alguns parâmetros para que a máquina possa atribuir as classes com base neles. Tudo pode ser classificado – usuários com base em interesses (como fazem os feeds algorítmicos), artigos com base em idioma e tópico (isso é importante para os mecanismos de pesquisa), músicas com base em gênero (listas de reprodução do Spotify) e até mesmo seus e-mails.

No filtro de spam, o algoritmo Naive Bayes foi amplamente utilizado. A máquina conta o número de menções de “viagra” em spam e correio normal, depois multiplica ambas as probabilidades usando a equação de Bayes, soma os resultados e pronto, temos o aprendizado de máquina.

Mais tarde, os spammers aprenderam a lidar com os filtros do teorema de Bayes adicionando muitas palavras “boas” no final do e-mail. Ironicamente, o método foi chamado de envenenamento bayesiano. Naive Bayes entrou para a história como o mais elegante e o primeiro praticamente útil, mas agora outros algoritmos são usados ​​para filtragem de spam.

Aqui está outro exemplo prático de classificação. Digamos que você precise de algum dinheiro emprestado. Como o banco saberá se você pagará de volta ou não? Não há como saber ao certo. Mas o banco tem muitos perfis de pessoas que já pegaram dinheiro. Eles têm dados sobre idade, escolaridade, ocupação e salário e – o mais importante – o fato de devolver o dinheiro. Ou não.

Usando esses dados, podemos ensinar a máquina a encontrar os padrões e obter a resposta. Não há problema em obter uma resposta. A questão é que o banco não pode confiar cegamente na resposta da máquina. E se houver uma falha no sistema, ataque de hacker ou uma solução rápida de um veterano bêbado?

Para lidar com isso, temos a famosa Árvore de Decisão. Todos os dados divididos automaticamente em perguntas sim/não. Eles podem soar um pouco estranhos do ponto de vista humano, por exemplo, se o credor ganha mais de $ 534,03? No entanto, a máquina apresenta essas perguntas para dividir os dados da melhor maneira possível em cada etapa.

É assim que uma árvore é feita. Quanto mais alto o galho – mais ampla a questão. Qualquer analista pode pegar e explicar depois. Ele pode não entender, mas expliqua facilmente!

Árvores de decisão são amplamente utilizadas em esferas de alta responsabilidade: diagnósticos, medicina e finanças.

Os dois algoritmos mais populares para formar as árvores são CART e C4.5.

Árvore de decisão puras raramente são usadas hoje. No entanto, eles geralmente estabelecem a base para grandes sistemas e seus conjuntos funcionam melhor do que as redes neurais. Falaremos sobre isso mais tarde.

Quando você pesquisa algo no Google, é precisamente o grupo de árvores burras que estão procurando uma série de respostas para você. Os mecanismos de pesquisa os adoram porque são rápidos.

Support Vector Machines (SVM) é justamente o método mais popular de classificação clássica. Foi usado para classificar tudo o que existe: plantas por aparência em fotos, documentos por categorias, etc.

A ideia por trás do SVM é simples – é tentar desenhar duas linhas entre seus pontos de dados com a maior margem entre elas. Olha a foto:

Há um lado muito útil da classificação — detecção de anomalias. Quando uma característica não se enquadra em nenhuma das classes, nós a destacamos. Agora isso é usado na medicina – nas ressonâncias magnéticas, os computadores destacam todas as áreas suspeitas ou desvios do teste. Os mercados de ações o usam para detectar comportamentos anormais de traders para encontrar os insiders. Ao ensinar o computador as coisas certas, nós automaticamente ensinamos o que está errado.

Hoje, as redes neurais são usadas com mais frequência para classificação. Bem, é para isso que elas foram criadas.

A regra geral (nem sempre) é que quanto mais complexos os dados, mais complexo o algoritmo. Para texto, números e tabelas, se escolheria a abordagem clássica. Os modelos são menores ali, aprendem mais rápido e trabalham com mais clareza. Para fotos, vídeos e todas as outras coisas complicadas de big data, definitivamente redes neurais.

Apenas cinco anos atrás, você poderia encontrar um classificador de face construído em SVM. Hoje é mais fácil escolher entre centenas de redes pré-treinadas. Nada mudou para filtros de spam, no entanto. Eles ainda são escritos com SVM. E não há nenhuma boa razão para mudar dele em qualquer lugar.

Regressão

“Desenhe uma linha através desses pontos. Sim, esse é o aprendizado de máquina”
Hoje é usado para:

  • Previsões de preços de ações
  • Análise de demanda e volume de vendas
  • Diagnóstico médico
  • Quaisquer correlações número-tempo
  • Algoritmos populares são regressões lineares e polinomiais.

Os algoritmos populares são: regressões lineares e polinomiais.

A regressão é basicamente uma classificação em que prevemos um número em vez de uma categoria. Exemplos são preço do carro por quilometragem, tráfego por hora do dia, volume de demanda por crescimento da empresa etc. A regressão é perfeita quando algo depende do tempo.
Todo mundo que trabalha com finanças e análise adora regressão. É até embutido no Excel. E é super suave por dentro – a máquina simplesmente tenta desenhar uma linha que indica correlação média. Porém, ao contrário de uma pessoa com uma caneta e um quadro branco, a máquina faz isso com precisão matemática, calculando o intervalo médio para cada ponto.

Não há problema em mexer com regressão e classificação, no entanto. Muitos classificadores se transformam em regressão após algum ajuste. Podemos não apenas definir a classe do objeto, mas também memorizar o quão próximo ele está. Aí vem uma regressão.

Se você quiser se aprofundar nisso, confira esta série: Machine Learning for Humans.

Aprendizagem não supervisionada

A aprendizagem não supervisionada foi inventada um pouco mais tarde, nos anos 90. É usado com menos frequência, mas às vezes simplesmente não temos escolha.

Dados rotulados são luxo. Mas e se eu quiser criar, digamos, um classificador de barramento? Devo tirar fotos manualmente de milhões de ônibus nas ruas e rotular cada um deles? De jeito nenhum, isso vai levar uma vida inteira.

Há um pouco de esperança para o capitalismo neste caso. Graças à estratificação social, temos milhões de trabalhadores e serviços baratos, como o Mechanical Turk, que estão prontos para concluir sua tarefa por US$ 0,05. E é assim que as coisas costumam ser feitas aqui.

Agrupamento/Clusters

“Divide objetos com base em recursos desconhecidos. A máquina escolhe a melhor maneira”

Usado atualmente:

  • Para segmentação de mercado (tipos de clientes, fidelização)
  • Para mesclar pontos próximos em um mapa
  • Para compressão de imagem
  • Para analisar e rotular novos dados
  • Para detectar comportamento anormal
  • Algoritmos populares: K-means_clustering, Mean-Shift, DBSCAN

Algoritmos populares: K-means_clustering, Mean-Shift, DBSCAN

Agrupamento/Clustering é uma classificação sem classes predefinidas. É como dividir meias por cores quando você não lembra de todas as cores que tem. O algoritmo de agrupamento tentando encontrar objetos semelhantes (por alguns recursos) e mesclá-los em um agrupamento/cluster. Aqueles que têm muitos recursos semelhantes são reunidos em uma classe. Com alguns algoritmos, você pode até especificar o número exato de clusters que deseja.

Um excelente exemplo de agrupamento — marcadores em mapas da web. Quando você está procurando por todos os restaurantes veganos, o mecanismo de agrupamento os agrupa em blobs com um número. Caso contrário, seu navegador congelaria, tentando desenhar todos os três milhões de restaurantes veganos naquele centro moderno.

O Apple Photos e o Google Photos usam agrupamentos mais complexos. Eles estão procurando rostos em fotos para criar álbuns de seus amigos. O aplicativo não sabe quantos amigos você tem e como eles se parecem, mas está tentando encontrar as características faciais comuns. Agrupamento típico.

Outro problema popular é a compactação de imagem. Ao salvar a imagem em PNG, você pode definir a paleta, digamos, para 32 cores. Isso significa que o agrupamento encontrará todos os pixels “avermelhados”, calculará o “vermelho médio” e o definirá para todos os pixels vermelhos. Menos cores — menor tamanho de arquivo.

No entanto, você pode ter problemas com cores semelhantes a ciano. É verde ou azul? Aqui vem o algoritmo K-Means.

Ele define aleatoriamente 32 pontos de cores na paleta. Agora, esses são centróides. Os pontos restantes são marcados como atribuídos ao centróide mais próximo. Assim, obtemos uma espécie de galáxia em torno dessas 32 cores. Em seguida, estamos movendo o centróide para o centro de sua galáxia e repetimos isso até que os centróides parem de se mover.

Tudo feito. Clusters definidos, estáveis, e existem exatamente 32 deles. Aqui está uma explicação mais real:

Procurar os centróides é conveniente. Porém, na vida real, os clusters nem sempre são círculos. Vamos imaginar que você é um geólogo. E você precisa encontrar alguns minerais semelhantes no mapa. Nesse caso, os clusters podem ter formatos estranhos e até mesmo aninhados. Além disso, você nem sabe quantos deles esperar. 10? 100?
K-means não se encaixa aqui, mas DBSCAN pode ser útil. Digamos que nossos pontos sejam pessoas na praça da cidade. Encontre três pessoas próximas umas das outras e peça-lhes que se dêem as mãos. Em seguida, diga-lhes para começar a agarrar as mãos dos vizinhos que puderem alcançar. E assim por diante, até que ninguém mais possa segurar a mão de ninguém. Esse é o nosso primeiro cluster. Repita o processo até que todos estejam agrupados.
Assim como a classificação, o agrupamento pode ser usado para detectar anomalias. O usuário se comporta de forma anormal depois de se inscrever? Deixe a máquina bani-lo temporariamente e crie um ticket para o suporte verificar. Talvez seja um bot. Nem precisamos saber o que é “comportamento normal”, apenas carregamos todas as ações do usuário em nosso modelo e deixamos a máquina decidir se é um usuário “típico” ou não.

Essa abordagem não funciona muito bem em comparação com a classificação, mas nunca custa tentar.

Redução da dimensionalidade (Generalização)

“Conecta recursos específicos para outros de alto nível”
Atualmente é usado para:

  • Sistemas de recomendação ( ★ )
  • Belas visualizações
  • Modelagem de tópicos e pesquisa de documentos semelhantes
  • Análise de imagem falsa
  • Gerenciamento de riscos

Algoritmos populares: Análise de componentes principais ( PCA ), Decomposição do valor singular ( SVD ), Alocação latente de dirichlet ( LDA ), Análise Semântica Latente ( LSA, pLSA, GLSA ), t-SNE ( para visualização )

Anteriormente, esses métodos eram usados por cientistas de dados hardcore, que precisavam encontrar “algo interessante” em enormes pilhas de números. Quando os gráficos do Excel não ajudaram, eles forçaram as máquinas a fazer a descoberta de padrões. Foi assim que eles obtiveram métodos de Redução de Dimensão ou Aprendizado de Recurso.

É sempre mais conveniente que as pessoas usem abstrações, não um monte de recursos fragmentados. Por exemplo, podemos mesclar todos os cães com orelhas de triângulo, nariz comprido e caudas grandes com uma bela abstração — “pastor”. Sim, estamos perdendo algumas informações sobre pastores específicos, mas a nova abstração é muito mais útil para nomear e explicar propósitos. Como bônus, esses modelos “abstratados” aprendem mais rápido, superam menos e usam um número menor de recursos.

Esses algoritmos se tornaram uma ferramenta incrível para Modelagem de Tópicos. Podemos abstrair de palavras específicas para seus significados. Isto é o que Análise semântica latente ( LSA ) faz. É baseado na frequência com que você vê a palavra no tópico exato. Tipo, existem mais termos de tecnologia em artigos de tecnologia, com certeza. Os nomes dos políticos são encontrados principalmente em notícias políticas, etc.
Sim, podemos apenas criar clusters com todas as palavras dos artigos, mas perderemos todas as conexões importantes ( por exemplo, o mesmo significado de bateria e acumulador em documentos diferentes ). A LSA lidará com isso corretamente, é por isso que é chamado de “semântica latente”. Portanto, precisamos conectar as palavras e documentos em um recurso para manter essas conexões latentes —, pois Decomposição singular ( SVD ) define essa tarefa, revelando grupos de tópicos úteis a partir de palavras vistas.

Sistemas de recomendação e filtragem colaborativa é outro uso super popular do método de redução da dimensionalidade. Parece que se você usá-lo para abstrair as classificações de usuários, você obtém um ótimo sistema para recomendar filmes, músicas, jogos e o que quiser.
Mal é possível entender completamente essa abstração da máquina, mas é possível ver algumas correlações em um olhar mais atento. Alguns deles se correlacionam com a idade do usuário —, as crianças brincam com Minecraft e assistem mais a desenhos animados; outros se correlacionam com o gênero de filme ou hobbies de usuários.
As máquinas obtêm esses conceitos de alto nível, mesmo sem entendê-los, com base apenas no conhecimento das classificações dos usuários. Muito bem, Sr. Computador. Agora podemos escrever uma tese sobre por que os lenhadores barbudos amam My Little Pony.

Regra de aprendizagem para associação

“Procure padrões no fluxo de pedidos”
Atualmente é utilizado:

  • Para prever vendas e descontos
  • Para analisar mercadorias compradas em conjunto
  • Para colocar os produtos nas prateleiras
  • Para analisar padrões de navegação na web

Algoritmos populares: Apriori, Euclat, FP-growth

 

Isso inclui todos os métodos para analisar carrinhos de compras, automatizar a estratégia de marketing e outras tarefas relacionadas a eventos. Quando você tiver uma sequência de algo e quiser encontrar padrões nela – tente essas coisas.

Digamos que um cliente pegue um pacote de seis cervejas e vá até o caixa. Devemos colocar amendoins no caminho? Com que frequência as pessoas os compram juntos? Sim, provavelmente funciona para cerveja e amendoim, mas que outras sequências podemos prever? Uma pequena mudança na disposição das mercadorias pode levar a um aumento significativo nos lucros?

O mesmo vale para o comércio eletrônico. A tarefa é ainda mais interessante aqui – o que o cliente vai comprar na próxima vez?

Não faço ideia de por que as regras de aprendizado  parece ser a categoria menos elaborada de aprendizado de máquina. Os métodos clássicos são baseados em uma visão frontal de todos os produtos comprados usando árvores ou conjuntos. Os algoritmos podem apenas procurar padrões, mas não podem generalizá-los ou reproduzi-los em novos exemplos.

No mundo real, todo grande varejista constrói sua própria solução proprietária. O mais alto nível de tecnologia aqui – sistemas de recomendação.

Aprendizagem por Reforço
“Machine Learning Simplificado: Dominando a Aprendizagem por Reforço na Prática”

“Jogue um robô em um labirinto e deixe-o encontrar uma saída”
Atualmente usado para:

  • Carros autônomos
  • Robôs aspiradores
  • Jogos
  • Negociações automatizadas
  • Gestão de recursos empresariais


Algoritmos populares: Q-Learning, SARSA, DQN, A3C, algoritmo genético

Finalmente, chegamos a algo que se parece com inteligência artificial real. Em muitos artigos, o aprendizado por reforço é colocado em algum lugar entre o aprendizado supervisionado e o não supervisionado. Eles não têm nada em comum! O aprendizado por reforço é usado nos casos em que seu problema não está relacionado a dados, mas você tem um ambiente para viver. Como um mundo de videogame ou uma cidade para carros autônomos. O conhecimento de todas as regras de trânsito do mundo não ensinará o piloto automático a dirigir nas estradas.
Independentemente da quantidade de dados que coletamos, ainda não podemos prever todas as situações possíveis. É por isso que seu objetivo é minimizar o erro, não prever todos os movimentos.

Sobreviver em um ambiente é uma ideia central do aprendizado por reforço. Jogue o pobre robozinho na vida real, puna-o por erros e recompense-o por ações corretas. Da mesma forma que ensinamos nossos filhos, certo?

Uma maneira mais eficaz aqui é construir uma cidade virtual e permitir que o carro autônomo aprenda todos os seus truques lá primeiro. É exatamente assim que treinamos pilotos automáticos agora. Crie uma cidade virtual com base em um mapa real, preencha com pedestres e deixe o carro aprender a matar o mínimo de pessoas possível. Quando o robô está razoavelmente confiante neste GTA artificial, ele fica livre para testar nas ruas reais.

Rede Neural jogando Mario Bros

Pode haver duas abordagens diferentes — Baseada em modelo e Sem modelo.
Baseado em modelo significa que o carro precisa memorizar um mapa ou suas partes. Essa é uma abordagem bastante desatualizada, pois é impossível para o pobre carro autônomo memorizar todo o planeta.
No aprendizado Model-Free, o carro não memoriza todos os movimentos, mas tenta generalizar as situações e agir racionalmente enquanto obtém uma recompensa máxima.

Lembra da notícia sobre a IA do Google derrotando o campeão europeu no jogo de Go? Apesar de pouco antes ter sido provado que o número de combinações neste jogo é maior que o número de átomos no universo. Isso significa que a máquina não conseguiu se lembrar de todas as combinações e, assim, ganhar o Go (como no xadrez). A cada turno, ele simplesmente escolhia o melhor movimento para cada situação e se saía bem o suficiente para vencer.
Essa abordagem é um conceito central por trás do Q-learning e seus derivados (SARSA e DQN). ‘Q’ no nome significa “Qualidade”, pois um robô aprende a executar a ação mais “qualitativa” em cada situação e todas as situações são memorizadas como um processo markoviano simples.

 

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

Aprendendo com IA: espelhos sociais e intelectuais

Até recentemente, as interações humanas com máquinas antropomorfizadas (entidades não-humanas que são atribuídas características humanas) eram consideradas divertidas, mas não eram vistas como emocionalmente relevantes para a maioria das pessoas. Embora muitos se...

10 efeitos negativos do uso de celulares para as crianças

Crianças de todo o mundo (embora não todas) utilizam smartphones para diversas finalidades. Algumas passam horas conversando com amigos, enquanto outras se dedicam a jogar inúmeros jogos. A Internet é frequentemente considerada uma fonte de conhecimento para as...

Sistemas de tutoria inteligente

Adaptação da aprendizagem de acordo com o nível e ritmo do estudante Os sistemas de tutoria inteligente se baseiam na capacidade de adaptar a aprendizagem de acordo com o nível e o ritmo do estudante. Usando inteligência artificial e técnicas de aprendizado de...

Quanto custa manter a nuvem no céu para o meio ambiente?

À medida que a humanidade aumenta sua capacidade de intervir na natureza com o objetivo de satisfazer as necessidades e desejos crescentes, aparecem as tensões e conflitos quanto ao uso do espaço e dos recursos naturais. Quanto custa manter a nuvem no céu para o meio...

Competências essenciais na era digital

A proliferação da IA em muitos aspectos da vida humana - desde o lazer pessoal até o trabalho profissional, passando pelas decisões políticas globais - impõe uma questão complexa sobre como preparar as pessoas para um mundo interconectado e em rápida mudança, que está...

Educação digital para prevenir abusos sexuais online

Depois de participar de uma aula incrível com a professora Beatriz Lorencini e o Felipe, fui tirado da bolha onde costumo estar a maior parte do meu tempo se não o tempo todo. Quando percebi eu estava em choque por "não saber ou escolher não saber" que existem...

Tag Cloud

Posts Relacionados

[dgbm_blog_module posts_number=”4″ related_posts=”on” show_categories=”off” show_pagination=”off” item_in_desktop=”2″ equal_height=”on” image_size=”mid” author_background_color=”#ffffff” disabled_on=”off|off|on” module_class=”PostRelacionado” _builder_version=”4.16″ _module_preset=”default” title_font=”Montserrat||||||||” title_text_color=”#737373″ title_font_size=”19px” title_line_height=”25px” meta_text_color=”#666″ meta_font_size=”13px” content_font_size=”13px” content_line_height=”30px” author_text_color=”#666666″ custom_css_content_container=”display:flex;||flex-wrap:wrap;” custom_css_image-container=”padding-top:70%;||overflow:hidden;” custom_css_image=”position:absolute;||top:0;||left:0;||bottom:0;||right:0;||object-fit: cover;||height:100%;||width:100%;” custom_css_title=”padding:20px;||margin-top:0;||order:2;” custom_css_content=”padding:0 20px 20px;||order:3;” custom_css_post-meta-middle=”order:1;||padding:20px;||border-bottom:1px solid #dcdcdc;||border-top:1px solid #dcdcdc;” border_width_all_post_item=”0px” border_width_all_content=”0px” box_shadow_style_container=”preset1″ box_shadow_blur_container=”5px” box_shadow_spread_container=”1px” box_shadow_color_container=”rgba(0,0,0,0.1)” global_colors_info=”{}”][/dgbm_blog_module]

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes