Vamos explorar os destaques e as conquistas das vastas comunidades de aprendizado de máquina do Google ao longo do segundo trimestre de 2023. Estamos felizes e gratos por todas as atividades realizadas pela rede global de comunidades de ML. Veja os destaques a seguir!
Mais de 35 comunidades em todo o mundo organizaram campanhas de ML distribuídas pela equipe de Programas para desenvolvedores de ML durante o primeiro semestre do ano. Agradecemos a todos por seus esforços de treinamento para toda a comunidade de ML!
Image Segmentation using Composable Fully-Convolutional Networks, do ML GDE Suvaditya Mukherjee (Índia), é um exemplo do Keras.io que explica como implementar uma rede totalmente convolucional com um back-end VGG-16 e como usá-la para realizar a segmentação de imagens. Sua apresentação, KerasCV for the Young and Restless (slides | vídeo) no TFUG Malaysia e no TFUG Kolkata foi uma introdução à KerasCV. Ele abordou como os componentes básicos de visão computacional funcionam, por que o Keras é uma ferramenta importante e como o KerasCV se baseia no ecossistema TFX e Keras estabelecido.
[ML Story] My Keras Chronicles, do ML GDE Aritra Roy Gosthipaty (Índia), resumiu sua história de aprendizado profundo com o Keras. Ele incluiu dicas sobre como entrar na comunidade de código aberto. Além disso, seu notebook Kaggle, [0.11] keras starter: unet + tf data pipeline, é um guia inicial para o Vesuvius Challenge. Ele e Subvaditya também compartilharam a implementação do Keras das Redes Temporal Latent Bottleneck, proposta no artigo.
KerasFuse, da ML GDE Ayse Ayyuce Demirbas (Portugal), é uma biblioteca Python que combina o poder do TensorFlow e do Keras com várias técnicas de visão computacional para tarefas de análise de imagens médicas. A ferramenta fornece uma coleção de módulos e funções para facilitar o desenvolvimento de modelos de aprendizado profundo em TensorFlow e Keras para tarefas como segmentação de imagens, classificação e muito mais.
TensorFlow at Google I/O 23: A Preview of the New Features and Tools, do TFUG Ibadan, explorou o pré-lançamento dos recursos e ferramentas mais recentes do TensorFlow. A comunidade cobriu uma ampla variedade de temas, incluindo Dtensor, KerasCV e KerasNLP, API de quantização do TF e JAX2TF.
O aplicativo de implementação StableDiffusion - Textual-Inversion, do ML GDE Dimitre Oliveira (Brasil), é um exemplo de como implementar código de pesquisa e ajustá-lo usando o processo de inversão textual. O exemplo também fornece casos de uso relevantes para ferramentas e frameworks valiosos, como HuggingFace, Gradio, TensorFlow e KerasCV.
Em Understanding Gradient Descent and Building an Image Classifier in TF From Scratch, o ML GDE Tanmay Bakshi (Canadá) falou sobre como desenvolver uma intuição sólida para os fundamentos que apoiam a tecnologia de ML, além de ter construído. a partir do zero, um sistema de classificação de imagens reais para cães e gatos em TF.Keras.
TensorFlow and Keras Implementation of the CVPR 2023 paper, de Usha Rengaraju (Índia), é uma implementação do artigo de pesquisa BiFormer: Vision Transformer with Bi-Level Routing Attention.
Smile Detection with Python, OpenCV, and Deep Learning, de Rouizi Yacine, é um tutorial que explica como usar o aprendizado profundo para criar um detector de sorrisos mais robusto usando as ferramentas TensorFlow, Keras e OpenCV.
A ML Olympiad for Students do GDSC UNINTER foi feita para estudantes e aspirantes a profissionais de ML que desejam melhorar suas habilidades de aprendizado de máquina. Ela consistiu no desafio de prever os pedidos de visto de trabalho nos EUA. Mais de 320 participantes se inscreveram para o evento de abertura, houve mais de 700 visualizações no YouTube, 66 equipes competiram e o vencedor obteve uma pontuação F1 de 71%.
ICR | EDA & Baseline, do GDE em ML Ertuğrul Demir (Turquia), é um notebook inicial para recém-chegados interessados na mais recente competição de código em destaque da Kaggle. Ele tem mais de 200 apoiadores e mais de 490 ramificações.
Compete More Effectively on Kaggle using Weights and Biases, do TFUG Hajipur, foi um encontro para explorar técnicas usando a plataforma Weights and Biases com o intuito de melhorar o desempenho do modelo em competições da Kaggle. Como palestrante, Usha Rengaraju (Índia) compartilhou seus insights sobre a Kaggle e as estratégias para vencer as competições. Ela revelou dicas e sugestões, demonstrou como configurar uma conta W&B e como fazer a integração ao Google Colab e à Kaggle.
Skeleton Based Action Recognition: A failed attempt, do ML GDE Ayush Thakur (Índia), é uma postagem sobre os aprendizados documentados em sua participação na competição da Kaggle, Google - Isolated Sign Language Recognition. Ele compartilhou o repositório, os registros de treinamento e as ideias que abordou na competição. Além disso, sua matéria intitulada Keras Dense Layer: How to Use It Correctly) explorou o que é a camada densa no Keras e como ela funciona na prática.
Add Machine Learning to your Android App, do ML GDE Pankaj Rai (Índia), no Tech Talks for Educators, foi uma sessão sobre ML no dispositivo e como adicionar recursos de ML a apps Android, como detecção de objetos e detecção de gestos. Ele explicou os recursos do Kit de ML, MediaPipe e TF Lite e como usar essas ferramentas. Mais de 700 pessoas se inscreveram para assisti-lo.
Em MediaPipe with a bit of Bard, do evento I/O Extended Singapore 2023, o ML GDE Martin Andrews (Singapura) compartilhou como o MediaPipe se encaixa no ecossistema e fez 4 demonstrações diferentes da funcionalidade do MediaPipe: classificação de áudio, pontos de referência faciais, segmentação interativa e classificação de texto.
Em Adding ML to our apps with Google ML Kit and MediaPipe, o ML GDE Juan Guillermo Gomez Torres (Bolívia), apresentou o Kit de ML e o MediaPipe, bem como os benefícios do ML no dispositivo. No Startup Academy México (Google for Startups), ele compartilhou como aumentar o valor para os clientes com o ML e o MediaPipe.
Em Introduction to Google's PaLM 2 API, o ML GDE Hannes Hapke (Estados Unidos) mostrou como usar o PaLM2 e resumiu suas principais vantagens. Em outra matéria, The role of ML Engineering in the time of GPT-4 & PaLM 2, ele explica o papel dos especialistas em ML em encontrar o equilíbrio e o alinhamento certos entre as partes interessadas para navegar de maneira ideal pelos desafios e oportunidades impostos por essa tecnologia emergente. Ele fez apresentações sob o mesmo título no North America Connect 2023 e no evento do GDG Portland.
ChatBard: An Intelligent Customer Service Center App, da ML GDE Ruqiya Bin Safi (Arábia Saudita), é um aplicativo inteligente de central de atendimento ao cliente que conta com tecnologia de IA generativa e LLMs usando APIs PaLM2.
O vídeo Bard can now code and put that code in Colab for you, do ML GDE Sam Witteveen (Singapura), mostrou como o Bard cria código. Ele administra um canal no Youtube que explora ML e IA, com playlists de IA generativa, avaliações de artigos, LLMs e LangChain.
Google’s Bard Can Write Code, do ML GDE Bhavesh Bhatt (Índia), mostra os recursos de codificação do Bard, como criar um jogo 2048 com ele e como adicionar alguns recursos básicos ao jogo. Ele também fez upload de vídeos sobre o LangChain em uma playlist e apresentou o novo curso sobre IA Generativa do Google Cloud neste vídeo.
O vídeo Attention Mechanisms and Transformers, do GDG Cloud Saudi, falou sobre atenção e transformadores em PLN, e a ML GDE Ruqiya Bin Safi (Arábia Saudita) participou como palestrante. Outro evento, Hands-on with the PaLM2 API to create smart apps(Jeddah) explorou o que são LLMs, PaLM2 e Bard, como usar a API PaLM2 e como criar aplicativos inteligentes usando a API PaLM2.
Hands-on with Generative AI: Google I/O Extended [Virtual], do ML GDE Henry Ruiz (Estados Unidos) e do Web GDE Rabimba Karanjai (Estados Unidos), foi um workshop sobre IA generativa com demonstrações práticas de como começar a usar ferramentas como a API PaLM, Hugging Face Transformers e a framework LangChain.
Generative AI with Google PaLM and MakerSuite, do ML GDE Kuan Hoong (Malásia), no Google I/O Extended George Town 2023, foi uma palestra sobre LLMs com Google PaLM e MakerSuite. O evento organizado pelo GDG George Town também incluiu temas de ML, como LLMs, IA responsável e MLOps.
Intro to Gen AI with PaLM API and MakerSuite, realizado pelo TFUG São Paulo, foi destinado a pessoas que desejam aprender sobre IA generativa e como as ferramentas do Google podem ajudar na adoção e criação de valor. O evento explorou como começar a prototipar ideias de IA generativa com o MakerSuite e como acessar recursos avançados da API PaLM2 e PaLM. O grupo também organizou o Opening Pandora 's box: Understanding the paper that revolutionized the field of NLP (vídeo), e o ML GDE Pedro Gengo (Brasil) e o ML GDE Vinicius Caridá (Brasil) compartilharam o segredo por trás do famoso LLM e outros modelos de IA generativa. Os participantes do grupo estudaram juntos o documento Attention Is All You Need e conheceram todo o potencial que a tecnologia pode oferecer.
Language models which PaLM can speak, see, move, and understand, do GDG Cloud Taipei, foi um evento para aqueles que querem entender o conceito e a aplicação do PaLM. O ML GED Jerry Wu (Taiwan) explicou as principais características e funções do PaLM.
Serving With TF and GKE: Stable Diffusion, do ML GDE Chansung Park (Coreia) e do ML GDE Sayak Paul (Índia), discute como o TF Serving e o Kubernetes Engine podem atender a um sistema com implantação on-line. Eles dividiram o Stable Diffusion em seus componentes principais e como eles influenciam a consideração subsequente para a implantação. Em seguida, eles também abordaram as especificidades da implantação, como a implantação do TF Serving e a configuração do cluster k8s.
TFX + W&B Integration, do ML GDE Chansung Park (Coreia), mostra como o KerasTuner pode ser usado com o recurso de rastreamento de experimentos do W&B no componente TFX Tuner. Ele desenvolveu um componente TFX personalizado para enviar um modelo totalmente treinado para o repositório W&B Artifact e publicar um aplicativo funcional no Hugging Face Space com a versão atual do modelo. Além disso, sua palestra intitulada ML Infra and High Level Framework in Google Cloud Platform explicou o que é MLOps, por que ele é difícil, por que a nuvem + TFX é um bom ponto de partida e como o TFX é perfeitamente integrado à Vertex AI e ao Dataflow. Ele compartilhou casos de uso de projetos anteriores que ele e o ML GDE Sayak Paul (Índia) criaram nos últimos 2 anos.
Open and Collaborative MLOps, do ML GDE Sayak Paul (Índia), foi uma palestra sobre por que a abertura e a colaboração são dois aspectos importantes do MLOps. Foi apresentada uma visão geral do Hugging Face Hub e de como a plataforma se integra bem ao TFX para promover a abertura e a colaboração nos fluxos de trabalho de MLOps.
Paper review: PaLM 2 Technical Report, do ML GDE Grigory Sapunov (Reino Unido), analisou os detalhes do PaLM2 e do artigo. Ele compartilha as avaliações de artigos relacionados ao Google e ao DeepMind por meio de seus canais sociais, e estas são algumas delas: Model evaluation for extreme risks (artigo), Faster sorting algorithms discovered using deep reinforcement learning (artigo), Power-seeking can be probable and predictive for trained agents (artigo).
Learning JAX in 2023: Part 3 — A Step-by-Step Guide to Training Your First Machine Learning Model with JAX, do ML GDE Aritra Roy Gosthipaty (Índia) e do ML GDE Ritwik Raha (Índia), mostra como o JAX pode treinar modelos de regressão lineares e não lineares, bem como o uso da biblioteca PyTrees para treinar um modelo perceptron multicamadas. Além disso, no Meetup de maio de 2023 organizado pelo TFUG Mumbai, eles realizaram uma palestra intitulada Decoding End to End Object Detection with Transformers e abordaram a arquitetura do modo e os vários componentes que levaram ao surgimento do DETR.
Em 20 steps to train a deployed version of the GPT model on TPU, o ML GDE Jerry Wu (Taiwan) compartilhou como usar o JAX e o TPU para treinar e inferir dados chineses de respostas a perguntas.
Multimodal Transformers - Custom LLMs, ViTs & BLIPs, do TFUG Singapore, analisou quais modelos, sistemas e técnicas surgiram recentemente relacionados a tarefas multimodais. O ML GDE Sam Witteveen (Singapura) analisou vários modelos e sistemas multimodais e como você pode criar o seu próprio com o modelo PaLM2. Em junho, esse grupo convidou Blaise Agüera y Arcas (VP e Fellow do Google Research) e compartilhou o projeto Cerebra e a pesquisa em andamento no Google DeepMind, incluindo os desenvolvimentos atuais e futuros em IA generativa e tendências emergentes.
Training a recommendation model with dynamic embeddings, do ML GDE Thushan Ganegedara (Austrália), explica como criar um modelo de recomendador de filmes aproveitando o TensorFlow Recommenders (TFRS) e o TensorFlow Recommenders Addons (TFRA). O foco principal foi mostrar como as incorporações dinâmicas fornecidas na biblioteca TFRA podem ser usadas para aumentar e diminuir dinamicamente o tamanho das tabelas de incorporação na configuração de recomendação.
How I built the most efficient deepfake detector in the world for $ 100, do ML GDE Mathis Hammel (França), foi uma palestra que explorou um método para detectar imagens geradas via ThisPersonDoesNotExist.com e, até mesmo, um meio de saber a hora exata em que a foto foi produzida. Além disso, o thread no Twitter, OSINT Investigation on LinkedIn, investigou uma rede de empresas falsas no LinkedIn. Ele usou uma ferramenta caseira baseada em um modelo do TensorFlow e a hospedou no Google Cloud. Explicações técnicas de redes neurais generativas também foram incluídas. Mais de 701 mil pessoas visualizaram este thread, que recebeu mais de 1200 retweets e mais de 3100 likes.
Few-shot learning: Creating a real-time object detection using TensorFlow and Python, do ML GDE Hugo Zanini (Brasil), mostra como tirar fotos de um objeto usando uma webcam, rotular as imagens e treinar um modelo de aprendizado few-shot para execução em tempo real. Além disso, seu artigo Custom YOLOv7 Object Detection with TensorFlow.js explica como ele treinou um modelo YOLOv7 personalizado para executá-lo diretamente no navegador em tempo real e off-line com o TensorFlow.js.
The Lord of the Words: The Return of the experiments with DVC (slides), da ML GDE Gema Parreno Piqueras (Espanha), foi uma palestra que explicou o modelo Transformers no cenário de aprendizado de máquina neural e como usar o Tensorflow e o DVC. No projeto, ela usou o catálogo de tradução de conjuntos de dados do Tensorflow para carregar dados de vários idiomas e a biblioteca Transformers do TensorFlow para treinar vários modelos.
Em Accelerate your TensorFlow models with XLA (slides) e Ship faster TensorFlow models with XLA, o ML GDE Sayak Paul (Índia), compartilhou como acelerar modelos do TensorFlow com XLA no Cloud Community Days Kolkata 2023 e no Cloud Community Days Pune 2023.
Setup of NVIDIA Merlin and Tensorflow for Recommendation Models, do ML GDE Rubens Zimbres (Brasil), apresentou uma avaliação dos algoritmos de recomendação, bem como do algoritmo Two Towers, e a configuração de NVIDIA Merlin local e na Vertex AI.
AutoML pipeline for tabular data on VertexAI in Go, do ML GDE Paolo Galeone (Itália), investigou o desenvolvimento e a implantação de modelos tabulares usando VertexAI e AutoML com Go, mostrando o código Go real e compartilhando insights obtidos por meio de tentativas e erros, e extensa pesquisa do Google para transpor as limitações da documentação.
Além das imagens: buscando informações em áudios e vídeos com inteligência artificial (slides), do ML GDE Pedro Gengo (Brasil) e do ML GDE Vinicius Caridá (Brasil), mostrou como criar um mecanismo de pesquisa em que é possível pesquisar informações em vídeos. Eles apresentaram uma arquitetura onde transcrevem o áudio e legendam os frames, convertem esse texto em incorporações e as salvam em um banco de dados vetorial para poder pesquisar de acordo com uma consulta do usuário.
The secret sauce to creating amazing ML experiences for developers, do ML GDE Gant Laborde (Estados Unidos), foi um podcast compartilhando seu momento "eureka", os 20 anos de experiência em ML e o segredo para criar experiências agradáveis e significativas para desenvolvedores.
Em What's inside Google’s Generative AI Studio?, o ML GDE Gad Benram (Portugal) fez uma prévia dos novos recursos e o que você pode esperar deles. Além disso, em How to pitch Vertex AI in 2023, ele compartilhou os seis discursos de venda simples e honestos para os representantes do Google Cloud sobre como convencer os clientes de que a Vertex AI é a plataforma certa.
Em How to build a conversational AI Augmented Reality Experience with Sachin Kumar, o ML GDE Sachin Kumar (Catar) falou sobre como construir um app de RA combinando várias tecnologias, como Google Cloud AI, Unity, etc. A sessão percorreu o processo passo a passo de criação do app a partir do zero.
Machine Learning on Google Cloud Platform, do ML GDE Nitin Tiwari (Índia), foi uma mentoria com o objetivo de fornecer aos alunos uma compreensão profunda dos processos envolvidos no treinamento de um modelo de ML e na implantação dele usando o GCP. Em Building robust ML solutions with TensorFlow and GCP, ele compartilhou como aproveitar os recursos do GCP e do TensorFlow para soluções de ML e implantar modelos personalizados de ML.
Data to AI on Google Cloud: Auto ML, Gen AI, and more, do TFUG Prayagraj, ensinou os alunos a aproveitar as tecnologias avançadas de IA do Google Cloud, incluindo AutoML e IA generativa.
OpusClip achieves 30% cost savings in visual description processing with Gemini Flash
Learn to build and run AI powered apps at Firebase Demo Day ‘24
Publique modelos Keras no Kaggle e na Hugging Face
ML Olympiad 2024: competições de ML distribuídas globalmente pela comunidade do Google ML