Mengembangkan terapeutik baru memang berisiko, sangat lambat, dan bisa menghabiskan biaya miliaran dolar. 90% kandidat obat gagal setelah uji coba fase 1. Hari ini, kami sangat senang dapat merilis TxGemma, koleksi model terbuka yang dirancang untuk meningkatkan efisiensi pengembangan terapeutik dengan memanfaatkan kekuatan model bahasa besar.
Dibangun berbasis Gemma milik Google DeepMind, rangkaian model terbuka termutakhir yang ringan, TxGemma secara khusus dilatih untuk memahami dan memprediksi sifat-sifat entitas terapeutik dalam seluruh proses penemuan, mulai dari mengidentifikasi target yang menjanjikan hingga membantu memprediksi hasil uji klinis. Ini berpotensi mempersingkat waktu dari lab ke tempat tidur, dan mengurangi biaya yang terkait dengan metode tradisional.
Oktober tahun lalu, kami memperkenalkan Tx-LLM, sebuah model bahasa yang dilatih untuk berbagai tugas terapeutik yang berkaitan dengan pengembangan obat. Setelah banyaknya minat untuk menggunakan dan menyesuaikan model ini untuk aplikasi terapeutik, kami mengembangkan penerusnya dalam skala praktis: TxGemma, yang kami rilis hari ini agar developer bisa beradaptasi dengan data dan tugas terapeutik mereka sendiri.
Model TxGemma, yang disempurnakan dari Gemma 2 menggunakan 7 juta contoh pelatihan, adalah model terbuka yang dirancang untuk prediksi dan analisis data terapeutik percakapan. Model ini tersedia dalam tiga ukuran: 2B, 9B, dan 27B. Setiap ukuran mencakup versi ‘prediksi’, yang secara khusus dirancang untuk tugas-tugas spesifik yang diambil dari Therapeutic Data Commons, misalnya memprediksi apakah suatu molekul beracun.
Tugas-tugas ini meliputi:
Model TxGemma terbesar (versi prediksi 27B) memberikan performa yang kuat. Model ini tidak hanya lebih baik daripada, atau kurang lebih sama dengan, model generalis termutakhir kami sebelumnya (Tx-LLM) pada hampir setiap tugas, tetapi juga menyaingi atau mengalahkan banyak model yang secara khusus dirancang untuk tugas tunggal. Secara khusus, model ini mengungguli atau memiliki performa yang setara dengan model kami sebelumnya pada 64 dari 66 tugas (mengalahkannya pada 45 tugas), dan melakukan hal yang sama terhadap model khusus pada 50 tugas (mengalahkannya pada 26 tugas). Lihat makalah TxGemma untuk hasil terperinci.
TxGemma juga menyertakan versi ‘chat’ 9B dan 27B. Model ini menambahkan data penyesuaian instruksi umum pada pelatihannya sehingga mereka dapat menjelaskan alasannya, menjawab pertanyaan kompleks, dan terlibat dalam diskusi multi-giliran. Sebagai contoh, seorang peneliti bisa bertanya kepada TxGemma-Chat mengapa ia memprediksi molekul tertentu sebagai molekul yang beracun dan menerima penjelasan berdasarkan struktur molekul tersebut. Kemampuan percakapan ini hanya membutuhkan sedikit biaya performa mentah pada tugas-tugas terapeutik dibandingkan dengan TxGemma-Predict.
Sebagai bagian dari rilis ini, kami menyertakan contoh penyesuaian notebook Colab yang menunjukkan bagaimana developer bisa menyesuaikan TxGemma dengan data dan tugas terapeutik mereka sendiri. Notebook ini menggunakan set data TrialBench untuk menunjukkan cara menyesuaikan TxGemma untuk memprediksi efek samping dalam uji klinis. Penyesuaian memungkinkan peneliti memanfaatkan data milik mereka untuk membuat model yang disesuaikan dengan kebutuhan penelitian mereka yang unik, yang mungkin mengarah pada prediksi yang lebih akurat yang akan membantu peneliti menilai seberapa aman atau efektif terapi baru yang potensial.
Selain prediksi satu langkah, kami mendemonstrasikan cara TxGemma terintegrasi ke dalam sistem keagenan untuk mengatasi masalah penelitian yang lebih kompleks. Model bahasa standar sering kali kesulitan dalam menangani tugas yang membutuhkan pengetahuan eksternal terkini atau penalaran multi-langkah. Untuk mengatasi hal ini, kami mengembangkan Agentic-Tx, sistem keagenan yang berfokus pada terapeutik yang didukung oleh Gemini 2.0 Pro. Agentic-Tx dilengkapi dengan 18 alat, termasuk:
Agentic-Tx mencapai hasil terbaik pada tugas kimia dan biologi yang membutuhkan penalaran intensif dari tolok ukur, seperti Humanity's Last Exam dan ChemBench. Kami menyertakan notebook Colab dalam rilis ini untuk mendemonstrasikan cara Agentic-Tx digunakan untuk mengatur alur kerja yang kompleks dan menjawab pertanyaan penelitian multi-langkah.
Anda bisa mengakses TxGemma di Vertex AI Model Garden dan Hugging Face hari ini. Kami mendorong Anda untuk menjelajahi model-modelnya, mencoba inferensi, penyesuaian, dan agen notebook Colab, dan membagikan masukan Anda! Sebagai model terbuka, TxGemma dirancang untuk dikembangkan lebih lanjut – peneliti dapat menyesuaikannya dengan data mereka untuk kasus penggunaan pengembangan terapeutik khusus. Kami sangat antusias menantikan kreasi komunitas menggunakan TxGemma untuk mempercepat penemuan terapeutik.
Kontributor utama dalam project ini adalah: Eric Wang, Samuel Schmidgall, Fan Zhang, Paul F. Jaeger, Rory Pilgrim, dan Tiffany Chen. Kami juga berterima kasih kepada Shravya Shetty, Dale Webster, Avinatan Hassidim, Yossi Matias, Yun Liu, Rachelle Sico, Phoebe Kirk, Fereshteh Mahvar, Can “John” Kirmizi, Fayaz Jamil, Tim Thelin, Glenn Cameron, Victor Cotruta, David Fleet, Jon Shlens, Omar Sanseviero, Joe Fernandez, dan Joelle Barral, atas masukan dan dukungannya selama project ini berlangsung.
