Image Captioning: Pengertian, Jenis, Cara Kerja dan Contoh

Dalam era di mana gambar dan visualisasi berperan penting dalam komunikasi, pengembangan teknologi image captioning menjadi semakin relevan. Image captioning adalah kemampuan komputer untuk menghasilkan deskripsi teks yang menjelaskan gambar dengan tepat.

Dalam beberapa tahun terakhir, image captioning telah menjadi subjek penelitian yang menarik di bidang kecerdasan buatan dan pemrosesan bahasa alami. Kemajuan teknologi ini telah memungkinkan komputer untuk “memahami” gambar dengan lebih baik dan menghasilkan deskripsi yang semakin akurat dan rinci.

Dengan demikian, image captioning telah membuka berbagai peluang baru, termasuk meningkatkan aksesibilitas bagi orang dengan gangguan penglihatan, meningkatkan pencarian gambar, dan menghadirkan pengalaman yang lebih kaya dalam berbagai aplikasi.

Apa itu Image Captioning, Caption Generation, Generator atau Keterangan Gambar Otomatis

Image captioning atau keterangan gambar otomatis adalah proses menghasilkan deskripsi teks yang menjelaskan konten atau isi gambar secara otomatis. Dalam bidang kecerdasan buatan, teknik ini juga dikenal dengan istilah caption generation atau generator keterangan.

Tujuan utama dari image captioning adalah mengembangkan sistem komputer yang dapat “memahami” gambar dan menghasilkan deskripsi yang relevan dan akurat. Proses ini melibatkan penggabungan antara pemrosesan gambar menggunakan teknik seperti jaringan saraf konvolusi (convolutional neural network/CNN) untuk mengekstrak fitur visual, dan pemrosesan bahasa alami menggunakan model seperti Long Short-Term Memory (LSTM) untuk menghasilkan deskripsi teks.

Dalam image captioning, sistem komputer akan mempelajari pola dan hubungan antara gambar dan deskripsi teks yang sesuai melalui pelatihan menggunakan dataset yang berisi pasangan gambar dan keterangan yang telah diberikan oleh manusia. Setelah melalui pelatihan yang memadai, sistem tersebut dapat digunakan untuk menghasilkan keterangan secara otomatis untuk gambar-gambar baru yang belum pernah dilihat sebelumnya.

Tujuan dan Fungsi Image Captioning

1. Meningkatkan Pemahaman Konten Visual

Salah satu tujuan utama image captioning adalah meningkatkan pemahaman manusia terhadap konten visual. Dengan menghasilkan deskripsi teks yang menjelaskan gambar, image captioning memungkinkan orang untuk memperoleh informasi lebih lengkap tentang gambar tersebut, terutama bagi mereka yang memiliki gangguan penglihatan atau kesulitan dalam menginterpretasi gambar.

2. Meningkatkan Aksesibilitas

Image captioning juga berfungsi untuk meningkatkan aksesibilitas bagi orang dengan gangguan penglihatan. Dengan menyediakan deskripsi teks yang menjelaskan gambar, orang dengan keterbatasan penglihatan dapat memperoleh informasi yang sama dengan orang yang dapat melihat gambar tersebut secara langsung. Hal ini membantu memperluas kesempatan partisipasi mereka dalam mengonsumsi konten visual di berbagai platform.

3. Pencarian Gambar yang Lebih Canggih

Image captioning memiliki peran penting dalam pengembangan sistem pencarian gambar yang lebih canggih. Dengan memberikan deskripsi teks yang akurat untuk gambar, sistem pencarian dapat memperoleh pemahaman yang lebih baik tentang konten gambar dan dapat menghasilkan hasil pencarian yang lebih relevan. Ini memungkinkan pengguna untuk menemukan gambar berdasarkan deskripsi teks yang mereka berikan, meningkatkan efisiensi dan keakuratan pencarian gambar.

4. Pengembangan Aplikasi Multimedia

Image captioning juga memiliki manfaat dalam pengembangan aplikasi multimedia yang interaktif dan menarik. Dengan menggabungkan konten visual dan deskripsi teks, aplikasi dapat memberikan pengalaman yang lebih kaya dan informatif bagi pengguna. Contohnya adalah penggunaan image captioning dalam tur virtual, galeri seni online, atau aplikasi berbagi foto, di mana deskripsi teks dapat membantu pengguna memahami dan menghargai konten visual dengan lebih baik.

5. Pengenalan Konten Berbasis Gambar

Image captioning dapat digunakan sebagai teknik untuk mengenali dan mengklasifikasikan konten berbasis gambar. Dengan menghasilkan deskripsi teks yang akurat, sistem image captioning dapat membantu dalam pengenalan objek, lokasi, kejadian, atau situasi yang terkandung dalam gambar. Ini dapat diterapkan dalam berbagai bidang, seperti keamanan, analisis citra, dan pengenalan pola.

Cara Kerja Image Captioning

Pemrosesan gambar menggunakan jaringan saraf konvolusi (convolutional neural network/CNN): Image captioning dimulai dengan pemrosesan gambar menggunakan jaringan saraf konvolusi. CNN merupakan model yang dirancang khusus untuk menganalisis dan mengekstrak fitur-fitur visual dari gambar. Jaringan ini terdiri dari beberapa lapisan konvolusi dan lapisan penggabungan (pooling) yang secara bertahap mengekstraksi informasi penting dari gambar, seperti bentuk, tekstur, dan pola.

1. Representasi Fitur Visual

Setelah melalui lapisan-lapisan CNN, gambar diubah menjadi representasi fitur visual yang lebih kompak. Representasi ini mencakup informasi tentang fitur-fitur visual yang relevan dalam gambar. Representasi fitur ini akan digunakan sebagai input untuk tahap berikutnya dalam proses image captioning.

2. Pemrosesan Bahasa Menggunakan Model Pemrosesan Bahasa Alami

Tahap selanjutnya dalam image captioning melibatkan pemrosesan bahasa menggunakan model pemrosesan bahasa alami. Salah satu model yang umum digunakan adalah Long Short-Term Memory (LSTM). LSTM adalah jenis jaringan saraf rekuren yang mampu memahami dan menghasilkan urutan kata-kata yang tepat.

3. Penggabungan Fitur Visual dan Pemrosesan Bahasa

Pada tahap ini, representasi fitur visual dari gambar dan konteks bahasa diolah bersama-sama. Representasi fitur visual dan konteks bahasa digabungkan dalam model LSTM untuk menghasilkan urutan kata-kata yang mewakili deskripsi teks dari gambar.

Proses ini melibatkan pelatihan model menggunakan dataset yang berisi pasangan gambar dan deskripsi teks manusia yang sesuai. Selama pelatihan, model belajar untuk menyesuaikan bobot-bobotnya agar menghasilkan deskripsi teks yang semakin akurat dan relevan.

4. Generasi Deskripsi Teks

Setelah melalui tahap penggabungan fitur visual dan pemrosesan bahasa, model yang terlatih dapat digunakan untuk menghasilkan deskripsi teks untuk gambar-gambar baru. Proses ini melibatkan memberikan gambar baru ke dalam model, yang kemudian akan menghasilkan urutan kata-kata yang mewakili deskripsi teks untuk gambar tersebut.

5. Evaluasi dan Peningkatan

Untuk memastikan keakuratan dan kualitas deskripsi teks yang dihasilkan, model image captioning perlu dievaluasi secara teratur. Evaluasi dilakukan dengan membandingkan deskripsi teks yang dihasilkan oleh model dengan deskripsi teks manusia yang benar.

Hasil evaluasi digunakan untuk mengidentifikasi dan memperbaiki kelemahan atau kesalahan dalam model, sehingga model dapat ditingkatkan untuk menghasilkan deskripsi teks yang lebih baik.

Jenis Macam Arsitektur dan Dataset dalam Image Captioning, Caption Generation, Generator, atau Keterangan Gambar Otomatis

1. Encoder-Decoder

Arsitektur ini merupakan salah satu yang paling umum digunakan dalam image captioning. Encoder-Decoder terdiri dari dua komponen utama: encoder yang bertanggung jawab untuk menghasilkan representasi fitur visual dari gambar menggunakan jaringan saraf konvolusi (CNN), dan decoder yang menggunakan model pemrosesan bahasa alami seperti Long Short-Term Memory (LSTM) untuk menghasilkan urutan kata-kata yang mewakili deskripsi teks. Encoder mengubah gambar menjadi representasi fitur visual, sedangkan decoder menghasilkan urutan kata-kata berdasarkan representasi tersebut.

2. Attention-based Models

Model-model ini memperkenalkan mekanisme attention untuk meningkatkan kinerja dalam menghasilkan deskripsi teks yang lebih baik. Mekanisme attention memungkinkan model untuk “mengamati” bagian-bagian tertentu dari gambar saat menghasilkan kata-kata dalam deskripsi teks. Hal ini membantu model untuk fokus pada bagian-bagian gambar yang paling relevan dengan kata yang akan dihasilkan, sehingga menghasilkan deskripsi yang lebih akurat dan rinci.

3. Transformer-based Models

Transformer adalah arsitektur neural network yang populer dalam pemrosesan bahasa alami. Dalam konteks image captioning, model-model berbasis Transformer menggunakan lapisan self-attention untuk mempelajari hubungan antara gambar dan deskripsi teks. Model-model ini dapat menghasilkan deskripsi teks dengan mempertimbangkan konteks global dari gambar dan mengatasi keterbatasan jaringan rekuren tradisional.

Jenis Macam Dataset dalam Image Captioning

1. MSCOCO (Microsoft Common Objects in Context)

MSCOCO adalah salah satu dataset yang paling banyak digunakan dalam image captioning. Dataset ini berisi lebih dari 120 ribu gambar yang telah diberi anotasi dengan deskripsi teks oleh manusia. MSCOCO mencakup berbagai kategori objek dan kejadian yang berbeda, sehingga memungkinkan model untuk mempelajari variasi yang luas dalam deskripsi teks.

2. Flickr8K dan Flickr30K

Dataset ini berisi gambar-gambar dari layanan berbagi foto Flickr. Flickr8K berisi sekitar 8 ribu gambar, sedangkan Flickr30K berisi sekitar 30 ribu gambar. Setiap gambar dalam dataset ini diberi lima deskripsi teks oleh manusia, sehingga memungkinkan model untuk belajar variasi dalam deskripsi yang mungkin untuk satu gambar.

3. Visual Genome

Visual Genome adalah dataset yang lebih besar dan lebih kompleks. Dataset ini berisi lebih dari 100 ribu gambar dengan anotasi yang lebih rinci, termasuk informasi tentang objek, atribut, hubungan, dan lokasi dalam gambar. Visual Genome menyediakan konteks yang lebih kaya dan mendalam bagi model dalam menghasilkan deskripsi teks yang lebih detail dan informatif.

4. COCO-Text

Dataset ini difokuskan pada gambar-gambar yang mengandung teks. COCO-Text berisi lebih dari 63 ribu gambar dengan anotasi teks dan deskripsi. Dataset ini dapat digunakan untuk tujuan caption generation yang berfokus pada pengenalan dan deskripsi teks dalam gambar

5. Conceptual Captions

Dataset Conceptual Captions merupakan dataset yang lebih besar dan mencakup lebih dari 3 juta gambar dengan deskripsi teks yang dibuat secara otomatis. Dataset ini dikumpulkan dari berbagai sumber online dan mencakup beragam topik, objek, dan situasi. Keberagaman dataset ini memungkinkan model untuk belajar tentang variasi dalam deskripsi teks dan meningkatkan kemampuan mereka dalam menghasilkan caption yang lebih kreatif dan informatif.

6. SBU (State University of New York) Captioned Image Dataset

Dataset ini berisi lebih dari 1 juta gambar dengan deskripsi teks yang dikumpulkan dari layanan berbagi gambar online. SBU Captioned Image Dataset mencakup berbagai kategori dan tema gambar, sehingga model dapat mengembangkan pemahaman yang lebih luas tentang konten visual.

7. Open Images

Open Images adalah dataset yang sangat luas dan mencakup jutaan gambar dengan berbagai kategori. Dataset ini memiliki anotasi objek yang terkait dengan gambar, namun tidak menyertakan deskripsi teks.

Namun, dengan menggunakan teknik pemrosesan bahasa alami, deskripsi teks dapat dibuat secara otomatis untuk gambar-gambar dalam dataset ini, yang kemudian dapat digunakan untuk melatih model image captioning.

Contoh Implementasi Image Caption Generation dalam Deep Learning

Implementasi image caption generation dalam deep learning dapat dilakukan menggunakan berbagai kerangka kerja (framework) deep learning seperti TensorFlow atau PyTorch. Berikut adalah contoh implementasi menggunakan TensorFlow:

1. Pra-pemrosesan Data

• Mengunduh dataset yang sesuai, seperti MSCOCO, Flickr8K, atau dataset lain yang relevan.
• Menyusun dataset menjadi pasangan gambar dan deskripsi teks yang sesuai.
• Melakukan tokenisasi pada deskripsi teks untuk mengubahnya menjadi urutan kata-kata yang terpisah.

2. Membangun Arsitektur Model

• Membuat arsitektur model dengan menggunakan kombinasi antara jaringan saraf konvolusi (CNN) untuk pemrosesan gambar dan model pemrosesan bahasa alami seperti LSTM atau Transformer untuk pemrosesan teks.
• Menentukan jumlah lapisan, ukuran filter, dan parameter lainnya untuk arsitektur CNN.
• Menentukan jumlah unit LSTM, ukuran embedding kata, dan parameter lainnya untuk model pemrosesan bahasa.

3. Pelatihan Model

• Memisahkan dataset menjadi data pelatihan dan data validasi.
• Melatih model dengan memberikan pasangan gambar dan deskripsi teks sebagai input dan mengoptimalkan bobot model menggunakan algoritma pelatihan seperti stochastic gradient descent (SGD) atau Adam.
• Mengevaluasi kinerja model menggunakan metrik seperti perplexity atau BLEU score pada data validasi.
• Menyesuaikan parameter dan arsitektur model jika diperlukan berdasarkan hasil evaluasi.

4. Generasi Caption

• Menggunakan model yang telah dilatih untuk menghasilkan deskripsi teks untuk gambar baru.
• Memberikan gambar baru ke dalam model sebagai input dan menggunakan output model untuk menghasilkan urutan kata-kata yang mewakili deskripsi teks.
• Mengkonversi urutan kata-kata menjadi teks yang dapat dibaca untuk menghasilkan caption akhir untuk gambar tersebut.

5. Evaluasi dan Peningkatan

• Mengevaluasi deskripsi teks yang dihasilkan oleh model dengan membandingkannya dengan deskripsi manusia yang benar.
• Mengidentifikasi dan menganalisis kesalahan atau kelemahan dalam deskripsi yang dihasilkan oleh model.
• Menggunakan informasi dari evaluasi untuk melakukan perbaikan pada arsitektur model, pemrosesan data, atau teknik pelatihan yang digunakan.
• Melakukan iterasi pelatihan dan evaluasi untuk meningkatkan kualitas caption yang dihasilkan oleh model.

Implementasi image caption generation dalam deep learning melibatkan tahapan-tahapan tersebut di atas. Dengan melatih model menggunakan dataset yang memadai dan mengoptimalkan parameter serta arsitektur model, dapat dihasilkan sistem image captioning yang mampu menghasilkan deskripsi teks yang relevan dan akurat untuk gambar-gambar yang diberikan.