Untuk memantau lingkungan dan menavigasi dunia nyata, robot harus dapat memperoleh gambar dan pengukuran lingkungan di bawah kondisi pencahayaan latar belakang yang berbeda. Dalam beberapa tahun terakhir, para peneliti dan insinyur di seluruh dunia telah bekerja untuk mengembangkan sensor yang semakin canggih untuk diintegrasikan ke dalam robot, sistem pengawasan, atau perangkat lain yang dapat merasakan lingkungan mereka.
Menurut Memes Consulting, para peneliti dari Universitas Politeknik Hong Kong, Universitas Peking, Universitas Yonsei dan Universitas Fudan baru-baru ini mengembangkan jenis baru sensor penglihatan bionik yang menggunakan mekanisme yang secara artifisial mensimulasikan fungsi retina dan dapat digunakan dalam berbagai Data dikumpulkan di bawah kondisi cahaya. Sensor penglihatan bionik ini didasarkan pada fototransistor yang terbuat dari molibdenum disulfida.
Foto susunan sensor penglihatan biomimetik (kiri); struktur skema unit sensor penglihatan dan gambar mikroskop optik (kanan)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
Pada tahun 2018, Yang Chai dan rekan-rekannya menerbitkan makalah pertama tentang memori optoelektronik, di mana mereka memperkenalkan perangkat memori switching resistif yang dapat melakukan penginderaan cahaya dan operasi logika. Setahun kemudian, tim memperkenalkan tipe baru memori akses acak fotoresistif dengan tiga fungsi berbeda. Secara khusus, perangkat baru dapat merasakan lingkungan, menyimpan informasi dalam memori, dan melakukan operasi preprocessing visual neuromorfik.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
Sensor gambar-of-canggih-berbasis teknologi CMOS biasanya memiliki rentang dinamis terbatas sebesar 70 dB. Namun, rentang dinamis ini jauh lebih sempit daripada rentang pencahayaan pemandangan alam (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Perangkat optoelektronik dengan penglihatan adaptif-cahaya dan jangkauan penginderaan luas di terminal sensorik dapat memiliki aplikasi yang sangat berharga. Misalnya, mereka dapat membantu meningkatkan kinerja alat visi komputer, mengurangi kompleksitas perangkat keras yang diperlukan untuk membangun robot atau sistem penginderaan lainnya, dan meningkatkan akurasi sistem pengenalan gambar.
Meskipun, tim peneliti lain telah mengembangkan perangkat optoelektronik yang dapat beradaptasi dengan kondisi pencahayaan yang berbeda di masa lalu. Namun, sebagian besar perangkat yang ditunjukkan sebelumnya hanya dapat meniru mekanisme adaptasi cahaya retina. Proses adaptasi gelap sejauh ini terbukti lebih sulit untuk disimulasikan.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Simulasi buatan fotoreseptor dan sel horizontal di retina untuk adaptasi visual (adaptasi gelap dan adaptasi cahaya)
Sensor penglihatan biomimetik yang dikembangkan oleh Yang Chai dan rekan didasarkan pada fototransistor yang terbuat dari bahan semikonduktor ultra tipis yang dikenal sebagai molibdenum disulfida. Fototransistor yang mereka gunakan memiliki beberapa status perangkap muatan yang dapat menjebak atau melepaskan elektron di dalam saluran pada tegangan gerbang yang berbeda.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai dan rekan-rekannya mengevaluasi sensor penglihatan bionik dalam serangkaian tes dan menemukan bahwa itu dapat secara efektif meniru fungsi retina manusia, mencapai hasil yang luar biasa dalam adaptasi gelap dan terang. Selain itu, ia memiliki rentang persepsi yang jauh lebih tinggi (199 dB) dibandingkan dengan solusi yang diusulkan sebelumnya.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
Dalam studi mendatang, para peneliti berencana untuk lebih meningkatkan kinerja sensor penglihatan, sekaligus menggunakannya untuk membuat sistem-skala besar yang terdiri dari susunan sensor. Idealnya, mereka ingin membangun susunan sensor ini pada substrat yang fleksibel atau setengah bola untuk memungkinkan bidang pandang yang lebih luas.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
Teknologi GMKJ sangat terlibat dalam sumber cahaya yang sehat dan cerdas, menyediakan rangkaian lengkap produk dan solusi UVA UVB UVC LED, inframerah IR LED VCSEL ke pasar. Ini memiliki ratusan mitra-kualitas tinggi di pasar domestik dan luar negeri untuk bersama-sama mempromosikan penggunaan teknologi ringan untuk menciptakan kehidupan yang sehat dan cerdas. .
