Ang kumbinasyon ng mga hyperspectral camera at artipisyal na katalinuhan Lubos nitong binabago ang paraan ng ating pagtingin at pagsusuri sa materyal na mundo. Hindi na lamang ito tungkol sa pagkuha ng magagandang larawan, kundi tungkol sa pagtuklas ng impormasyong kemikal at istruktural na literal na hindi nakikita ng mata ng tao at ng mga tradisyunal na kamera.
Sa pamamagitan ng mga pinaliit na optoelectronic sensorGamit ang integrated-chip spectrometers at lalong makapangyarihang AI algorithms, posible na pagtuklas ng mga depekto, pag-uri-uriin ang mga materyales, pagsusuri ng mga pananim o paggabay sa mga operasyon sa totoong oras at may katumpakan na ilang taon pa lamang ang nakalilipas ay parang science fiction. At ang pinakamaganda: marami sa mga sistemang ito ay nagsisimula nang umalis sa laboratoryo at maisama sa mga totoong linya ng produksyon, mga sakahan, o mga operating room.
Ano ang isang hyperspectral camera na may artificial intelligence?
Ang hyperspectral camera ay, sa esensya, isang sistema ng imaging na kumukuha ng sampu o daan-daang spectral bands Para sa bawat punto sa eksena, karaniwan mula sa nakikita hanggang sa malapit-infrared, na may karaniwang mga resolusyon sa pagitan ng 4 at 10 nm depende sa disenyo ng sensor. Habang ang isang RGB camera ay nagtatalaga ng tatlong halaga ng kulay bawat pixel, ang isang hyperspectral system ay bumubuo ng isang kumpletong spectral vector bawat pixel, na nagpapahintulot sa mga materyales na matukoy sa pamamagitan ng kanilang natatanging spectral signature.
Kapag ang ganitong uri ng kamera ay nilagyan ng isang module ng artipisyal na katalinuhan na may kakayahang pumili, magbigay-kahulugan, at uriin Ang impormasyong ito ay nagbubunga ng isang napakalakas na kagamitang analitikal: posibleng makilala ang mga kemikal, istruktural o organoleptikong katangian nang walang kontak at sa isang hindi nagsasalakay na paraan, na may mga awtomatikong resulta na maaaring direktang maisama sa mga prosesong pang-industriya, agrikultural o klinikal.
Ang mga proyektong tulad ng OASYS, na binuo sa mga sentro ng sanggunian sa mga photonic microsystem, ay umaasa sa mga advanced na optoelectronic sensor at integrated spectrometer Itinatala ng mga aparatong ito ang mga katangiang spectral ng bawat punto sa siniyasat na produkto o materyal. Ipinapakita nito ang mga katangiang kemikal na imposibleng makita gamit ang mga kumbensyonal na kamera, na nagpapadali sa maagang pagtuklas ng mga depekto sa pagkain, plastik, o tela.
Hanggang kamakailan lamang, ang mga pangunahing balakid sa mga teknolohiyang ito ay ang kanilang laki, teknikal na kasalimuotan, at gastos. Mga compact camera na nakabatay sa AIKapag sinamahan ng napakababang power on-chip spectrometers, binabago nito ang sitwasyon at nagbubukas ng pinto sa mga solusyon na maaaring isama sa mga makinang pangproduksyon, mga mobile system, at maging sa mga handheld device.
Isang partikular na kawili-wiling pamamaraan ay ang iminungkahi ng Fraunhofer Institute for Photonic Microsystems, na pinagsasama ang isang kumbensyonal na 2D na kamera na may sensor ng spectral at isang modyul ng AIKukuha muna ang sistema ng klasikong imahe ng pinangyarihan, tinutukoy ang mga kaugnay na rehiyon gamit ang mga algorithm ng computer vision, at inilalapat lamang ang detalyadong hyperspectral analysis sa mga rehiyong iyon. Binabawasan nito ang dami ng datos nang hindi isinasakripisyo ang katumpakan ng kemikal.
Pagbabawas ng datos at mga teknikal na bentahe ng inilapat na AI
Isa sa mga pinakamalaking hadlang sa malawakang paggamit ng hyperspectral imaging ay ang napakalaking dami ng datos na nabuo ng isang hypercube (ang three-dimensional na representasyon na pinagsasama ang lapad, taas, at wavelength). Ang spectrally analysing sa bawat pixel ng isang buong eksena ay maaaring maging lubhang magastos sa mga tuntunin ng imbakan, pagproseso, at pagkonsumo ng enerhiya kung ninanais ang real-time na operasyon.
Ang mga hybrid system na nagsasama ng AI ay nakakayanan ang limitasyong ito sa pamamagitan ng isang matalinong pagpili ng mga rehiyon na interesadoSa mga karaniwang aplikasyon sa industriya, ang pamamaraang ito ay nagbibigay-daan para sa 70-85% na pagbawas sa dami ng spectral data kumpara sa isang full-scan system. Sa madaling salita, ang hyperspectral na detalye ay nakukuha lamang kung saan kinakailangan, at ang mga hindi kaugnay na detalye ay binabalewala.
Ang pagbabawas ng datos na ito ay direktang isinasalin sa mas kaunting memorya ang kailangan, mas kaunting pagkonsumo ng enerhiya at mga oras ng pagproseso na tugma sa mga linya ng produksyon na kayang humawak ng ilang dosenang bagay bawat segundo. Ang AI ay gumaganap bilang isang paunang pansala at utak sa paggawa ng desisyon, sinusuri kung ang isang produkto ay nakakatugon sa mga ispesipikasyon o kung ang isang materyal ay kabilang sa isang partikular na kategorya.
Sa antas na kwantitatibo, kapag ang mga pinong resolusyong spectral ay pinagsama sa mga modelo ng klasipikasyon batay sa mga neural network o iba pang mga algorithm ng machine learning, maaaring makamit ang mga sumusunod: mga rate ng tagumpay na higit sa 95% sa mga gawain sa pagtukoy ng materyal, sa kondisyon na ang dataset na ginamit para sa pagsasanay ay tumpak na kumakatawan sa mga aktwal na baryasyon sa kapaligiran ng trabaho.
Bukod pa rito, ang pagpapaliit ng mga spectrometer, na may mga aktibong ibabaw na mas maliit sa 1 mm² at mga resolusyon ng spectral na mas mababa sa 10 nm, ay nagbibigay-daan para sa disenyo ng mas compact na mga camera. Ang ilang mga prototype ng AI-assisted on-chip spectrometer, na inilarawan sa mga siyentipikong literatura na inilathala sa mga platform tulad ng arXiv, ay may kakayahang gumana sa mga wavelength na malapit sa 1100 nm. konsumo sa ibaba ng 100 mW, na ginagawang angkop ang mga ito para sa mga portable device o mga sistemang pinapagana ng baterya.
Ang pagsulong na ito ay hindi lamang binabawasan ang laki at pagkonsumo ng kuryente kundi pinapabuti rin ang pangkalahatang katatagan sa pamamagitan ng pag-aalis ng malalaking elementong optikal at mga gumagalaw na bahagi. Ang mga modular na arkitektura, na malawakang ginagamit sa mga katalogo ng mga tagagawa ng industrial machine vision, ay nagpapadali sa pag-aangkop ng mga matatalinong hyperspectral module na ito upang iba't ibang produktibong sektor na may kaunting pagbabago.
Kontrol sa kalidad ng industriya: pagkain, plastik at tela
Isa sa mga larangan kung saan pinakamalinaw na nakikita ang potensyal ng mga solusyong ito ay ang awtomatikong kontrol sa kalidad sa industriyaHalimbawa, sa industriya ng pagkain, ginagawang posible ng hyperspectral imaging ang pagtuklas ng panloob na pinsala, mga pagbabago sa komposisyon, o kontaminasyon sa ibabaw na hindi makikita sa isang kumbensyonal na litrato.
Sa pamamagitan ng pagsusuri sa spectral signature ng bawat punto sa pagkain, magagawa ng isang sinanay na AI algorithm Tukuyin ang mga depektibong produkto, mga banyagang bagay, o hindi sapat na antas ng pagkahinogNakakatulong ito na mabawasan ang hindi kinakailangang basura at ang panganib ng mga produktong hindi sumusunod sa regulasyon na makarating sa mamimili, habang kasabay nito ay pinapanatili ang mataas na bilis ng inspeksyon sa linya ng packaging.
Sa mga sektor tulad ng plastik at tela, ang mga compact hyperspectral camera na may AI ay may kakayahang makilala mga partikular na uri ng polimer o pinaghalong materyales na mukhang magkapareho sa paningin. Mahalaga ito sa mga proseso ng awtomatikong pag-recycle, kung saan ang wastong paghihiwalay ng iba't ibang materyales ay direktang nakakaimpluwensya sa kalidad ng pangwakas na produkto at sa kakayahang kumita ng proseso.
Ang spectral discrimination ay nagbibigay-daan para sa pagkakaiba-iba ng, halimbawa, mga plastik na may parehong kulay at tekstura ngunit kabilang sa iba't ibang pamilya ng kemikal. Sa pamamagitan ng mga sinanay na modelo ng klasipikasyon, awtomatikong maididirekta ng AI ang mga materyales sa naaangkop na daloy ng pag-recycle o tanggihan ang mga hindi nakakatugon sa mga kinakailangan, nang hindi nangangailangan ng mga pisikal na marker o karagdagang label.
Sa kaso ng mga tela, ginagawang mas madali ng teknolohiyang ito ang pagtuklas mga hindi gustong pinaghalong hibla, mga paggamot sa ibabaw, o mga kontaminante na maaaring makaapekto sa kalidad, tibay, o resistensya sa apoy ng isang tela. Ang mga optoelectronic sensor na binuo sa mga proyektong tulad ng OASYS, kasama ang mga integrated spectrometer, ay nagbibigay-daan para sa pagtatala ng detalyadong impormasyon ng spectral kahit na sa mabilis na paggalaw, na mahalaga sa mga linya ng produksyon ng tela o mga proseso ng pagtatapos.
Nagsisimula nang isama ng industriyal na ekosistema ang mga sistemang ito sa mga teknikal na katalogo at mga solusyong pangkomersyo. Ang mga tagagawa na dalubhasa sa machine vision at mga kumpanyang nakatuon sa koneksyon at industrial electronics, tulad ng Phoenix Contact kasama ang portfolio nito ng mga konektor na nakatuon sa automated SMT assembly, ay inaayos ang kanilang mga produkto upang Ang mga hyperspectral camera ay isinama sa mga industrial data network sa isang simple at istandardisadong paraan.
Precision agriculture at mga proyekto tulad ng SCOUT
Ang agrikultura ay isa pang larangan kung saan ang kombinasyon ng hyperspectral imaging at AI ay gumagawa ng isang kwalitatibong paglukso. Ang spectral signatures ng mga halaman ay nagbibigay-daan para sa pagsusuri ng kanilang mga katangian. kalagayang pisyolohikal, stress sa tubig, kakulangan sa nutrisyon o ang pagkakaroon ng mga sakit bago pa man makita ng mata ang mga sintomas.
Isang kapansin-pansing halimbawa ay ang proyektong SCOUT, na nakatuon sa pagsusuri ng mga olibo sa mesa gamit ang mga lagda ng multispectralPara sa aplikasyong ito, isang prototype na handheld device ang ginamit, na idinisenyo upang patakbuhin ng isang tao lamang, na nilagyan ng mga sensor na sumasaklaw sa hanay na 400 hanggang 1000 nm, na sumasaklaw sa mga banda na may kaugnayan sa pag-aaral ng mga katangian ng prutas.
Ang portable device na ito ay nakatuon, pagkatapos ng paunang pagsusuri, sa mga wavelength na nagpapakita ng pinakamalaking ugnayan sa mga parameter na susukatin, tulad ng antas ng kapanahunan o ilang mga katangiang organoleptikoSa pamamagitan ng paggamit lamang ng mga pinakamahahalagang banda, ang laki at halaga ng kagamitan ay lubhang nababawasan, habang pinapanatili ang napakataas na antas ng paggana para sa magsasaka.
Bukod sa handheld device, isinasama rin ng SCOUT ang isang mobile system na nangongolekta ng mga imaheng multispectral mula sa isang kamerang nasa loob ng sasakyan sa isang zip line tungkol sa plantasyon. Ang mga larawang ito ay nagbibigay-daan sa pagsusuri ng konteksto ng pananim, pagkuha ng impormasyon tungkol sa kaberdehan, densidad ng mga halaman at pangkalahatang kalusugan ng taniman ng olibo gamit ang mga indeks tulad ng NDVI (normalized difference vegetation index).
Ang impormasyong nakalap ng parehong sistema—ang handheld at ang mobile—ay pinoproseso gamit ang mga pamamaraan ng artificial intelligence batay sa malalalim na neural network (Deep Learning)Ang mga modelo ay sinanay gamit ang mga naka-label na datos sa bukid, upang, kapag naipatupad na, makapag-alok ang mga ito ng mga rekomendasyon ng eksperto sa magsasaka: pinakamainam na oras ng pag-aani, pagsosona ng plot, maagang pagtuklas ng mga problema, o mga pagtatantya ng ani.
Ang arkitekturang ito ay nagbibigay-daan sa isang tunay na sistemang siber-pisikal na nakatuon sa paggawa ng desisyong agronomikokung saan ang mga sensor, AI algorithm, at mga digital platform ay patuloy na nakikipag-ugnayan. Itinataguyod ng European Union ang ganitong uri ng mga inisyatibo sa pamamagitan ng mga pondong tulad ng Next Generation EU, na nagpopondo sa mga proyekto ng R&D sa artificial intelligence at mga digital na teknolohiya na isinama sa mga value chain ng agrikultura at agro-industrial.
Mga digital na plataporma, web interface at mobile app
Para maging tunay na kapaki-pakinabang ang mga AI-powered hyperspectral camera sa labas ng laboratoryo, hindi sapat ang hardware at mga algorithm lamang; mahalagang magkaroon nito. mga digital platform na malinaw na nagpapakita ng mga resulta sa mga technician, operator, o magsasaka. Sa kaso ng SCOUT at mga katulad na sistema, ang arkitektura ng software ay umaasa sa isang web application at isang mobile app na nagsisilbing nakikitang mukha ng sistema.
Ang web application ay gumagana bilang pangunahing panel ng kontrol at pagsusuriIto ay naa-access sa pamamagitan ng isang web browser at nag-aalok ng lahat mula sa data at map visualization hanggang sa configuration ng mga business parameter na may kaugnayan sa bawat user (hal., mga quality threshold, batch definition, o classification criteria). Ang interface na ito ay dynamic na nakikipag-ugnayan sa isang REST API na nagsasarili sa pagpapalitan ng impormasyon sa backend layer at field devices.
Ang mobile app, sa bahagi nito, ay may dalawahang tungkulin: sa isang banda, pinapayagan nito ang kumunsulta sa mahahalagang impormasyon tungkol sa kalagayan ng mga pananim o lote anumang oras at lugar; sa kabilang banda, ito ang kagamitang namamagitan sa handheld device at sa cloud, gamit ang Bluetooth connectivity ng terminal kung saan ito naka-install upang i-synchronize ang field data.
Ang ganitong uri ng arkitektura ay nagbibigay-daan para sa parehong teknikal na kawani at mga end user na walang advanced na teknolohikal na profile na makipag-ugnayan sa mga kumplikadong modelo ng AI nang hindi nangangailangan ng malalim na kaalaman sa hyperspectral imaging o deep learning algorithms. Kunin lamang ang data kasunod ng isang guided workflow at hayaan ang system na iproseso, suriin, at ipakita ang mga resulta sa isang madaling maunawaang wika.
Sa mga industriyal na setting, ang parehong pilosopiya ay inilalapat sa pamamagitan ng mga integrasyon sa mga platform ng pagsubaybay sa MES, ERP, o SCADA, kung saan ang mga matatalinong hyperspectral camera ay nagiging isa pang node sa industriyal na network. Pinapadali ng pagiging tugma sa mga karaniwang pamantayan ng komunikasyon ang proseso. isinama ang mga resulta ng klasipikasyon o pagsukat sa mga awtomatikong desisyon ng pagtanggi, pagbabago ng ruta ng produkto o pagsasaayos ng mga parametro ng proseso.
Kemikal na imaging at interpretasyon ng mga hypercube
Isa sa mga pinakakawili-wiling pamamaraan sa pagsasalin ng hyperspectral data sa isang bagay na madaling maunawaan para sa gumagamit ay ang tinatawag na kemikal na imaheAng mga kompanyang dalubhasa sa hyperspectral vision, tulad ng INSPECTRA kasama ang teknolohiyang CHP® (Chemical image Processing) nito, ay pinagsasama ang machine vision at infrared spectroscopy upang makabuo ng mga RGB na imahe kung saan ang bawat kulay ay kumakatawan sa kaugnay na impormasyong kemikal.
Ang konsepto ng chemical imaging ay nagsisimula sa isang hypercube kung saan ang bawat voxel (ang three-dimensional na katumbas ng pixel, na nagdaragdag ng spectral axis) ay may kaugnay na natatanging spectral signatureGamit ang interpretation software, sinasanay ang mga modelo upang iugnay ang mga lagdang ito sa mga partikular na klase ng materyales, kontaminante, o mga parameter na interesado. Mula roon, isang RGB na imahe ang binubuo kung saan, halimbawa, ang mga berdeng tono ay itinatalaga sa mga produktong tatanggapin at mga pulang tono naman sa mga kontaminante o mga banyagang bagay.
Ang malaking bentahe ng pamamaraang ito ay, simula sa parehong hypercube, maaari nang bumuo ng maraming imaheng kemikal nang sabay-sabayAng bawat isa ay dinisenyo upang i-highlight ang isang iba't ibang kwalitatibong parametro: uri ng materyal, pagkakaroon ng mga depekto, distribusyon ng kahalumigmigan, atbp. Pinararami nito ang halaga ng hyperspectral acquisition, dahil maraming patong ng impormasyong biswal na nauunawaan ang kinukuha mula sa isang scan.
Inilalarawan nang maayos ng teknolohiyang CHP® kung paano isinama ang AI sa daloy ng trabaho: ang mga modelo na nagko-convert ng spectral data sa mga kemikal na imahe ay hindi static, ngunit inaayos at muling sinanay upang umangkop sa mga bagong produkto, mga pagbabago sa proseso, o mga pagkakaiba-iba sa mga kondisyon ng pag-iilawSa ganitong paraan, napapanatili ng sistema ang pagiging maaasahan nito sa paglipas ng panahon at maaaring i-deploy sa iba't ibang linya nang hindi kinakailangang ganap na muling idisenyo ang hardware.
Ang kakayahang isalin ang kumplikadong impormasyon sa mga simpleng visualization ay mahalaga rin sa mga medikal na setting, kung saan ang mga siruhano ay kailangang gumawa ng mabilis na mga desisyon nang mabilisan. Sa kontekstong iyon, ang pagkakaroon ng isang bahagi ng tumor o malusog na tisyu na lumilitaw na may kulay sa totoong oras ay maaaring gumawa ng malaking pagkakaiba sa estratehiya sa pag-opera.
Mga aplikasyong medikal: hyperspectral imaging sa operasyon
Sa larangan ng pangangalagang pangkalusugan, ang pagkuha, pagproseso, at paggunita ng mga hyperspectral na imahe ay nagiging matatag na bilang isang hindi nagsasalakay na kagamitang pansuporta sa mga pamamaraang pang-operasyonAng isang partikular na mahalagang kaso ay ang paggamit nito sa neurosurgery upang tukuyin ang mga tumor sa utak habang isinasagawa ang pamamaraan.
Gamit ang mga mobile camera na sumasaklaw sa mga saklaw tulad ng 665-975 nm, na may humigit-kumulang 25 spectral bands at spatial resolutions na nasa order na 2045 x 1085 pixels (katumbas ng 409 x 217 sa mga partikular na configuration), posibleng makakuha ng mga hypercube ng operating field nang halos real time. Ang bawat isa sa mga band ay nangongolekta ng iba't ibang impormasyon tungkol sa interaksyon ng liwanag sa mga tisyuDahil dito, nakikilala natin ang pagkakaiba ng tisyu ng tumor, malusog na tisyu, at mga kritikal na istruktura.
Pinoproseso ng mga algorithm ng pagsusuri ang mga hypercube na ito at bumubuo ng mga mapa na tumutulong sa siruhano na upang tumpak na matukoy ang mga gilid ng tumorBinabawasan nito ang dami ng malulusog na tisyu na natatanggal at napapaliit ang mga kasunod na komplikasyon. Sa pamamagitan ng pagpapabuti ng kahulugan ng mga gilid ng tumor, maaaring mabawasan ang parehong oras ng operasyon at paggaling, at nababawasan ang posibilidad ng pagbabalik sa dati.
Sa pagsasagawa, ang teknolohiyang ito ay nakakatulong sa isang nasasalat na pagpapabuti sa kalidad ng buhay ng pasyentesa pamamagitan ng pagpapahintulot sa mas konserbatibong mga interbensyon nang hindi isinasakripisyo ang bisa ng kanser. Bukod pa rito, ang aplikasyon nito ay ginalugad sa iba pang mga larangang medikal, tulad ng vascular surgery, dermatology, at pagsubaybay sa sugat, kung saan ang mga pagkakaiba sa spectral sa pagitan ng malusog at nabagong tisyu ay nag-aalok ng napakahalagang impormasyon.
Ang pagtatagpo ng hyperspectral imaging, AI, at mga surgical guidance system ay nagpapakita ng isang senaryo kung saan ang operating room ay nagiging isang lubos na digital na kapaligiran, kung saan ang siruhano ay may access sa mga patong ng impormasyong pang-functional at kemikal na nakapatong sa kumbensyonal na imahe, na nagpapadali sa mahihirap na desisyon na hanggang ngayon ay higit na nakabatay sa subhetibong karanasan.
Sa pangkalahatan, ang mga hyperspectral camera na may artificial intelligence ay lumilipat mula sa mga niche tool patungo sa mga pangunahing manlalaro sa mga industriyang magkakaiba tulad ng pagkain, tela, recycling, precision agriculture, at advanced medicine. Ang kanilang pinababang laki at pagkonsumo ng kuryente, ang paggamit ng mga modelo ng AI na may kakayahang pumili at mag-analisa lamang ng mga kaugnay na impormasyon, at ang paglitaw ng mga user-friendly na digital platform ay ginagawang mas posible ang kanilang pagpapatupad sa mga totoong kapaligiran, na nag-aalok ng antas ng kontrol, traceability, at kahusayan na perpektong naaayon sa mga hinihingi ng industriya at lipunan ngayon.
