Time of Flight – Az ipari 3D jövője

A gyártásautomatizálás, robotika, logisztika sőt akár az önvezető járművek területén gyakran alkalmaznak olyan megoldásokatat, ahol kétdimenziós képadatokok kívül 3 dimenziós képalkotás is szükséges. Többféle megoldás is létezik a 3D képalkotásra, ezek egyike a Time of Flight (ToF) technológián alapukó kamerák csoportja.

screenshot-2016-08-29-16-29-15

A Time of Flight (ToF) kamerák a normál ipari kamerákhoz hasonlóan optikából, szenzorból és interfészből állnak, azonban ezek mellett beépített fényforrást is tartalmaznak, ami a technológia alapját adja. Ezáltal ezek a kamerák egyszerre képesek mélység és intenzitási információk feldolgozására, minden egyes pixelen.

screenshot-2016-08-29-16-26-11

A technológia egyik legnagyobb előnye, hogy mivel a mélységérzékelés független az intenzitástól és a tárgyak színétől, a vizsgált tárgy viszonylag egyszerű algoritmusok segítségével elkülöníthető a háttértől. A ToF kamerák ezen kívül a kompakt kameramérettel, az 1 cm-es pontosságával és magas képkockasebességével nyújtanak vonzó lehetőséget a különböző 3D-t igényló gépi látás alkalmazásoknak. Az egymást zavaró fények miatt sokáig egyszerre csak egy kamera használata volt lehetséges, azonban mára a kamerák világításának szinkronizálásával két eszköz együttes használata lehetségessé vált.

A Time of Flight alapja a beépített fényforrás és a fény sebességének ismerete, ezáltal a kamera által kibácsott fény kibocsátási és beérkezési idejének ismeretében az eltérésből könnyen kiszámolható a fény által megtett út, ezáltal pedig a kamera és a tereptárgyak közötti távolság.

tof

A ToF kamera képe egy hőtérképre hasonlít, ahol a kék  szín a távoli, a piros pedig a közeli pontokat jelenti. Mivel a kamera párhuzamosan normál 2D képet is készít , a két információ összeolvasztható, amivel egy 3D képet hozhatunk létre.

screenshot-2016-08-29-16-28-56

A technológiának az előnyein kívül vannak gyenge pontjai is, ezek közé tartozik a szórt fény, többszörös fényvisszaverődés, környezeti fény, és nagy számú kamera együttes használata. Ezek mind a fény útjának módosulásából, illetve idegen fény beérkezéséből adódnak, amik a szenzorra beérkezve hamis vagy téves adatokat generálnak.

A ToF kamerák szinte minden iparágban megtalálják a helyüket:

  • Logisztikában a csomagolási, dobozolási, pakolási feladatokban
  • Robotikában és gyártásautomatizálásban pakolási, sérülés keresési és pakolás ellenőrzési feladatokban
  • Gyógyászatban betegfigyelési és pozícionálási feladatokban
  • Önvezető járműveknél navigációs és biztonsági feladatokban

A széles körű alkalmazási lehetőségek is mutatják, hogy a Time of Flight kamerák forradalmasíthatják a gépi látást a harmadik dimenzió bevonásával.

Már megint savanyú a szőlő, éretlen a barack? Segít a kamerád!

Abba már egy ideje beletörődhettünk, hogy eszközeink számítási kapacitásukkal kenterbe vernek bennünket, de lassan ott tartunk, hogy látásbeli képeségeikkel is messze elhúznak az emberi szemtől.

Mára elfogadtuk, hogy telefonunk kamerájának is nagyobb felbontása van, mint szemünknek, és, hogy egyes speciális kamerák gyorsabban, vagy a sötétben is jobban látnak nálunk. Ma már viszont csak egy lépésre vagyunk attól, hogy a zsebünkben lévő kamerával a dolgok mélyére láthassunk.

Ebben a hiperspektrális képalkotás technológiája fog majd segíteni, amit a tudományos kutatások során már 1-2 évtizede ugyan használnak, de csak mostanra került közel hozzá, hogy a mindennapi élet során is hasznát vegyük.

A technológia rövid lényege, hogy az alkalmazott kamera a fény szabad szemmel és a hagyományosnak tekinthető kamerákkal láthatatlan spektrumait is érzékelni képes.

Ennek segítségével aznnal megállípítható egy gyümölcsről, hogy elég érett-e már, vagy akár gyógyszerekről (sőt egyéb pirulákról is), hogy valódiak-e. Ugyanis a gyümölcsök kölönböző érettségi szintje, vagy a tabletták összetevői más-más mértékben nyelik el a hullámokat.

hyperspectralimaging
Forrás: MIT Technology Review

A technológiával kapcsolatos legfrissebb hír, hogy Alex Hegyi ezzel a technológiával került fel az MIT Technology Review lap legtehetségesebb 35 év alatti feltalálókat összegyűjtő listájára, melyen korábban többek között Mark Zuckerberg és a Google alapítók is megfordultak. Az ő megoldásának legfőbb újdonsága, hogy fejlesztésével az eddigi megolásoknál kisebb, és kevésbé költséges eszközt tudott összerakni: egy egyszerű monokróm kamera szenzora elé helyezett polarizációs gyűrűk közé tett folyadékkristály cella segítségével sikerült elérnie a kívánt eredményt. A prototípus egyelőre egy tablethez kapcsolódik, és ezen fut a képfeldolgozó szoftver, de a fejlesztő szerint 3-5 éven belül a technológia már a mobilokban is megjelenhet. Az elképzelések szerint a felhasználóknak szerencsére nem kell majd ismerniük a különböző hullámhosszok és frekvenciatartományok jellemzőit, hiszen az alkalmazások egyszerűen ki fogják tudni írni a kamera elé tett gyümölcsről, hogy  az elég érett vagy sem.

Okos raktár az Ipar 4.0 szellemében- A gépi látás alapú intelligens targonca

A raktározásban használt vezető nélküli járművek jelenlegi generációi meglehetősen korlátozott tudásúak az előre definiált útvonalaik miatt, hiszen nem tudnak rugalmasan reagálni a változásokra. Magyarul, ha akadályba ütközik az útvonalán, nem képes kikerülni azt, egyetlen opcióként egy vészmegállást tud produkálni a váratlan kihívás előtt. Más példával élve, ha az elszállításra váró tárgy nincs pontosan az előre megadott helyre helyezve, a jármű nem képes felvenni azt, nem tudja a helyzetnek megfelelően módosítani mozgását. Hogy még rosszabb legyen a helyzet, ezek az járművek költséges orientációt segítő eszközöket igényelnek – mágneses szenzorokat, padlón lévő jelölő sávokat -, hogy tudják éppen merre járnak a raktárban

Ezek a korlátok időigényessé és költségessé is teszik a vezető nélküli szállító rendszerek bevezetését. Az ipar 4.0 új ígérete viszont az, hogy képes lesz felruházni a gépeket az ember azon veleszületett képességével, hogy önnállóan képesek irányítani magukat, mindenféle drága segédeszköz nélkül.

E koncepció szerint került fejlesztésre egy intelligens, vezető nélküli targonca, ami képes iránytítani magát az őt körbevevő környezet alapján. Ehhez szükséges egy kezdeti, ember vezette bemutató túra a létesítményben, ahol megtanulhatja környzezete minden részletét. Hang és gesztusvezérléssel is irányítható a jármű, ami megbízhatóan tudja megkülönböztetni a különböző rakodásra váró tárgyakat.

BAS1606_Success_Story_Industry_4.0_EN.pdf

Mivel a járművek irányítása meglehetősen egyszerű, akár egyetlen raktári munkás is elég több jármű együttes koordinálásához.

Alapvető elemei ennek az okos eszköznek a Basler kameragyár Time of Flight (ToF) technológiájú 3D kamerái, amikből 3 darab található minden járművön. Minden egyes kamera három dimenzóban rögzíti környezetét, ezzel biztosítva a helyes térlátást az eszköznek. Két kamera a targonca tetején kapott helyet, ezek szolgálják a jármű tájékozódását. Az intelligens targonca rögzíti a környzetében lévő tájékozódási pontokat, elkészítve a saját belső térképét, majd működés közben a fedélzeti ToF kamerák segítségével érzékelik az környezeti változásokat, például ha egy polcrendszer eleme más pozícióban van, akadály került a haladási útvonalára, és ezeknek megfelelő rakcióra képes, például kikerüli az akadályt és folytatja szokásos útját. A harmadik ToF kamera a targonca villáján kapott helyett, a polcokon lévő raklapok precíz felvételéhez. A kamera által biztosított 3D adat biztosítja, hogy a targonca villája első próbálkozásra fel tudja emelni a megcélzott raklapot, emberi segítség nélkül.

A korábbi rendszerekhez képest már nem lesz szükség a  rugalmatlan nyomkövetés miatti költség és időigényes kezdetei majd folyamatos konfigurációkra, ezzel jelentős megtakarítást tesz lehetővé a vásárlók számára. Ennek köszönhetően a vezető nélküli komissiózás hamarosan betörhet a kis és középvállalatok eddig még érintetlen piacára is.

Pepper, a robotpincér

Téged is szolgált már ki unott vagy bunkó pincér az étteremben? Ma már ez is elkerülhető, ha a feladataikat átadjuk  robotoknak, ahogy azt nemrég az ázsiai Pizza Hut éttermek is tették.

26653783415_6f71860afe_z

A humanoid robotok köszöntik a beérkező vendégeket, felveszik a rendelést és a fizetést is náluk lehet intézni. Ezekben a feladatokban egy fejlett gépi látás rendszer segíti a gépeket, kamerák vannak a robot szemében, homlokán, szájában, és alakfelismerő algoritmusok segítik az arc és tárgyfelismerésben. A akmerákon kívül természetesen számos szenzor, gyorsulásmérő és egyéb érzékelő is helyet kapott a testben az önálló működés érdekében.

Persze a jövőt senki sem tudja biztosan, a McDonalds egy korábbi vezetője például nem ért egyet a robotok ilyen szintű alaklmazásával, de azt ő se tudná megmondani, hogy az elkövetkező évek a robotok és csálingerek háborúját hozzák majd, vagy nemsokára már mi is egy mesterséges intelligánciával megáldott robotnak adjuk le a ránott hús megrendelésünket a sarki kifőzdében.

8 dolog, amit mindig is tudni akartál a digitális mikroszkópokról

A digitális mikroszkópia ma a mikroszkópia egyik legfelkapottabb területe, és van néhány dolog, amit a hozzánk hasonló átlagembernek is érdemes tudnia róla.

Mitől digitális egy mikroszkóp?

Egy digitális mikroszkóp gyakorlatilag egy mezei optikai mikroszkóp, és egy digitális mikroszkóp kamera párosa, amihez külön okulár nem szükséges. A megfigyelés alatt álló minta elemzése és értékelése pedig közvetlenül egy monitoron megtekintve történik.

Milyen alkalmazásokra használható egy digitális mikroszkóp?

A digitális mikroszkóp optimális eszköze a minták elemzésének, dokumentálásának, legyen szó akár kutatás-fejlesztésről, ipari gyártás és minőségvizsgálatról vagy laboratóriumi vizsgálatokról.

Mik a digitális mikroszkópok előnyei?

A legegyértelműbb előny az eszközök ergonomikus használata, hiszen azáltal, hogy a vizsgált képek egy monitoron jelennek meg, a felhasználó kényelmes pozícióban ülve tudja a kapott képet kielemezni, vizsgálni, akár egy erre kitalált mikroszkópiai szoftver segítségével is. Az ergonómiai előny különösen szembetűnő, ha a felhasználóknak egyhuzamban sokat kell dolgozniuk a mikroszkóppal, vagy ha a minták képeit csoportosan vizsgálnák meg. Utóbbira jó példa lehet egy oktatási helyzet, ahol az egész csoport egyszerre láthatja a mikroszkóp által adott képet.

Mik a digitális mikroszkópok korlátai?

A legnyilvánvalóbb korlát a hagyományos mikroszkópokhoz képest, hogy a digitális mikroszkópoknak minden esetben szükségük van tápellátásra. Ha adott mikroszkópon nincs okulár, akkor pedig a számítóphez, vagy monitorhoz való csatlakozás is megoldandó és biztosítani kell a megjelenítéshez szükséges képernyőt is.

Összehasonlítható a digitális mikroszkópok által nyújtott kép minősége az okuláros mikroszkópokéival?

Alapvetően a két kép ugyanaz, bár a látómezőben előfordulhat különbség a használt mikroszkóp kamera és okulár függvényében. Egy fontos különbség azonban van a két eltérő technológia miatt: a kétdimenziós képet adó digitális mikroszkóp nem fogja tudni visszaadni egy binokuláris mikrszkópon keresztül vizsgált minta mélységérzetét.

Könnyebb használni a digitális mikroszkópokat a hagyományos, okuláros mikrszkópokhoz képest?

Egy amatőr, tapasztalatlan felhasználónak mindenképp. A mintáról vakó képkészítés gyorsabb és könnyebb, mint egy hagyományos mikroszkóppal.

Mikroszkóp szakértőnek kell lennem, hogy használni tudjak egy digitális mikroszkópot?

Nem. Bővebben kifejtve, a digitális mikroszkóp mind a kezdő tanuló, mind a tapasztalt profi számára optimális választás.

Milyen kiegészítőkre van szükségem egy digitális mikroszkóphoz?

A szükséges eszközöket nagyban befolyásolják az alkalmazás követelményei, az alábbi kérdések megválaszolása azonban megkönnyítheti a választást:

  • Nagy részletességű képek gyors rögzítésére van szükséged? A te optimális választásod egy nagyfelbontású, nagysbességű digitális mikroszkóp kamera lesz.
  • Gyorsan mozgó minta élő megjelenítése szükséges? Válassz egy legalább 30 fps-es (képkocka/másodperc) sebességgel működő mikroszkóp kamerát.
  • Elemezned kell a mintát kaviltatívan vagy kvantitatívan? Amennyiben igen, gondosan válassz magadnak egy mikroszkópiai szoftvert is.
  • Kiegyensúlyozott képekre van szükséged, azaz a sötét és világos részek egyaránt fontosak? Válassz nagy dinamikatartományú mikroszlóp kamerát, ami biztosítja a sötét és világos részek egyidejű jó láthatóságát.

 

Basler_Power_Pack_for_Microscopy

Kiegészítő választás során nagy segítségedre lehet a Basler legújabb terméke, a PowerPack for Microscopy néven futó mikrszkópia csomag, melyben minden összetevőt egy csomagban kapsz kézhez. A csomag tartalma többek között egy Basler mikroszkóp kamera, melyet szabadon, az alkamazásodnak megfelelő paraméterek szerint tudsz kiválasztani, az elérhető pulse és ace alapú, új, kifejezetten mikroszkópiai felhasználásra szánt kamerák közül. A csomag a kamerán kívül tartalmaz még egy mikroszkópiai szoftvert és USB 3.0 kábelt is a könnyű kezelés és összeállítás érdekében.

 

 

 

5 trend a gépi látásban

A technológiai fejlesztések manapság rohamléptekben zajlanak, a néhány hónapja még legjobb és legújabbnak kikiáltott termékek könnyen hátul találhatják magukat az egyre fokozódó versenyben.

Nincs ez másképp a gépi látás világában sem, a képalkotásra pedig különösen igaz a folyamatos innováció a hatékonyság és költségcsökkentés érdekében. Az elmúlt időszak fő ipari újdonságát például az új USB 3.0 Vision termékek jelentették, melyek a nagy sávszélességgel, plug-and-play funkcióval adtak új irányt az iparágnak. De vajon mi lesz a következő nagy dobás, mik a fő fejlesztési irányok ma az iparban?

Az egyik fő irány a kész, “dobozolt” technológiák alkalmazása a “csináld magad” iparspecifikus megoldások helyett. Ilyen például az IT világból vett újrahasznosított GigE Vision interfész és ethernet protokoll, és persze a már említett USB 3.0 Vision technológia is.

Az asztali számítógépek minden piacon visszaesőben vannak, a gépi látás rendszerekben is egyre inkább csökken a szerepük, és helyüket laptopok és beágyazott rendszerek veszik át. Ez a változás volt az egyik fő faktora a GigE Vision és USB 3.0 Vision interfészek gyors térnyerésének is, köszönhetően annak, hogy ezek a portok megtalálhatóak minden laptopon, így a korábbi technológiákkal ellentétben nincs szükség a csupán asztali gépekbe építhető kiegészítő PCIe kártyákra, frame grabberekre. A beágyazott rendszerek az automatizált és ismétlődő feladatokat ellátó gépi látás rendszerekben terjednek leginkább, például ipari robotizálásban, ahol a kis méret és a számítási kapacitás fontos kritérium.

A sebesség iránti igény az egyik leggyakoribb hajtó tényezője az új technológiáknak. Az ipari képfeldolgozásban az USB3.0-ról való továbblépés, a 10 Gigabit Ethernet technológia és a vezeték nélküli megoldások jelenthetik az új irányt a még nagyobb sávszélesség és rugalmasság felé. Habár az USB3 csupán most kezdett igazán terjedni, a fejlesztések már a küszöbön vannak az USB3.1 standarddal. Ez várhatóan megduplázza az USB3.0 sávszélességét, így már akár a Camera Link kihívója is lehet. Szintén fokozott várakozás övezi a 10GigE technológiát, aminek előretörése főleg a technológiához szükséges infrastruktúra (switch, kábelek, stb.) költségcsökkenésétől függ.

A fejlesztők szintén kezdik felismerni a lehetőséget a vezeték nélküli rendszerekben is. A mai megoldások 150 Mb/s adatátviteli sebességet biztosítanak a IEEE 802.11n protokollon, de a nagyobb sávszélességet nyújtó IEEE 802.11ac protokollt használó termékek is hamarosan érkezhetnek. A következő generációs vezetéknélküli megoldások akár 3 db GigE Vision kamerát támogthatnak, VGA felbontással és  30 FPS-sel.

Egyre inkább jellemző, hogy a számítógépek grafikus kártyái átvesznek 1-1 képalkotáshoz kapcsolódó feladatot a processzortól, vagy a kamerákban lévő FPGA-tól. A GPU-k pont alakalmasak az alfeladatokra bontható nagyobb feladatok megoldására, mely során az alfeladatok számításai párhuzamosan végezhetőek. Korábban a GPU-k nehezen programozhatóak voltak, de az egyre modernebb programozói eszközöknek köszönhetően a GPU programozás a CPU programozáshoz hasonlóan C++-al egyszerűen megoldható.

A tömörítés új lehetőséget biztosít a gyártóknak egy gazdaságosabb, könnyebben használható, több képernyős rendszer tervezéséhez. A gépi látás rendszerekben jellemzően tömörítetlen videót használnak a feldolgozáshoz és elemzéshez, és szükség esetén ugyanezt továbbítják élőben az operátorok képernyőire a felügyelet végett. Több tucat vagy akár több száz kamera tömörítetlen képét elküldeni egy operátori központba egyáltalán nem gazdaságos, ehelyett a videót tömöríteni lehetne, és úgy továbbítani a megjelenítésre. Két fajta tömörítést érdemes fontolóra venni a felhasználás során, a visszaállíthatatlan, így információvesztéssel járó H.264 formátumot és a visszaállítható, így matematikailag veszteségmentes, azonban alacsonyabb tömörítést nyújtó JPEG-LS vagy JPEG 2000-et. Előbbi ideális lehet egy több véghasználóval rendelkező rendszer esetén, ahol a kamerából érkező tömörítetlen videó továbbítódik a feldolgozó és elemző platfromra, míg ugyanez a videó multicastolva jut el egy transzkóderhez, ami elvégzi a tömörítést és továbbítja a tömörített felvételeket az operátorokhoz. A második tömörítési eljárás pedig olyan rendszerek esetén lehet optimális, ahol alacsony késleltetés szükséges, azonban a biztosítandó sávszélesség meghaladja a meglévő kábelezés kapacitását. A JPEG-LS tömörítéssel például egy 1080p-s színes videó továbbítható egy GigE kábelen, vagy egy teljes Camera Link videó USB 3.0 kábelen.

Mindezek mellett az is biztos, hogy a jövő technológiai trendejeit megjósolni szinte lehetelen, az ellenben bizonyos, hogy az ipari képfeldolgozás is tovább fog fejlődni, és az új technológiák költség csökkenést illetve teljesítmény és megbízhatóság növekedést fognak hozni.

Gépi látás a levegőben

A cím alapja a DJI dróngyártó cég legújabb terméke, a Phantom 4 drón, amin a kamera nem csak menő drónvideók készítésére való, hanem azok segítségével tájékozódni is képes, köszönhetően a fedélzeti képfeldolgozó rendszerének.

vision_01-7d359e1cdeb4fe1d4a230c4f7745f8b5
Forrás: http://www.dji.com/product/phantom-4

A gépi látás rendszernek köszönhetően a drón érzékelni tudja környezetét, elkerüli az akadályokat és automatikusan képes objektumok követésére. A Phantom 4 fő kamerája 4K felbontású videót 30 fps-sel, míg full HD videót 120 fps-sel készít, 94°-os látószög mellett. Érzékelésre használt kamerákból kettőt kapott az eszköz, amikkel 3D-ben tud látni, és azonnal reagálni, ha valami az útjába kerül. A drón akadály esetén normál módban megáll és lebeg, míg újabb utasítást nem kap, de megadható olyan mód is, hogy automatikusan kikerülje az akadályt és folytassa útját. Ilyen esetkeben mindig küld egy riasztást az irányítójának, hogy az mindig tisztában legyen a történésekkel.,

learn-more-vision01
Forrás: http://www.dji.com/prodict/phantom-4

A drón alján is helyett kapott két-két kamera és ultrahang szenzor, a korábbi termékeknél ötször pontosabb pozícionálás elérése érdekében.

Az úgynevezett ActiveTrack mód ad lehetőséget az automata követésre, ami a gépi látás és tárgyfelismerés keveréke. Az akadály elkerülés funkció természetesen ebben az esetben is működik, így nem töri össze magát a kis gép.

Az emberek egy része még mindig idegenkedve tekint a drónokra, de az ilyen biztonságot növelő funkciók segíthetnek az egyre gyorsabban terjedő technológia széleskörű elfogadtatásában.