Bagett vs Gige

Vajon hogyan tudják garantálni a modern ipari pékségek, hogy csak tökéletes kenyereket szállítsanak a megrendelőiknek? A hollandiai Niverplast csomagolástechnikai vállalatnál (Nijverdal, Hollandia, www.niverplast.com) komolyan vették ezt a kérdést, és a Stemmer Imaging (Puchheim, Németország, www.stemmerimaging.com) céggel közösen egy különleges selejtfelismerő rendszert dolgoztak ki, mely lehetővé teszi a hibás termékek felismerését.

A pékárut a fagyasztóból egyenesen az első vizsgálóponthoz viszik egy szállítószalag segítségével. Először egy fémdetektort használnak, mely a gyártás során esetlegesen a termékbe került fémdarabokat szűri ki.

1701VSD_tt_F4

A következő lépésben a pékáru már kamerás vizsgálaton esik át: itt a termékek geometriájában keresnek eltéréseket. Ennek része a hosszúság, szélesség, és magasság vizsgálata így kiszűrhetőek a méretbeli hibák, illetve a törött darabok. Ez a képfeldolgozási feladat különösen nagy kihívást jelentett a mérnökök számára, mivel egyféle termékből sem készül soha két pontosan ugyanolyan példány. Ennélfogva egy automata rendszer számára nehéz definiálni egy ilyen feladatot. A rendszernek el kell, például fel kell ismernie, hogy egy mélyedés a termék felületen egy kezdődő törés jele, vagy egy szándékos bevágás, ahova később a töltelék kerül.

1701VSD_tt_F5

Ezen kívül vizsgálják a tészták színét, a feltétek jelenlétét, és a körvonalak megfelelő ívét is. Ezeket a paramétereket ráadásul gyorsan, és egyszerűen át kell tudni állítania a kezelőnek, hiszen általában egy gyártósoron több különböző termék is csomagolásra kerül egy műszak alatt.

Ezekhez a feladatokhoz szoftveres oldalról a Common Vision Blox képfeldolgozó függvénykönyvtárat használták, mivel ezzel volt a legkönnyebb megvalósítani a tervezett funkcionalitást. Hardver tekintetében az egyik feltétel a Gige interfész használata volt. Ez azért volt fontos, mivel a feldolgozás és a mérés helye ebben a felhasználási helyzetben egymástól relatíve nagy távolságra helyezkednek el. A Gige által biztosított maximum 100 méteres kábelhossz ezt lehetővé teszi, valamint a PoE (Power over Ethernet) megoldás miatt tápellátás kérdése is egyszerűen megoldható volt.

A kamera, és optika kiválasztásához több tesztkörre volt szükség. Végül a futószalag szélességétől függően egy, vagy két linescan kamera felszerelése mellett döntöttek, a hozzájuk tartozó optikákkal, és megvilágítással.

A rendszerhez tartozó egyéb eszközöket, mint a PC, illetve a kábelek a Stemmer Imaging szállította, a Niverplast pedig egy egyedi GUI-t fejlesztett a megoldás mellé. Ezen a gépkezelők gyorsan át tudják állítani, hogy éppen milyen termékek kerülnek majd vizsgálatra. Ezen kívül új termékek definiálására is lehetősége van, a kalibráció során az egyes paraméterek normál, minimum, és maximum értéke könnyen megadható.

A darab-számolási pontosság növelése érdekében a számláló állomáson az operátorok egyszerű szegmentációs eszközöket használnak, amivel taníthatják a rendszert, hogy a kameraképek alapján hogyan tudja elkülöníteni az egyes termékdarabokat. A rendszerbe építette távoli support elérési lehetőség lehetővé teszi az esetlegesen felmerülő problémák gyors elhárítását.

A darab-számolási lépés után a termékek tovább haladnak a csomagolási fázis felé, ahol a tökéletes minőségű péksütemények, pontosan a kívánt mennyiségben kerülnek dobozolásra, vagy zacskózásra.

 

Forrás: http://www.vision-systems.com/articles/print/volume-22/issue-1/departments/technology-trends/food-inspection-vision-system-inspects-counts-bakery-products.html

 

 

Advertisements

Beágyazott gépi látás – Mit jelent, és miért lesz jó?

Mindennapi életünket meghatározzák az egyre kisebbé és erősebbé váló elektronikus eszközeink, és e trend alól a gépi látás hardverek és technológia sem lett kivétel.

A klasszikus gépi látás rendszerek két fő komponense az ipari kamera és a PC. A technológia hajnalán, az itt használt kamerák mérete egy literes tejesdoboz dimenzióihoz közelített, a képfeldolgozó ipari számítógépek pedig a tornatermekből ismerős zsámolyok súlyával és méretével büszkélkedhettek. Mondani se kell, hogy ezek a rendszerek akkoriban rendkívül költségesnek számítottak.

Az idő múlásával ezek az eszközök egyre kisebbé és olcsóbbá váltak. Ma az ipari PC már kiváltható mini PC-vel vagy akár egykártyás számítógéppel, a tejesdoboz méretű kamerák pedig összezsugorodtak egy postai bélyeg szintjére, köszönhetően a már burkolat nélkül kapható, board level kameráknak. Ez a két fejlődési irány tette lehetővé a rendkívül kompakt rendszerek megalkotását specifikus gépi látás alkalmazásokhoz. Az ilyen rendszereket nevezzük beágyazott gépi látás rendszereknek.

pc-vs-embedded

Ezek a rendszerek a PC alapú elődjeikhez képest nem általános képfeldolgozó feladatokat látnak el, hanem minden rendszer egy-egy specifikus gép látás feladatot. Ezt az tesz lehetővé, hogy  míg a standard PC-k általános képességeik miatt sok felesleges kapacitással rendelkeznek, ezek a rendszerek csak annyival és azzal, amit a feladat igényel. Ezzel az optimalizálással érhető el a kis méret és súly, az alacsony darabköltség és energiafogyasztás.

És hogy hol találkozhatunk majd ezekkel a rendszerekkel? Az önvezető autóknak már ma is elengedhetetlen eleme a beágyazott gépi látás, a jövőben pedig ilyen rendszerek kerülhetnek a boltok automoata mérlegeibe, mobil orvosi eszközökbe, például szem és bőrvizsgáló készülékekbe. További méretcsökkenést követően pedig a hordható rendszerekre is széles körű elterjedés vár.

A jövő ABC-je: kassza, kasszás és sorok nélkül

Az Amazon az online kereskedelem után az offline boltokra fordítja vigyázó tekintetét, ennek legújabb bizonyítéka a Seattle-ben most nyílt Amazon Go élelmiszerbolt. Persze  ne egy sima sarki abc-t képzeljünk magunk elé, hiszen mégiscsak az egyik legnagyobb újításokkal szolgáló vállalatról beszélünk.

Az egyelőre csak béta teszt alatt lévő, Amazon alkalmazottak számára elérhető boltban ugyanis hiába keresnénk kosarunkkal a kasszasort, csak zavartan forgólódnánk, mert úgy néz ki, hogy a gépi látás technológiával és egyéb szenzorok segítségével sikerült kiváltani a pénztárakat, ezáltal pedig megszűntetni  az időrabló sorban állást és a búval bélelt pénztárasokat.

Az újításoknak köszönhetően belépéskor mindössze az Amazon Go app által generált egyedi QR kódot kell beszkennelni, utána már csak a táskánkba kell bepakolni a kiválasztott cikkeket, majd lazán kisétálni a boltból. Persze a fizetés nem marad el, a vásárolt termékek árát távozás után terhelik rá Amazon fiókunkra.

Természetesen a kényelemnek ára is van, a vásárlók minden egyes lépését és mozdulatát kamerák tucatjai figyeli és elemzi, mellyel egyrészt azonosítani tudják a kiválasztott cikeket, másrészt az Amazon adatokat tud gyűjteni rólunk, hogy még inkább személyre szabott hirdetéseket kapjunk, amint újra online leszünk.

Az üzletet 2017 elején tervezik megnyitni a nagyközönség előtt, és használatához elég lesz egy Amazon fiók, és egy megfelelő mobilra letöltött ingyenes app.

Imaginghub – online közösség a beágyazott gépi látás rendszerek érdeklődőinek

Idén ősszel indult útjára a beágyazott gépi látás érdeklődői számára készített új online közösségi tér, az Imaginghub.

Az oldal készítőinek célja, hogy egy fiatalos, pezsgő közösségi teret biztosítsanak a beágyazott gépi látás rendszerek után érdeklődő mérnököknek, szoftver fejlesztőknek, vagy akár az egyszerű hobbi építőknek, a kezdőktől egészen a profi szinten lévőkig. Az oldal egyre bővülő partner és projekt listájának segítségével biztosítja a terepet közös megoldáskeresésre, projekt partnerek egymásra találására, tudásmegosztásra és az elért eredmények bemutatására.

A dinamikusan bővölő partnerlista segítségével könnyen lehet technológiai vagy integrációs partnert találni a világ minden pontjáról, legyen szó akár kamerákról, képfeldolgozó egységről vagy a gépi látás szoftveres részéről. A listában már most olyan elismert vállalatok találhatóak, mint az Advantech, a Basler vagy az NVIDIA.

Az oldalon könnyen kapcsolatba lehet lépni más tervezőkkel, fejlesztőkkel, lehetőséget adva közös ötletelésre, munkára egy jobb alkalmazás megalkotása érdekében.

Ha érdekelnek a beágyazott gépi látás rendszerek és megoldások, vagy máris egy ilyen jellegű feladattal állsz szemben, itt az ideje regisztrálnod!

Okos Jövő – Képfeldolgozás az Ipar 4.0-ban

Képzeld el, hogy szeretnél új ruhát venni a szombati bulira. Ma bemész egy boltba, vagy megrendeled neten, előre megadott méretekben, jellemzően a jól ismert S-től XL-ig terjedő skálán. Ennek oka, hogy az alacsony gyártási költséget jelenleg a tömeggyártás által lehet elérni.

Most képzeld el, hogy néhány év múlva szeretnél új ruhát venni, és ehhez bemész egy ruhaüzletbe. Viszont a megszokott rakásig pakolt polcok helyett sok kis próbafülkét találsz. Belépve egy hatalmas, embernagyságű érintőkijelző fogad, amin magad tudod kiválasztani a neked tetsző ruhadarabot, és a fülkében lévő kamerák segítségével azonnal virtuálisan megnézni, miként mutatnál benne. A fülke kamerái azonban nem csak a virtuális ruhapróbában segítenek, hanem a háttérben futó képfeldolgozással lemérik a testméreteid, és rendelés esetén a pontosan rádszabott méretben készítik el a kiválasztott ruhát.

Image Processing in Industry 4.0   Vision Campus

Valahogy így nézhet majd ki az jövő az Ipar 4.0-ás gyártás esetén. A tömeggyártás helyett a hatékony adatfeldolgozás segítségével az egyedi gyártás felé tud majd elindulni az ipar, a költséghatékonyság megtartása mellet. Az Ipar 4.0 kifejezés a negyedik ipari forradalmat jelenti, aminek fő eleme és újdonsága a gyártóeszközök közötti kapcsolat és széleskörű adatkommunikáció. A cél egy önszervező és müködtetető, egyedi gyártás felé hajló hatékony gyártási folyamat, aminek alapját az átfogó adatgyűjtés és hatékony információcsere adja.

A képfeldolgozásnak döntő szerep juthat ezekben a rendszerekben a pontos információk meghatározása során. Ehhez a legfontosabb pont, hogy a kamerák egyre kisebbek és egyre megfizethetőbbé válnak, úgy, hogy teljesítményük egyre nő. Ahol korábban nagy és bonyolult rendszerekre volt szükség, ma kicsi és hatékony eszközök tudják ugyanazt, vagy jobb eredményt nyújtani.

Az ipari kamerák köré épített képfeldolgozó rendszerek már ma is kulcselemei a gyártásautomatizálásnak. A gyártás minden pontján – a nyersanyag vizsgálatnál, a gyártás monitorozásban, és a végső minőségellenőrzésnél is –  jelen vannak. Azonban a folyamatos fejlesztések, és az egyre bővülő gépek közötti kapcsolatok megnyitják a lehetőséget az Ipar 4.0 új alkalmazásai előtt.

Az Ipar 4.0 legnagyobb hatása, hogy az irányitás automatizálásával sok munkadarab nem csak nagy, hanem egészen kis darabszámok esetén is költséghatékonyan előállítható lesz. Egyik jó példa a fenti textilipari egyedi ruhagyártás, de jó példa lehet a személyre szabott fém tárgyak gyártása.

A gépi látás kamerák köré épült képfeldolgozó rendszer ebben az esetben például a tárgyak festése során segíthet. A ma használt automata festékszóró robotok előreprogramozott mozdulatsorokkal dolgoznak, de az ilyen előreprogramozott mouzdulatsorokat nagyon nehéz egyedi gyártás során hazsnostítani. A specifikációkban meghatározottaktól való eltérés elméletben lehetséges, azonban meglehetősen összetett feladat és könnyen pontatlan lehet. A gépi látás kamerák ezzel szemben helyben képesek a munkadarabok pontos mérésére, meghatározva alakját, pontos helyét és ezeknek megfelelően irányítani a szórófejeket. Ezzel párhuzamosan a festési munka eredménye is ellenőrizhető a kamerák által, akár egyszerű színellenőrzéssel, akár a felület fényvisszaverését vizsgáló összetett műveletekkel.

Az új rendszerekben különböző szenzorok adatai segíthetnek a megváltozott, vagy hibás eszközök korai detektálásában, majd az automatikus reagálásban (folyamat paramétereinek változtatása, nyersanyag cseréje, vagy javítás kérése). Ez a lehetőség a gyártóeszközökre és munkadarabokra egyaránt áll. A kamerák ezekben a folyamatokban fáradhatatlan ellenőrzését és vizsgálatát nyújtják a színnek, szerkezeti és geometriai tulajdonságoknak, akár nagyméretű darabok esetén is.

A gyártásban résztvevő alkalmazottaknak is előnyére válhatnak a gépi látás alkalmazások, hiszen bármennyire is előrehalad az automatizáslás, mindig szükség lesz az emberi érzékelésre és rugalmasságra. Azonban az eddgi munkafolyamatok változni fognak az Ipar 4.0-ban. A sisakba, vagy egyéb eszközökbe épített intelligens gépi látás rendszerekkel tovább lehet növelni a hatékonyságot, és ez egyre inkább lehetségessé válik, köszönhetően a már most is elérhető, akár bélyeg méretű, extra könnyű, házzal és optikával szerelt nagy pontosságú gépi látás kameráknak. A kamerákkal követni lehet a munkát, annak állapotát, minőségét, azonosítani az érzékeny beavatkozási pontokat, és továbbítani azokat az embernek, például egy kiterjesztett valósággal dolgozó okoszemüveg által.

 

Bárhogy is definiáljuk most, és alakul majd a jövőben, a képfeldolgozás és a gépi látás egy fontos és biztos pontja az Ipar 4.0 új alkalmazásainak.

Így válassz kamerát

Az optikák után ismét visszatérünk a kamerákhoz, és azt vesszük végig, hogy miket kell figyelembe vennünk az optimális kamera kiválasztása során. Egy képfeldolgozó rendszer tervezésekor az ember könnyen a lehetséges opciók dzsungelében találhatja magát, mindenféle kameratípussal, fontos funkciókkal, és jól jöhet, ha van egy vezérfonál, ami alapján utat vághat magának ebben a rengetegben a legjobb választáshoz.

Első körben két kérdést kell feltennünk magunknak:

  • Mit akarok látni a kamerámmal?
  • Milyen kamera tulajdonságok szükségesek ennek eléréséhez

A válasz alapján először a képfeldolgozásban használt kameratípusokból kell kiválasztanunk a nekünk valót: hálózati/IP kamera vagy gépi látás kamera? A kettő közti különbségeket és alkalmazási területeiken korábbi írásunkban már bemutattuk, de nézzük meg röviden ismét:

  • Az IP kamerákat leggyakrabban klasszikus megfigyelési, felügyeleti feladatokra használják, illetve a gépi látás kamerák kiegészítéseként. Jellemzőik:
    • Kül és beltéri használatra is alkalmasak, gyakran strapabíró házba helyezik, hogy jól bírják az időjárást, vagy rongálási kísérletet
    • Széles funkciókínálat: day-night funkció, multi streaming
    • Tömörített képek a videóban, a kisebb tárhelyigény és sávszélesség érdekében, a képfeldolgozás egy része kamerán belül történik
  • Ezzel szemben az ipari/gépi látás kamerákat legtöbbször gyártás során, például minőségellenőrzésre használják, vagy robotoknak biztosítják a vizuális információt
    • Tömörítetlen képeket küldenek a PC-nek, a képfeldolgozás ott történik. A tömörítetlen képeknek köszönhetően nem veszik el adat, így minden kis hibát észlelni tud az alkalmazás
    • Két technológiája létezik, area és line scan. A különbség a képrögzítésben van, különböző alkalmazások igényeinek megfelelően

Az area scan kamerák a jól ismert képrögzítési módszert használják, azaz egy több sornyi és oszlopnyi pixelből álló négyszögletű szenzor készíti a képet. Ezt a technológiát használják számtalan ipari alkalmazásban, gyógyászati alkalmazásokban, a közlekedésben, de megfigyelő és felügyeleti feladatokra is, IP kamerák kiegészítőjeként. A line scan kamerák ellenben egy mindössze 1,2 vagy 3 soros szenzort használnak, a képrögzítés sorról, sorra történik, és a teljes kép a képfeldolgozás során áll össze. Ezt a típust általában futószalagon, nagy sebességgel mozgó termékek vizsgálatához használják. Jellemző iparág a nyomdászat, szelektálás és csomagolás, élelmiszer és ital gyártás.

Újabb döntési pont, hogy monokróm, vagy színes kamerára van szükségünk. Ez az egyik legegyszerűbb döntés, az alkalmazásunk egyértelműen meghatározza, hogy szükséges-e színek vizsgálata, vagy elegendő a fekete-fehér kép. Ha a színes kép nem követelmény, akkor a monokróm kamera általában jobb választás, érzékenyebbek, így részletesebb képet tudnak adni. Néhány alkalmazáshoz – például Intelligens Közlekedési Rendszerekben – a kettőt kombinálva használják, hogy minden szükséges információ kigyűjthető legyen.

Továbbra is a szenzor tulajdonságainál maradva, választani kell szenzor típust, zártechnológiát és sebességet. Szenzor típusból jelenleg a CMOS és CCD között tudunk választani, de a CMOS technológia folyamatos és rohamos fejlődésének köszönhetően a CCD szenzorok lassan kiszorulnak a piacról.Zártechnológiából kétféle van, global és rolling shutter közül választhatunk. Előbbi esetén minden sor exponálása és kiolvasása egyszerre történik, ez a technológia gyorsan mozgó objektumok rögzítésére optimális. Utóbbi viszont soronként végzi az exponálást és kiolvasást, így  gyors mozgás esetén torzulhat az elkészült kép. Ennek ellenére nem kell teljesen elvetni ezt a technológiát se mozgó elem felvétele esetén, a torzulás kiküszöbölhető az expozíciós idők megfelelő beállításával és világítás használatával.

rolling-global shutter

A kamera sebessége a másodpercenként rögzíthető és továbbítható képek számát – angolul frame rate, frames per second (fps), line scan kamráknál line rate – jelenti. A gyors szenzor több kép készítését jelenti egy másodpercen belül, de ne feledjük, több kép több adatot is jelent. Gyors mozgásra tervezett alkalmazások, mint a nyomtatott anyagok vizsgálata, akár ezredmásodpercenkénti képrögzítést is igényelhet, míg egy gyógyászati, mikroszkópos alkalmazásnál nincs szükség magas fps-re.A sebességet le tudja korlátozni a kamera interfésze, például egy magas frame rate-el rendelkező szenzor nem biztos, hogy tudja a maximális sebességét nyújtani GigE interfésszel, míg USB 3.0-ás kivitelben igen.

Még mindig a szenzornál maradva, ki kell választanunk az alkalmazásunknak megfelelő felbontást, valamint az ehhez kapcsolódó szenzor és pixel méretet. A kamera felbontását a szenzor pixeleinek száma adja meg: ha például a specifikációban azt látjuk, hogy 2048 x 1088, az azt jelenti, hogy 2048 pixel van a vízszintes vonalakon és 1088 a függőlegeseken. A kettő szám szorzata 2.228.224 pixel, azaz 2.2 megapixel (MP). Az alkalmazásunkhoz szükséges felbontást az alábbi képlettel tudjuk kiszámolni:

resolution

Ha például egy 2 m magas ember szemszínét szeretnénk pontosan megállapítani a teljes alakos képről, akkor 1 mm-es részletet érdemes vizsgálnunk, tehát a képlet így alakul:

resolution2

A szenzor és pixel méretről, és azok összefüggéseiről négy dolgot érdemes tudni:

  1. Nagy szenzor és nagy pixelméret több fényt tud befogni, több fény pedig több átalakított elektronikus jelet, ezáltal részletesebb képet eredményez.Ezt a jel-zaj viszonyszám (SNR) jelzi, minél magasabb az értéke, annál jobb minőségű lesz a kép
  2. Nagy szenzor nagy helyet jelent, ahova sok pixel fér, magas felbontást szolgáltatva. A nagy szenzoron elég hely van ahhoz, hogy a nagy felbontás mellett az egyes pixelek is elég nagyok legyenek egy magas SNR értékhez. Kis szenzor viszont kis pixelméretet, így alacsonyabb SNR-t, ezáltal gyengébb minőségű képet tud szolgáltatni.
  3. Optikaválasztó cikkünkben is említettük, de a nagy szenzor és pixel méret mit sem ér a megfelelő optika nélkül.
  4. A nagy szenzorhoz több anyag szükséges, így többe is kerülnek. Nagy szenzorhoz nagy optika is dukál, ami tovább növeli a költségeket

Elhagyva a szenzort, ideje dönteni a kamera intefészéről és méretéről is.A kettő összefügg egymással, az interfész típusa befolyásolja a kameraház méretét is:

interface

A különböző interfészeket egy korábbi posztunkban már bemutattuk, de a legfontosabb jellemzőket nem lehet elégszer kiemelni:

Screenshot 2016-01-13 09.38.21

A megfelelő kamerához már csak egy kérdésre kell választ találnunk: milyen kamerafunkciókra van szükségünk? Sok gépi látás kamera – például minden Basler kamera is – fel van szerelve különböző hasznos, képminőséget javító, feldolgozást segítő funkciókkal. A legtipikusabb ilyen funkciók a

  • AOI (Area of Interest) – segítségével ki lehet választan a képen belül, egy vagy több olyan területet is, ahol a vizsgálatot el akarjuk végezni, ezáltal gyorsíthatunk a rendszer működésén
  • Automatikus beállítások – a környezethez alkalmazkodva automatikusan be tudja állítani az expozíciós időt, vagy gain szintet, ezáltal folyamatosan biztosítva az állandó képminőséget.

Láthatjuk, hogy ebben a folyamatban szinte minden lépés befolyással van egy másikra, körültekintőnek kell lennünk a kameraválasztás során, nehogy éles helyzetben szembesüljünk vele, hogy valamilyen paraméterben mellényúltunk és nem a kívánt eredményt kapjuk. Jó válogatást a kamerák között!

Maz Kanata és a face motion capture

A nagy hollywoodi blockbusterek ma már elképzelhetetlenek vizuális effektek, CGI és motion capture nélkül. Utóbbi pedig nem máson, mint gépi látás technológiákon alapul, hiszen az emberi test és arc egészen apró mozgásait kell rögzíteni, majd azokat egy digitálisan rajzolt karakterre átültetni. Ennek leghíresebb példája gyakorlatilag az egész Avatar film, illetve a Gyűrűk Ura Gollamja.

mazkanata

Természetesen a legfrissebb Star Wars opus, az Ébredő erő sem kivétel. Az előzmény trilogiához képest visszafogottabb, de modernebb digitális utómunkával találkozhatunk az új filmben. Többek között motion capture technológiával kelt életre a titokzatos Maz Kanata, és a Jakku bolygó szeméttelepének főnöke, Unkar Plutt is, akik újabb ékes példái a gépi látás szórakoztatóiparban betöltött szerepére.