Possible bug on calculation of eye position

[miranda1000]

Some users reports that the eye position does not correspond with the real one.

As this part is calculated on the module, there could be a problem there.

[miranda1000]

This is the part that calculates the x-y coordinates:

PicoStreamingAssistantFTUDP/PicoStreamingAssistantFTUDP/Pico4SAFTExtTrackingModule.cs

Line 104 in 27a199d

left->Gaze.x = this.scaler!.EyeExpressionShapeScale(pxrShape[(int)BlendShapeIndex.EyeLookIn_L] - pxrShape[(int)BlendShapeIndex.EyeLookOut_L], EyeExpressions.EyeXGazeLeft);

[miranda1000]

Some data extracted:

time;note;EyeLookDown_L;NoseSneer_L;EyeLookIn_L;BrowInnerUp;BrowDown_R;MouthClose;MouthLowerDown_R;JawOpen;MouthUpperUp_R;MouthShrugUpper;MouthFunnel;EyeLookIn_R;EyeLookDown_R;NoseSneer_R;MouthRollUpper;JawRight;BrowDown_L;MouthShrugLower;MouthRollLower;MouthSmile_L;MouthPress_L;MouthSmile_R;MouthPress_R;MouthDimple_R;MouthLeft;JawForward;EyeSquint_L;MouthFrown_L;EyeBlink_L;CheekSquint_L;BrowOuterUp_L;EyeLookUp_L;JawLeft;MouthStretch_L;MouthPucker;EyeLookUp_R;BrowOuterUp_R;CheekSquint_R;EyeBlink_R;MouthUpperUp_L;MouthFrown_R;EyeSquint_R;MouthStretch_R;CheekPuff;EyeLookOut_L;EyeLookOut_R;EyeWide_R;EyeWide_L;MouthRight;MouthDimple_L;MouthLowerDown_L;TongueOut;PP;CH;o;O;I;u;RR;XX;aa;i;FF;U;TH;kk;SS;e;DD;E;nn;sil
2024-11-17 22:03:54.918863;"looking center";0,009630682;0,4717047;0,044009645;0,45211685;0,004660533;0,050327647;0,0011093587;0,026159432;0,008163443;0,026333097;0,00085080415;0,028608833;0,009630682;0,45932636;0,00066528254;0,0011397252;0,004660533;0,44522303;0,005019472;0,03136917;0,1543621;0,021816233;0,0055381604;0,036275942;0,08000103;0,06810349;0,019180741;0,14420609;0,000110722525;0,030597482;0,45211685;0,0924145;0,0010923584;0,00046967104;0,002239227;0,0924145;0,45211685;0,027068589;0,001031846;0,0027737878;0,14321151;0,023874005;0,0005304615;0,07377142;0,028608833;0,044009645;0,6312674;0,6312674;0,15722223;0,020552587;0,0012290805;0;0,0012290805;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:03:59.065692;"looking top";0,00613231;0,46008173;0,06719822;0,28371963;0,005809698;0,040407784;0,00075259025;0,021207385;0,0025820436;0,0566377;0,00069586263;0,0599295;0,00613231;0,4269068;0,0006842566;0,00078603317;0,005809698;0,3997317;0,0017526533;0,026028363;0,11352629;0,019463163;0,0052681505;0,021460678;0,06331247;0,062197566;0,051521465;0,14194287;0,000100867415;0,03189702;0,28371963;0,4048365;0,00076660357;0,0003990617;0,0119198635;0,4048365;0,28371963;0,1214096;0,00053935626;0,0017492322;0,1327551;0,06498761;0,00040420904;0,06728678;0,0599295;0,06719822;0,5092088;0,5092088;0,1290148;0,008258451;0,0008413673;0;0,0008413673;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:04:03.103385;"looking down";0,33991805;0,435219;0,033644103;0,9848337;1,6005236E-08;0,06979822;0,0008348817;0,01983902;0,0055375416;0,030412419;0,005475542;0,044341348;0,33991805;0,43468404;0,0006244319;0,00065465394;1,6005236E-08;0,33254856;0,02668062;0,026169896;0,068127945;0,019977082;0,026682148;0,005685771;0,062531576;0,048779603;0,034281127;0,1916764;9,301137E-05;0,018510088;0,9848337;0,0076467404;0,0006482188;0,000364984;0,004061913;0,0076467404;0,9848337;0,033171434;0,0003713683;0,004331567;0,18963037;0,023902431;0,00033609374;0,054472897;0,044341348;0,033644103;0,14092337;0,14092337;0,12701468;0,003652662;0,0009168641;0;0,0009168641;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:04:06.140323;"looking right";0,0652474;0,47821093;0,26313967;0,13186029;0,005675433;0,055638783;0,00082329626;0,019613277;0,0065616826;0,027291832;0,0025134534;0,013109921;0,0652474;0,46449602;0,00053887424;0,0006982632;0,005675433;0,47891998;0,020637276;0,027092813;0,15311582;0,020065885;0,004146919;0,030183733;0,065424204;0,0602483;0,047762576;0,17097528;8,765284E-05;0,021273559;0,13186029;0,05899853;0,00057921675;0,0003718916;0,006647805;0,05899853;0,13186029;0,02967374;0,00029844246;0,0038632902;0,1675093;0,042795185;0,00029974937;0,05968868;0,013109921;0,26313967;0,16132446;0,16132446;0,14372432;0,01461489;0,0013657828;0;0,0013657828;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:04:09.154658;"looking left";0,066959426;0,45687228;0,013014497;0,373231;0,017514564;0,057630874;0,00075947994;0,019581152;0,009271432;0,06030663;0,0014376468;0,27240422;0,066959426;0,45492297;0,00049299555;0,00076246256;0,017514564;0,52546155;0,016169773;0,027256858;0,09267249;0,019850018;0,008817249;0,010179874;0,06612194;0,0565548;0,034557108;0,17846546;8,318858E-05;0,016447214;0,373231;0,056838877;0,00052923;0,00036386398;0,014184594;0,056838877;0,373231;0,02925548;0,021157604;0,0071782735;0,1761577;0,031145308;0,00028337154;0,059091236;0,27240422;0,013014497;0,7103548;0,7103548;0,14310181;0,0040807426;0,00151797;0;0,00151797;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:05:08.339029;"looking left-top";0,008029596;0,43531787;0,030438287;0,2710067;0,005026648;0,058705118;0,00067416474;0,044732224;0,0023380294;0,037378874;0,00087832706;0,13173214;0,008029596;0,43414107;0,0010006834;0,0007348933;0,005026648;0,4099167;0,033883464;0,013642661;0,17924167;0,015580421;0,01444933;0,09208562;0,12483349;0,0769509;0,053448822;0,0982555;0,00010668106;0,14561239;0,2710067;0,38011762;0,0006707473;0,00046890895;0,010438817;0,38011762;0,2710067;0,17231934;0,0007017644;0,0025279175;0,0914155;0,038356688;0,0003734664;0,07478465;0,13173214;0,030438287;0,54456073;0,54456073;0,236727;0,061599016;0,0019798335;0;0,0019798335;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:05:11.280245;"looking right-top";0,014787487;0,46552536;0,2178826;0,37761477;0,004660027;0,053275142;0,0006423255;0,030854521;0,0016642265;0,026035778;0,0015994736;0,023088027;0,014787487;0,48097625;0,00083468435;0,00066194584;0,004660027;0,4444241;0,009068929;0,01366546;0,032359406;0,015404286;0,024534509;0,04681376;0,11894033;0,06995226;0,052114163;0,11818959;0,0001003209;0,04329848;0,37761477;0,22420678;0,0006000316;0,00044350338;0,008341914;0,22420678;0,37761477;0,04621835;0,0004949137;0,0018259381;0,11561396;0,03952;0,00037234483;0,081095986;0,023088027;0,2178826;0,5202856;0,5202856;0,19292451;0,03888565;0,0014074801;0;0,0014074801;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:05:14.247599;"looking roght-bottom";0,21140562;0,50286746;0,14862327;0,99420434;0,0012648031;0,065485395;0,0017126878;0,026628597;0,0018853665;0,016244695;0,0013870747;0,016089864;0,21140562;0,50953835;0,00065070065;0,001347985;0,0012648031;0,42726782;0,039386295;0,013824532;0,037132014;0,0154390605;0,020701086;0,044311646;0,123107396;0,064369395;0,014590458;0,13465856;9,4354844E-05;0,0086259665;0,99420434;0,01738099;0,0007830959;0,0004193869;0,01595658;0,01738099;0,99420434;0,006243171;0,00037710532;0,0019050092;0,13256012;0,029978717;0,00037560522;0,05174328;0,016089864;0,14862327;0,3232276;0,3232276;0,18738398;0,03914491;0,0011292225;0;0,0011292225;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0
2024-11-17 22:05:16.747499;"looking left-bottom";0,19380778;0,47271422;0,018076763;0,1352458;0,004846732;0,07059088;0,0029365588;0,02772427;0,0038619386;0,0070995847;0,0027831416;0,19079301;0,19380778;0,47800136;0,00052702654;0,002195304;0,004846732;0,40181863;0,045336366;0,021060145;0,022109559;0,019991968;0,043644305;0,028209766;0,14358254;0,05673385;0,053035595;0,1204377;0,0038452242;0,005176913;0,1352458;0,030696906;0,0019201286;0,00041325446;0,009208803;0,030696906;0,1352458;0,0054505346;0,00031322293;0,004176465;0,11872821;0,034094606;0,00041016203;0,041084338;0,19079301;0,018076763;0,09704054;0,09704054;0,19423896;0,030520031;0,0010734292;0;0,0010734292;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0

This represents where I was looking on each log:

[miranda1000]

And filtering rows we have this:

note;EyeLookDown_L;EyeLookIn_L;EyeLookUp_L;EyeLookOut_L
"looking center";0,009630682;0,044009645;0,0924145;0,028608833
"looking top";0,00613231;0,06719822;0,4048365;0,0599295
"looking down";0,33991805;0,033644103;0,0076467404;0,044341348
"looking right";0,0652474;0,26313967;0,05899853;0,013109921
"looking left";0,066959426;0,013014497;0,056838877;0,27240422
"looking left-top";0,008029596;0,030438287;0,38011762;0,13173214
"looking right-top";0,014787487;0,2178826;0,22420678;0,023088027
"looking right-bottom";0,21140562;0,14862327;0,01738099;0,016089864
"looking left-bottom";0,19380778;0,018076763;0,030696906;0,19079301

[miranda1000]

After some thinking I suspect that the problem is in PICO's definition of "in" and "out"... Here's the right values:

note;EyeLookIn_R;EyeLookOut_R
"looking center";0,028608833;0,044009645
"looking top";0,0599295;0,06719822
"looking down";0,044341348;0,033644103
"looking right";0,013109921;0,26313967
"looking left";0,27240422;0,013014497
"looking left-top";0,13173214;0,030438287
"looking right-top";0,023088027;0,2178826
"looking roght-bottom";0,016089864;0,14862327
"looking left-bottom";0,19079301;0,018076763

[miranda1000]

I reviewed the code and it seems that was right from a begining:

        left->Gaze.x = this.scaler!.EyeExpressionShapeScale(pxrShape[(int)BlendShapeIndex.EyeLookIn_L] - pxrShape[(int)BlendShapeIndex.EyeLookOut_L], EyeExpressions.EyeXGazeLeft);
        left->Gaze.y = this.scaler!.EyeExpressionShapeScale(pxrShape[(int)BlendShapeIndex.EyeLookUp_L] - pxrShape[(int)BlendShapeIndex.EyeLookDown_L], EyeExpressions.EyeYGazeLeft);

        right->Gaze.x = this.scaler!.EyeExpressionShapeScale(pxrShape[(int)BlendShapeIndex.EyeLookOut_R] - pxrShape[(int)BlendShapeIndex.EyeLookIn_R], EyeExpressions.EyeXGazeRight);
        right->Gaze.y = this.scaler!.EyeExpressionShapeScale(pxrShape[(int)BlendShapeIndex.EyeLookUp_R] - pxrShape[(int)BlendShapeIndex.EyeLookDown_R], EyeExpressions.EyeYGazeRight);

[containerblaq1]

Is this the fix for the issue? I can build and test if needed.

[miranda1000]

There is no fix yet @containerblaq1

[containerblaq1]

@miranda1000 Understood. Thanks!