DF创客社区发现DF创客商城教程产品资料库

ESP32S2 实现触摸屏

2022-04-168606
zoologist
zoologist

UID: 4455

123文章
1粉丝
79获取喜欢
AI 快速预览详细 收起
本文介绍了如何在ESP32 S2上实现触摸屏。首先，需要一个正确的HID Descriptor来定义触摸屏幕的数据结构。接着，文章详细解释了数据结构中每个字节的意义，例如按下标志、按键编号、坐标等。此外，还强调了Get Report处理的重要性，这是使触摸屏正常工作的关键步骤。最后，提供了完整的代码示例，帮助读者快速实现触摸屏功能。


参照Teensy的触摸【参考1】，在 ESP32 S2 上实现了触摸屏。最关键的步骤有2个：
1.     正确的 HID Descriptor，下面是一个10指触摸的触摸屏幕的描述符
  1. static const uint8_t report_descriptor[] = { // 8 TouchData

  2.   0x05, 0x0D,

  3.   0x09, 0x04,

  4.   0xA1, 0x01,

  5.   0x09, 0x22,

  6.   0xA1, 0x02,

  7.   0x09, 0x42,

  8.   0x15, 0x00,

  9.   0x25, 0x01,

  10.   0x75, 0x01,

  11.   0x95, 0x01,

  12.   0x81, 0x02,

  13.   0x09, 0x30,

  14.   0x25, 0x7F,

  15.   0x75, 0x07,

  16.   0x95, 0x01,

  17.   0x81, 0x02,

  18.   0x09, 0x51,

  19.   0x26, 0xFF, 0x00,

  20.   0x75, 0x08,

  21.   0x95, 0x01,

  22.   0x81, 0x02,

  23.   0x05, 0x01,

  24.   0x09, 0x30,

  25.   0x09, 0x31,

  26.   0x26, 0xFF, 0x7F,

  27.   0x65, 0x00,

  28.   0x75, 0x10,

  29.   0x95, 0x02,

  30.   0x81, 0x02,

  31.   0xC0,

  32.   0x05, 0x0D,

  33.   0x27, 0xFF, 0xFF, 0x00, 0x00,

  34.   0x75, 0x10,

  35.   0x95, 0x01,

  36.   0x09, 0x56,

  37.   0x81, 0x02,

  38.   0x09, 0x54,

  39.   0x25, 0x0A,

  40.   0x75, 0x08,

  41.   0x95, 0x01,

  42.   0x81, 0x02,

  43.   0x05, 0x0D,

  44.   0x09, 0x55,

  45.   0x25, 0x0A,

  46.   0x75, 0x08,

  47.   0x95, 0x01,

  48.   0xB1, 0x02,

  49.   0xC0,

  50. };

复制代码

对应发送的数据结构是：
  1.     // touch report

  2.     //  0: on/off + pressure

  3.     //  1: contact id

  4.     //  2: X lsb

  5.     //  3: X msb

  6.     //  4: Y lsb

  7.     //  5: Y msb

  8.     //  6: scan time lsb

  9.     //  7: scan time msb

  10. //  8: contact count

复制代码
其中 Byte0 Bit0 是按下标志，一直为1，Bit1-7 是按键压力；Byte1是按键编号，从 0-255，可以理解为手指编号，比如：右手食指按下，编号为0；右手中指按下，编号为1;右手抬起后再次按下，会重新分配一个编号。Byte2-3按键的X坐标；Byte4-5按键的Y坐标；Byte6-7是按压发生的事件，是以 100us为单位；Byte8是当前正在发生的按压事件中触摸点的数量。在【参考2】有一个例子：

ESP32S2 实现触摸屏图1
Table 7 Report Sequence for Two Contacts with Separated Lift(Two-Finger Hybrid)

  
   
Report
   		   
1
   		   
2
   		   
3
   		   
4
   		   
5
   		   
6
   		   
7
   		   
8
   		   
9
   		   
10
   		   
11
   
  
Contact Count
  		  
2
  		  
2
  		  
2
  		  
2
  		  
2
  		  
2
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  
  
Contact 1 Tip Switch
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
0
  		  
NR
  		  
NR
  		  
NR
  		  
NR
  		  
NR
  
  
Contact 1 X,Y
  		  
X₁,Y₁
  		  
X₂,Y₂
  		  
X₃,Y₃
  		  
X₄,Y₄
  		  
X₅,Y₅
  		  
X₅,Y₅
  		  
NR
  		  
NR
  		  
NR
  		  
NR
  		  
NR
  
  
Contact 2 Tip Switch
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
1
  		  
0
  
  
Contact 2 X,Y
  		  
X₁,Y₁
  		  
X₂,Y₂
  		  
X₃,Y₃
  		  
X₄,Y₄
  		  
X₅,Y₅
  		  
X₆,Y₆
  		  
X₇,Y₇
  		  
X₈,Y₈
  		  
X₉,Y₉
  		  
X₁₀,Y₁₀
  		  
X₁₀,Y₁₀
  

  
图中是2个手指
图中是2个手指进行触摸的例子，R1 会分别报告手指1和2移动的信息，同时 Byte8 的 Contract Count 会等于2；R6的时候，因为手指1已经抬起，所以Contract Count会变成1.
.另外一个重要的，容易被忽视的要求：Get Report 的处理。即使上面的描述符正确报告，然后数据也正常发送到Windows中，你的触摸屏依然无法正常工作，原因就是缺少了对Get Report的处理。更糟糕的是：你无法使用 USBlyzer 这样的工具抓到 Teensy 中的数据。
ESP32S2 实现触摸屏图2
Teensy 例子中上位机发送 GET_REPORT 收到返回值0x0a
如果不在代码中特别处理，对于这个命令会 STALL
ESP32S2 实现触摸屏图3
关于这个 COMMAND 的含义，目前没搞清楚【参考3】

对于我们来说，只要有一个返回值就能让它工作正常。最终一个可以工作的代码如下：
  1. #include "USB.h"

  2. #include "USBHID.h"

  3. USBHID HID;

  4. 

  5. static const uint8_t report_descriptor[] = { // 8 TouchData

  6.   0x05, 0x0D,

  7.   0x09, 0x04,

  8.   0xA1, 0x01,

  9.   0x09, 0x22,

  10.   0xA1, 0x02,

  11.   0x09, 0x42,

  12.   0x15, 0x00,

  13.   0x25, 0x01,

  14.   0x75, 0x01,

  15.   0x95, 0x01,

  16.   0x81, 0x02,

  17.   0x09, 0x30,

  18.   0x25, 0x7F,

  19.   0x75, 0x07,

  20.   0x95, 0x01,

  21.   0x81, 0x02,

  22.   0x09, 0x51,

  23.   0x26, 0xFF, 0x00,

  24.   0x75, 0x08,

  25.   0x95, 0x01,

  26.   0x81, 0x02,

  27.   0x05, 0x01,

  28.   0x09, 0x30,

  29.   0x09, 0x31,

  30.   0x26, 0xFF, 0x7F,

  31.   0x65, 0x00,

  32.   0x75, 0x10,

  33.   0x95, 0x02,

  34.   0x81, 0x02,

  35.   0xC0,

  36.   0x05, 0x0D,

  37.   0x27, 0xFF, 0xFF, 0x00, 0x00,

  38.   0x75, 0x10,

  39.   0x95, 0x01,

  40.   0x09, 0x56,

  41.   0x81, 0x02,

  42.   0x09, 0x54,

  43.   0x25, 0x0A,

  44.   0x75, 0x08,

  45.   0x95, 0x01,

  46.   0x81, 0x02,

  47.   0x05, 0x0D,

  48.   0x09, 0x55,

  49.   0x25, 0x0A,

  50.   0x75, 0x08,

  51.   0x95, 0x01,

  52.   0xB1, 0x02,

  53.   0xC0,

  54. };

  55. 

  56. class CustomHIDDevice: public USBHIDDevice {

  57.   public:

  58.     CustomHIDDevice(void) {

  59.       static bool initialized = false;

  60.       if (!initialized) {

  61.         initialized = true;

  62.         HID.addDevice(this, sizeof(report_descriptor));

  63.       }

  64.     }

  65.     uint16_t _onGetFeature(uint8_t report_id, uint8_t* buffer, uint16_t len)

  66.       {

  67.         buffer[0]=0x0A;

  68.         return 0x01;

  69.       }

  70.     void begin(void) {

  71.       HID.begin();

  72.     }

  73. 

  74.     uint16_t _onGetDescriptor(uint8_t* buffer) {

  75.       memcpy(buffer, report_descriptor, sizeof(report_descriptor));

  76.       return sizeof(report_descriptor);

  77.     }

  78. 

  79.     bool send(uint8_t * value) {

  80.       return HID.SendReport(0, value, 9);

  81.     }

  82. };

  83. 

  84. CustomHIDDevice Device;

  85. 

  86. const int buttonPin = 0;

  87. int previousButtonState = HIGH;

  88. uint8_t TouchData[9];

  89. 

  90. void setup() {

  91.   Serial.begin(115200);

  92.   Serial.setDebugOutput(true);

  93.   Device.begin();

  94.   USB.begin();

  95. }

  96. 

  97. void loop() {

  98.   if (HID.ready()) {

  99.     Serial.println("Finger");

  100.     // touch report

  101.     //  0: on/off + pressure

  102.     //  1: contact id

  103.     //  2: X lsb

  104.     //  3: X msb

  105.     //  4: Y lsb

  106.     //  5: Y msb

  107.     //  6: scan time lsb

  108.     //  7: scan time msb

  109.     //  8: contact count

  110.     for (int i=0;i<200;i+=100) {

  111.     TouchData[0] = 0x81; TouchData[1] = 0x08;

  112.     TouchData[2] = (16000)&0xFF; TouchData[3] = ((16000)>>8)&0xFF;

  113.     TouchData[4] = (4000+i)&0xFF; TouchData[5] = ((4000+i)>>8)&0xFF;

  114.     TouchData[6] = (millis()*10)&0xFF; TouchData[7] = (millis()*10>>8)&0xFF;

  115.     TouchData[8] = 0x01; 

  116.     Device.send(TouchData);

  117.     delay(10);

  118.     TouchData[0] = 0x81; TouchData[1] = 0x08;

  119.     TouchData[2] = (16000)&0xFF; TouchData[3] = ((16000)>>8)&0xFF;

  120.     TouchData[4] = (4000+i)&0xFF; TouchData[5] = ((4000+i)>>8)&0xFF;

  121.     TouchData[6] = (millis()*10)&0xFF; TouchData[7] = (millis()*10>>8)&0xFF;

  122.     TouchData[8] = 0x01; 

  123.     delay(10);

  124.     }

  125.     //每隔10秒

  126.     delay(5000);

  127.   }

  128. }

复制代码


再复杂一点，做一个画圆的：

  1. #include "USB.h"

  2. #include "USBHID.h"

  3. USBHID HID;

  4. 

  5. int STARTX=16000;

  6. int STARTY=12000;

  7. int STARTR=2000;

  8. static const uint8_t report_descriptor[] = { // 8 TouchData

  9.   0x05, 0x0D,

  10.   0x09, 0x04,

  11.   0xA1, 0x01,

  12.   0x09, 0x22,

  13.   0xA1, 0x02,

  14.   0x09, 0x42,

  15.   0x15, 0x00,

  16.   0x25, 0x01,

  17.   0x75, 0x01,

  18.   0x95, 0x01,

  19.   0x81, 0x02,

  20.   0x09, 0x30,

  21.   0x25, 0x7F,

  22.   0x75, 0x07,

  23.   0x95, 0x01,

  24.   0x81, 0x02,

  25.   0x09, 0x51,

  26.   0x26, 0xFF, 0x00,

  27.   0x75, 0x08,

  28.   0x95, 0x01,

  29.   0x81, 0x02,

  30.   0x05, 0x01,

  31.   0x09, 0x30,

  32.   0x09, 0x31,

  33.   0x26, 0xFF, 0x7F,

  34.   0x65, 0x00,

  35.   0x75, 0x10,

  36.   0x95, 0x02,

  37.   0x81, 0x02,

  38.   0xC0,

  39.   0x05, 0x0D,

  40.   0x27, 0xFF, 0xFF, 0x00, 0x00,

  41.   0x75, 0x10,

  42.   0x95, 0x01,

  43.   0x09, 0x56,

  44.   0x81, 0x02,

  45.   0x09, 0x54,

  46.   0x25, 0x0A,

  47.   0x75, 0x08,

  48.   0x95, 0x01,

  49.   0x81, 0x02,

  50.   0x05, 0x0D,

  51.   0x09, 0x55,

  52.   0x25, 0x0A,

  53.   0x75, 0x08,

  54.   0x95, 0x01,

  55.   0xB1, 0x02,

  56.   0xC0,

  57. };

  58. 

  59. class CustomHIDDevice: public USBHIDDevice {

  60.   public:

  61.     CustomHIDDevice(void) {

  62.       static bool initialized = false;

  63.       if (!initialized) {

  64.         initialized = true;

  65.         HID.addDevice(this, sizeof(report_descriptor));

  66.       }

  67.     }

  68.     uint16_t _onGetFeature(uint8_t report_id, uint8_t* buffer, uint16_t len)

  69.       {

  70.         buffer[0]=0x0a;

  71.         return 1;

  72.       }

  73.     void begin(void) {

  74.       HID.begin();

  75.     }

  76. 

  77.     uint16_t _onGetDescriptor(uint8_t* buffer) {

  78.       memcpy(buffer, report_descriptor, sizeof(report_descriptor));

  79.       return sizeof(report_descriptor);

  80.     }

  81. 

  82.     bool send(uint8_t * value) {

  83.       return HID.SendReport(0, value, 9);

  84.     }

  85. };

  86. 

  87. CustomHIDDevice Device;

  88. 

  89. const int buttonPin = 0;

  90. int previousButtonState = HIGH;

  91. uint8_t TouchData[9];

  92. 

  93. void setup() {

  94.   Serial.begin(115200);

  95.   Serial.setDebugOutput(true);

  96.   Device.begin();

  97.   USB.begin();

  98. }

  99. 

  100. void loop() {

  101.   if (HID.ready()) {

  102.     Serial.println("Finger");

  103.     // touch report

  104.     //  0: on/off + pressure

  105.     //  1: contact id

  106.     //  2: X lsb

  107.     //  3: X msb

  108.     //  4: Y lsb

  109.     //  5: Y msb

  110.     //  6: scan time lsb

  111.     //  7: scan time msb

  112.     //  8: contact count

  113.     for (int i=0;i<101;i++) {

  114.     TouchData[0] = 0x81; TouchData[1] = 0x08;

  115.     TouchData[2] = ((int)(STARTX+STARTR*sin(2*PI*i/100)))&0xFF; 

  116.     TouchData[3] = ((int)(STARTX+STARTR*sin(2*PI*i/100)))>>8&0xFF;

  117.     TouchData[4] = ((int)(STARTY+STARTR*cos(2*PI*i/100)))&0xFF; 

  118.     TouchData[5] = ((int)(STARTY+STARTR*cos(2*PI*i/100)))>>8&0xFF;

  119.     TouchData[6] = (millis()*10)&0xFF; TouchData[7] = (millis()*10>>8)&0xFF;

  120.     TouchData[8] = 0x01; 

  121.     Device.send(TouchData);

  122.     delay(10);

  123.     }

  124.     //每隔10秒

  125.     delay(5000);

  126.     STARTX=STARTX+300;

  127.     STARTY=STARTY+300;

  128.     

  129.   }

  130. }

复制代码
测试结果：

ESP32S2 实现触摸屏图4
视频：
就是这样，不要问这个能干啥, 还没想好。

参考：

创作许可协议

本项目采用 None(不开放任何权利，保留所有权利) 进行许可。

ESP32其他平台

相关推荐

评论(3)
wukonglaoshi
wukonglaoshi
看了你上面描述还有下面的评论，修改你提供的第一个例程进行2个触控点的测试，在win10系统上始终没有正确反馈，不知道是什么原因？一旦设置成2个触控点，就无法反馈，测试代码只改了下面，不知道哪里不对?
void loop() {
if (HID.ready()) {
Serial.println("Finger");
// touch report
// 0: on/off + pressure
// 1: contact id
// 2: X lsb
// 3: X msb
// 4: Y lsb
// 5: Y msb
// 6: scan time lsb
// 7: scan time msb
// 8: contact count
for (int i = 0; i < 16000; i += 100) {
int scan_time = millis() * 10;
TouchData[0] = 0x81; TouchData[1] = 0x01;//触控点1
TouchData[2] = (12000) & 0xFF; TouchData[3] = ((12000) >> 8) & 0xFF;
TouchData[4] = (4000 + i) & 0xFF; TouchData[5] = ((4000 + i) >> 8) & 0xFF;
TouchData[6] = (scan_time) & 0xFF; TouchData[7] = (scan_time >> 8) & 0xFF;//使用相同时间标签与使用不同时间标签
TouchData[8] = 0x02;//修改成2个触控点
Device.send(TouchData);
delay(10);
scan_time = millis() * 10;
TouchData[0] = 0x81; TouchData[1] = 0x02;//触控点2
TouchData[2] = (16000) & 0xFF; TouchData[3] = ((16000) >> 8) & 0xFF;
TouchData[4] = (4000 + i) & 0xFF; TouchData[5] = ((4000 + i) >> 8) & 0xFF;
TouchData[6] = (scan_time) & 0xFF; TouchData[7] = (scan_time >> 8) & 0xFF;//使用相同时间标签与使用不同时间标签
TouchData[8] = 0x02;//修改成2个触控点
Device.send(TouchData);
delay(10);
}
//每隔10秒
delay(5000);
}
}
wukonglaoshi
wukonglaoshi
看了你上面描述还有下面的评论，修改你提供的第一个例程进行2个触控点的测试，在win10系统上始终没有正确反馈，不知道是什么原因？一旦设置成2个触控点，就无法反馈，测试代码只改了下面，不知道哪里不对?
void loop() {
if (HID.ready()) {
Serial.println("Finger");
// touch report
// 0: on/off + pressure
// 1: contact id
// 2: X lsb
// 3: X msb
// 4: Y lsb
// 5: Y msb
// 6: scan time lsb
// 7: scan time msb
// 8: contact count
for (int i = 0; i < 16000; i += 100) {
int scan_time = millis() * 10;
TouchData[0] = 0x81; TouchData[1] = 0x01;//触控点1
TouchData[2] = (12000) & 0xFF; TouchData[3] = ((12000) >> 8) & 0xFF;
TouchData[4] = (4000 + i) & 0xFF; TouchData[5] = ((4000 + i) >> 8) & 0xFF;
TouchData[6] = (scan_time) & 0xFF; TouchData[7] = (scan_time >> 8) & 0xFF;//使用相同时间标签与使用不同时间标签
TouchData[8] = 0x02;//修改成2个触控点
Device.send(TouchData);
delay(10);
scan_time = millis() * 10;
TouchData[0] = 0x81; TouchData[1] = 0x02;//触控点2
TouchData[2] = (16000) & 0xFF; TouchData[3] = ((16000) >> 8) & 0xFF;
TouchData[4] = (4000 + i) & 0xFF; TouchData[5] = ((4000 + i) >> 8) & 0xFF;
TouchData[6] = (scan_time) & 0xFF; TouchData[7] = (scan_time >> 8) & 0xFF;//使用相同时间标签与使用不同时间标签
TouchData[8] = 0x02;//修改成2个触控点
Device.send(TouchData);
delay(10);
}
//每隔10秒
delay(5000);
}
}
天意岸
天意岸
我想问下哈，如果是多点触控，比如两点TouchData数组相当于加长一倍么？那关于最后一位表示按压事件中触摸点的数量，应该全都设置成2么（相当于数组中第8和第17个数就是2）？那这样我看最开始的十点数据也不太对啊
zoologist
zoologist
作者
回复天意岸
这个应该是 ESP32 S2自带的，不是第三方的
天意岸
天意岸回复zoologist
哦哦，我明白了，那最后一个问题就是前面两个include文件怎么搞得，我觉得你这个还是很有用的，目前我想用视觉做虚拟触屏，现在坐标可以返回了就差触屏实现了
共3条回复，已加载2条，点击查看更多共3条回复，已加载全部
- 没有更多了 -
zoologist
zoologist

UID: 4455

123文章
1粉丝
79获取喜欢

创作许可协议

本项目采用 None(不开放任何权利，保留所有权利) 进行许可。

相关推荐

【花雕动手做】使用4040铝型材与250W减速电机的底盘小车
【花雕动手做】使用4040铝型材与250W减速电机的底盘小车驴友花雕的用户头像驴友花雕690
BLE Arduino开发神器 Bluno Beetle开启免费试用啦！
BLE Arduino开发神器 Bluno Beetle开启免费试用啦！Ash1的用户头像Ash12.3万0
SS528 定制开发板
SS528 定制开发板GUITIANXIA的用户头像GUITIANXIA10