对于动态表单的爬取

[HomerQing]

您好，使用后发现crawlergo对于大多数动态表单也会遇到无法爬取到表单内容的情况，如https://accounts.google.com/ServiceLogin/identifier?flowName=GlifWebSignIn&flowEntry=ServiceLogin

动态表单的form data出现存在随机性。请教下，对于自动化爬取动态表单，有没有什么比较好的思路？

谢谢！

[Qianlitp]

简单看了下，第一次出现的用户名表单，crawlergo正确识别并点击了下一步，但后续的填密码就没有再触发了。这个你可以关闭headless看到过程。
对于这种表单，其实很难做通用化的处理，想了下思路：

1. 只自动化填充可见的输入框，不可见或带有hidden关键字的输入框，不再自动填充
2. 触发表单提交后，监听页面变化，检测到有表单新增、表单属性更改等，重复自动化表单填充和提交操作
3. 设定步骤2的最大循环次数，防止卡死