好的，我们是汽车配件的大型经销商。我们需要登录（每个和不同域的不同登录）到15个不同的供应商网站，通过搜索SKU来获取有关产品的信息，以接收定价信息和库存。所有网站都使用典型的搜索结构（等等/搜索？SKU=FSA9FSDF ），因此可以使脚本自动搜索每个供应商，尽管网站重新设计会导致这里和那里的问题。提取定价和股票信息并分配给变量也不应该成为问题。
这是我们的开发人员告诉我们的问题
为了自动执行从供应商站点提取产品价格的过程，我们需要>访问他们的 API 或某种可以直接从>脚本中调用的端点。 对于登录页面，它无法自动化，因为需要会话cookie来验证用户的登录状态>。
大多数站点都没有 API。必须有一些方法可以做到这一点，因为让我们的员工这样做非常耗时且成本高昂，并且不时导致错误。
如有必要，我们还可以使用其他编程语言来实现这一点。
实际上，您的开发人员是正确的。 当端点和/或 API 不存在时，我们通常不得不求助于屏幕抓取、从电子邮件中提取信息，或者查看第三方系统是否可以在 FTP 或 WEBDAV 位置放置"搜索文件"，然后您的应用程序将以您和您的工作流程可接受的频率轮询该 FTP 或 WEBDAV 位置。
我们自己也经历过这种情况，但在不同的行业：建筑业。
此外，最好致电这些供应商中的每一个以了解他们提供的产品。 您可能会惊讶地发现他们已经或正在以某种方式公开他们的数据。 至少，它们可能具有基于 DVD 的数据库。 这有点老式，但在这种情况下导入数据通常是小菜一碟。
最后一个建议：可能有第三方（"第三方"是指与您的任何供应商完全不同的一方）聚合这些数据并提供某种数据产品。
您可以联系供应商，希望他们能容纳，我会谨慎行事，不讨论抓取选项; 但我认为从情况听起来，你最好的选择是找一个自动化专家，你可以与他建立联系，以加快和提高过程中的准确性。让计算机做某事比遵循相同过程的人快数十万倍，尽管计算机和编程成本很高，但它们通常只是因为它们省钱才到位。
并非所有程序员都能胜任这项任务，数百名申请人在抓取内容、解决方法等方面可能并不熟练。我建议对抓取网站保持沉默，因为它可能会让你被禁止。让我们面对现实吧，一些供应商看不到机会。2013年，我甚至不得不帮助一位电子商务客户从他的网站上抓取他的产品图片，描述，youtube视频和尺寸，因为讨厌的ERP供应商不会以有意义的方式访问信息......可悲的是，这就是我们生活的世界。
如果你确实得到了一个真正的程序员，他们可能需要在初始项目后被保留，以跟上对外部服务的更改，但如果第三方希望所有流量都通过他们并且不想提供API，那么与最低工资相比，这可能仍然是最好的选择。
Shawns 的评论也是有效的，但如果你得到一个知道他们在做什么的刮刀，你没有什么可担心的，因为他们会有工具让事情看起来真实！
希望这有帮助