数据抓取-如何数据抓取

实现网页数据抓取是搜索引擎的基本功能之一。每个独立的搜索引擎都有自己的网页抓取程序。顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

发现、抓取网页信息需要有高性能的“网络蜘蛛”程序去自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式，是查看一个页面，并从中找到相关信息然后它再从该页面的所有链接中出发，继续寻找相关的信息，以此类推，直至穷尽。网络蜘蛛要求能够快速、全面。网络蜘蛛为实现其快速地浏览整个互联网，通常在技术上采用抢先式多线程技术实现在网上聚集信息。

通过抢先式多线程的使用，你能索引一个基于URL链接的Web页面，启动一个新的线程跟随每个新的URL链接，索引一个新的URL起点。当然在服务器上所开的线程也不能无限膨胀，需要在服务器的正常运转和快速收集网页之间找一个平衡点。在算法上各个搜索引擎技术公司可能不尽相同，但目的都是快速浏览Web页和后续过程相配合。

目前国内的搜索引擎技术公司中，比如百度公司的网络蜘蛛采用了可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息，并把所获得的信息保存下来以备建立索引库和用户检索。

1去用工具分析出来js最终生成的url是什么，具体发送请求，都发送了哪些数据。

相关可参考：

教程手把手教你如何利用工具IE9的F12去分析模拟登陆网站百度首页的内部逻辑过程

如果本身不懂背后的逻辑，可参考：

整理关于抓取网页，分析网页内容，模拟登陆网站的逻辑流程和注意事项

2然后自己写代码，模拟出来对应流程

可参考：

语言的：

教程抓取网并提取网页中所需要的信息之版

教程模拟登陆网站之版（内含两种版本的完整的可运行的代码）

C的：

教程抓取网并提取网页中所需要的信息之C版

教程模拟登陆网站之C版（内含两种版本的完整的可运行的代码）

此处不给贴地址，请自己用搜索帖子标题，即可找到帖子地址

像这种简单的转换工具肯定是可以应付的，应该是你的设计文件存在问题，或者步骤走向没有配置好，再想想吧，开源的ETL也就这个软件认可率较高些。

临时表

2种

基于会话

基于事务

基于会话的临时表

10

基于事务的临时表

10

对于基于事务的临时表，以后，临时表中的数据被清空。

对于基于会话的临时表，断开连接后，临时表中的数据被清空。

临时表在事前先创建好

会话存储过程中，只作操作

避免在存储过程中，创建临时表

临时表数据，仅仅当前会话能够检索到，会话一的数据，在会话二那里，无法检索到，只能检索到表结构。

不会在会话结束后，删除临时表。

对于临时表是基于会话的好，还是基于事务的合适

楼主当前这个情况使用基于会话的就可以了

对于每个站点都要在中心库建立一个临时表这样才会存在表重名如果只建立一张临时表，是所有站点往一张表里放数据那就好解决了这个各个站点建立临时表是ODI特有的机制，如果要改动就需要进它的KM里面改，这个就太不现实而且成本太高了

的临时表，每一个之间，是共享表结构定义。数据不共享的。也就是针对同一个临时表。

A插入100条记录，这100条记录，对B是不可见的。B插入100条记录，A也是不可见的。

这些临时表，只有当前会话自己可以看到自己插入的数据，别的会话看不到。

但是我不大确定，楼主到底要做什么事情。

如果是先上传到临时表，然后更新到一个正式表，那么没有问题。你对临时表的操作，不会影响到别的用户。你退出了，临时表的数据会被自动清空。

如果是要上传到临时表，然后第2天上来，还想看到昨天临时表的数据，那是不行的。你需要建立一个普通的表，而不是临时表。