這篇文章主要介紹了谷歌機器人怎么聯網，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲，下面讓小編帶著大家一起了解一下。
potato怎么往群里拉機器人
在聊天的主窗口中，搜索@Google_bot或者@GoogleBot，看到這個機器人，點擊后按開始。
2.按開始后就會自動彈出所有的頻道的索引了，在這里可以按照功能查找你要找的頻道和群組，也可以直接輸入特定的關鍵字進行查找！3.添加索引，只需要點擊按鈕“添加頻道/群組/機器人”。之后在輸入您想要添加的頻道的域名就可以了，比如添加PornMain，可以直接輸入Pornmain也可以輸入@pornmain，不區分大小寫。在聊天的主窗口中，搜索@Google_bot或者@GoogleBot，看到這個機器人，點擊后按開始。2.按開始后就會自動彈出所有的頻道的索引了，在這里可以按照功能查找你要找的頻道和群組，也可以直接輸入特定的關鍵字進行查找！3.添加索引，只需要點擊按鈕“添加頻道/群組/機器人”。之后在輸入您想要添加的頻道的域名就可以了，比如添加PornMain，可以直接輸入Pornmain也可以輸入@pornmain，不區分大小寫。
請高手指點怎樣才能使GOOGLE等搜索不到我的網頁?
在你服務器的根目錄中放入一個名為 robots.txt 的文件。
文件內容為：
User-agent:Googlebot。
Disallow:/
如果用*號代替上面的Googlebot，那么google、百度等所有搜索引擎都不會搜索你的網頁了。
通過robots.txt文件還可以實現更復雜的搜索定義，其詳細格式參見：
http://www.robotstxt.org/wc/norobots.html。
Google 蜘蛛主要有哪兩類？
“Google蜘蛛”，也叫做Google Spider。
常見的Google蜘蛛有兩種。
一種是搜索引擎用的，叫做Googlebot，它會訪問制定的網頁，收集該網頁上的鏈接，而且會順著這些鏈接找其他的網頁，通過這些鏈接，把世界上的網頁連成了一個巨大的網，所以這些在網絡上爬行的Googlebot也被稱為Google蜘蛛。
還有一種叫做Mediabot，這種蜘蛛也是Google的，它的目的是抓取網頁來匹配Google AdSense與內容相關廣告的。
前對于搜索排名最重要的還是Googlebot這種蜘蛛，而參加了Google AdSense廣告的站長，他們的網頁如果有放Google AdSense代碼，那么其Mediabot抓取網頁內容會補充給搜索引擎，所以這些網頁的收錄會比較快。
這段代碼
這是指定搜索引擎的做法。
只對谷歌，不包括百度也允許這樣對網站可以抓取，并對網站上的鏈接允許訪問。同時禁止顯示在谷歌顯示快照。
archive應該是noarchive。這個意思是禁止顯示快照。百度在搜索引擎優化指南里明確說過，百度支持noarchive.。
相關可以去我
79SEO博客有一遍文章"
meta name=”robots”標簽用法。
Google如何識別IP傳送、定位傳送和內容偽裝
按地理位置傳送: 根據用戶所在位置，提供有針對性的內容。網站管理員可以通過用戶儲存在Cookie里的參數確定用戶地理位置，還可以根據登錄信息或者IP地址確定用戶所在的位置。比如，如果你的網站是關于棒球的，你就可以通過定位技術向紐約的用戶突顯洋基隊的內容信息。
關鍵是傳遞給Googlebot的信息要與來自相似地域，IP范圍等等的普通用戶一樣 （如果將Googlebot和普通真實的用戶區別對待，那就構成了內容偽裝）
按用戶IP傳送：根據用戶的IP地址，提供特定內容信息。一般情況下，用戶的IP地址與地理位置是綁定的，所以IP可以被當成是一種特定的地理位置標識, 類似的規則同樣適用。Googlebot上將看到與來自相同IP地址的用戶一致的內容。
觀看視頻：IP Delivery: Background and Considerations內容偽裝：向用戶提供與Googlebot不同的內容。這種行為是違反網站管理員指南 的。如果Googlobot里面的文檔與用戶看到的文檔內容不一致，你就麻煩了。諸如md5sum或者diff等程序都會監測出兩個不同文檔的相似性。 First click free: 首次點擊免費:實施Google資訊首次點擊免費政策， 這樣一來，就可以在不違反搜索質量原則的前提下，將獎勵性或者訂閱用戶才能享受的服務內容，顯示在Google的搜索索引當中。即使用戶沒有注冊或者訂 閱，也可以通過Google搜索，找到網頁，然后瀏覽文檔全文。他們的第一次點擊是免費的，但如果要瀏覽網站上其他網頁的內容，則需要登錄或者付費。
robots.txt代碼設置什么，如何設置它
robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。robots.txt文件的格式。
User-agent: 定義搜索引擎的類型。
Disallow: 定義禁止搜索引擎收錄的地址。
Allow: 定義允許搜索引擎收錄的地址。
我們常用的搜索引擎類型有： (User-agent區分大小寫)。
google蜘蛛：Googlebot。
百度蜘蛛：Baiduspider。
yahoo蜘蛛：Yahoo!slurp。
alexa蜘蛛：ia_archiver。
bing蜘蛛：MSNbot
altavista蜘蛛：scooter。
lycos蜘蛛：lycos_spider_(t-rex)。
alltheweb蜘蛛：fast-webcrawler。
inktomi蜘蛛： slurp。
Soso蜘蛛:Sosospider。
Google Adsense蜘蛛:Mediapartners-Google。
有道蜘蛛:YoudaoBot
robots.txt文件的寫法。
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符。
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄。
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄。
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄。
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態頁面。
Disallow: /jpg$ 禁止抓取網頁所有的.jpg格式的圖片。
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄。
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄。
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片。
robots.txt文件用法舉例。
例1. 禁止所有搜索引擎訪問網站的任何部分。
User-agent: *
Disallow: /
實例分析：淘寶網的 Robots.txt文件。
User-agent: Baiduspider。
Disallow: /
User-agent: baiduspider。
Disallow: /
很顯然淘寶不允許百度的機器人訪問其網站下其所有的目錄。
例2. 允許所有的robot訪問 (或者也可以建一個空文件 “/robots.txt” file)。
User-agent: *
Allow:
例3. 禁止某個搜索引擎的訪問。
User-agent: BadBot。
Disallow: /
例4. 允許某個搜索引擎的訪問。
User-agent: Baiduspider。
allow:/
例5.一個簡單例子
在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即搜索引擎不會訪問這三個目錄。
需要注意的是對每一個目錄必須分開聲明，而不要寫成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的*具有特殊的含義，代表“any robot”，所以在該文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”這樣的記錄出現。
User-agent: *
Disallow: /cgi-bin/。
Disallow: /tmp/。
Disallow: /~joe/。
Robot特殊參數：
允許 Googlebot：
如果您要攔截除 Googlebot 以外的所有漫游器不能訪問您的網頁，可以使用下列語法：
User-agent:
Disallow: /
User-agent: Googlebot。
Disallow:
Googlebot 跟隨指向它自己的行，而不是指向所有漫游器的行。
“Allow”擴展名：
Googlebot 可識別稱為“Allow”的 robots.txt 標準擴展名。其他搜索引擎的漫游器可能無法識別此擴展名，因此請使用您感興趣的其他搜索引擎進行查找?！癆llow”行的作用原理完全與“Disallow”行一樣。只需列出您要允許的目錄或頁面即可。
您也可以同時使用“Disallow”和“Allow”。例如，要攔截子目錄中某個頁面之外的其他所有頁面，可以使用下列條目：
User-agent: Googlebot。
Disallow: /folder1/。
Allow: /folder1/myfile.html。
這些條目將攔截 folder1 目錄內除 myfile.html 之外的所有頁面。
如果您要攔截 Googlebot 并允許 Google 的另一個漫游器（如 Googlebot-Mobile），可使用”Allow”規則允許該漫游器的訪問。例如：
User-agent: Googlebot。
Disallow: /
User-agent: Googlebot-Mobile。
Allow:
使用 * 號匹配字符序列：
您可使用星號 (*) 來匹配字符序列。例如，要攔截對所有以 private 開頭的子目錄的訪問，可使用下列條目：
User-Agent: Googlebot。
Disallow: /private*/。
要攔截對所有包含問號 (?) 的網址的訪問，可使用下列條目：
User-agent: *
Disallow: /*?*
使用 $ 匹配網址的結束字符
您可使用 $ 字符指定與網址的結束字符進行匹配。例如，要攔截以 .asp 結尾的網址，可使用下列條目：
User-agent: Googlebot。
Disallow: /*.asp$。
您可將此模式匹配與 Allow 指令配合使用。例如，如果 ? 表示一個會話 ID，您可排除所有包含該 ID 的網址，確保 Googlebot 不會抓取重復的網頁。但是，以 ? 結尾的網址可能是您要包含的網頁版本。在此情況下，可對 robots.txt 文件進行如下設置：
User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: / *?
一行將攔截包含 ? 的網址（具體而言，它將攔截所有以您的域名開頭、后接任意字符串，然后是問號 (?)，而后又是任意字符串的網址）。
Allow: /*?$ 一行將允許包含任何以 ? 結尾的網址（具體而言，它將允許包含所有以您的域名開頭、后接任意字符串，然后是問號 (?)，問號之后沒有任何字符的網址）。
Robots Meta標簽
Robots.txt文件主要是限制整個站點或者目錄的搜索引擎訪問情況，而Robots Meta標簽則主要是針對一個個具體的頁面。和其他的META標簽（如使用的語言、頁面的描述、關鍵詞等）一樣，Robots Meta標簽也是放在頁面中，專門用來告訴搜索引擎ROBOTS如何抓取該頁的內容。
Robots Meta標簽中沒有大小寫之分，name=”Robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=”BaiduSpider”。content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。
index指令告訴搜索機器人抓取該頁面；
follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去；
Robots Meta標簽的缺省值是index和follow，只有inktomi除外，對于它，缺省值是index、nofollow。
需要注意的是：
上述的robots.txt和Robots Meta標簽限制搜索引擎機器人（ROBOTS）抓取站點內容的辦法只是一種規則，需要搜索引擎機器人的配合才行，并不是每個ROBOTS都遵守的。
目前看來，絕大多數的搜索引擎機器人都遵守robots.txt的規則，而對于RobotsMETA標簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE還增加了一個指令“archive”，可以限制GOOGLE是否保留網頁快照。
什么是搜索引擎bot？
其實google平時就是靠bot這種程序，通過一個連接開始在網絡上爬行，帶回來一些相關數據，隨后給每個網站算出不同的評分，當你搜索某個結果是，會在很短速度內計算出你要的結果，按照相關性原則把結果顯示給你 。
再給你講個有名的技術
最著名的并且獲得了專利的當然就是google的PR技術 。
大家可能聽說過，Google 革命性的發明是它名為 “Page Rank” 的網頁排名算法，這項技術徹底解決了搜索結果排序的問題。其實最先試圖給互聯網上的眾多網站排序的并不是 Google。Yahoo！ 公司最初第一個用目錄分類的方式讓用戶通過互聯網檢索信息，但由于當時計算機容量和速度的限制，當時的 Yahoo！ 和同時代的其它搜索引擎都存在一個共同的問題： 收錄的網頁太少，而且只能對網頁中常見內容相關的實際用詞進行索引。那時，用戶很難找到很相關信息。我記得 1999 年以前查找一篇論文，要換好幾個搜索引擎。后來 DEC 公司開發了 AltaVista 搜索引擎，只用一臺 ALPHA 服務器，卻收錄了比以往引擎都多的網頁，而且對里面的每個詞進行索引。AltaVista 雖然讓用戶搜索到大量結果，但大部分結果卻與查詢不太相關，有時找想看的網頁需要翻好幾頁。所以最初的 AltaVista 在一定程度上解決了覆蓋率的問題，但不能很好地對結果進行排序。
Google 的 “Page Rank” （網頁排名）是怎么回事呢？其實簡單說就是民主表決。打個比方，假如我們要找李開復博士，有一百個人舉手說自己是李開復。那么誰是真的呢？也許有好幾個真的，但即使如此誰又是大家真正想找的呢？:-)如果大家都說在 Google 公司的那個是真的，那么他就是真的。
在互聯網上，如果一個網頁被很多其它很多網頁所鏈接，說明它受到普遍的承認和信賴，那么它的排名就高。這就是Page Rank 的核心思想。 當然 Google 的 Page Rank 算法實際上要復雜得多。比如說，對來自不同網頁的鏈接對待不同，本身網頁排名高的鏈接更可靠，于是給這些鏈接予較大的權重。Page Rank 考慮了這個因素，可是現在問題又來了，計算搜索結果的網頁排名過程中需要用到本身網頁的排名，這不成了先有雞還是先有蛋的問題了嗎？
Google 的兩個創始人拉里?6?1佩奇 （Larry Page ）和謝爾蓋?6?1布林 (Sergey Brin) 把這個問題變成了一個二維矩陣相乘的問題，并且用迭代的方法解決了這個問題。他們先假定所有網頁的排名是相同的，并且根據這個初始值，算出各個網頁的第一次迭代排名，然后再根據第一次迭代排名算出第二次的排名。他們兩人從理論上證明了不論初始值如何選取，這種算法都保證了網頁排名的估計值能收斂到他們的真實值。值得一提的事，這種算法是完全沒有任何人工干預的。
理論問題解決了，又遇到實際問題。因為互聯網上網頁的數量是巨大的，上面提到的二維矩陣從理論上講有網頁數目平方之多個元素。如果我們假定有十億個網頁，那么這個矩陣 就有一百億億個元素。這樣大的矩陣相乘，計算量是非常大的。拉里和謝爾蓋兩人利用稀疏矩陣計算的技巧，大大的簡化了計算量，并實現了這個網頁排名算法。今天 Google 的工程師把這個算法移植到并行的計算機中，進一步縮短了計算時間，使網頁更新的周期比以前短了許多。
我來 Google 后，拉里 (Larry) 在和我們幾個新員工座談時，講起他當年和謝爾蓋(Sergey) 是怎么想到網頁排名算法的。他說："當時我們覺得整個互聯網就像一張大的圖 （Graph)，每個網站就像一個節點，而每個網頁的鏈接就像一個弧。我想，互聯網可以用一個圖或者矩陣描述，我也許可以在用這個發現做個博士論文。" 他和謝爾蓋就這樣發明了 Page Rank 的算法。
網頁排名的高明之處在于它把整個互聯網當作了一個整體對待。它無意識中符合了系統論的觀點。相比之下，以前的信息檢索大多把每一個網頁當作獨立的個體對待，很多人當初只注意了網頁內容和查詢語句的相關性，忽略了網頁之間的關系。
今天，Google 搜索引擎比最初的復雜、完善了許多。但是網頁排名在 Google 所有算法中依然是至關重要的。在學術界, 這個算法被公認為是文獻檢索中最大的貢獻之一，并且被很多大學引入了信息檢索課程 (Information Retrieval) 的教程。
如何讓Google快速收錄你的網站——Google網站站長
在谷歌上搜你的關鍵詞,然后看下面有哪些可以做外鏈的平臺,然后再去那些平臺注冊賬號,發外鏈引蜘蛛過來。
一、谷歌收錄方法
1、通過 http://www.google.com/submityourcontent/ 將您的網站提交給 Google。
2、使用 Google Search Console 提交站點地圖。Google 會使用站點地圖來了解您網站的結構，并提高對您網頁的覆蓋面。
二、如何讓Google了解你的網站。
1、確保網站的各個頁面包含主要關鍵詞。
2、確保title和Alt熟悉均為描述性內容且具體、準確。
3、讓網站有一個明確清晰的概念化頁面層次結構，也就是合理的導航。
4、讓Google抓取可能會顯著影響網頁呈現效果的所有網站資源，比如說CSS和JavaScript文件。
三、確保網站的質量
這里的質量并不單單只是說你要給用戶提供的內容，還涵蓋了常見的操縱行為以及各種SEO黑帽技術，除非你可以找到Google自己都不知道的作弊手段。
如果使用作弊手法的話，不僅有可能會被Google檢測出來，還有可能會被其他用戶給舉報，如果你要是有些違規的行為，可能會導致相應的網站從Google索引中徹底移除，或者導致系統算法自動、手動的將你的網站標識為垃圾網站，這樣的話網站也就廢了。
四、如何讓網站脫穎而出
大部分的搜索引擎都喜歡內容原創有差異性的網站，Google也是如此。你得想一想是什么讓你的網站變得獨一無二，具有價值和系盈利，讓你的網站在相應領域中出類拔萃，用戶體驗數據好，網站頁面的收錄和排名情況也會隨之變好的。
五、如何讓網站被收錄
Google的收錄規則好似沒有規則一樣，但是一直在做SEO的話還是會慢慢收集到自己的經驗，相對來講的話，有一些規則已經相對成熟和穩定，只要你能做好的話，網頁被收錄不過是分分鐘的事情。
1、避免無意義關鍵詞堆砌
Google強調標題和網站內容相互呼應，在標題中出現的關鍵詞在頁面中卻不存在相關的關鍵詞，便會被搜索引擎認為是在作弊。
內容里隨便湊些無意義的內容再把關鍵詞放進去同樣是錯誤的行為。
當然，并不是說標題里出現過的詞，內容里一定都要出現才會有所謂的相關性，具體實施起來還是有很大的不同，重點還是注意關鍵詞在內容中的數量，避免被搜索引擎認定為惡意堆砌關鍵詞。
2、不要惡意跳轉
即打開的頁面內容并非希望看到的頁面，而是進一步自動跳轉向了非用戶點擊的其他頁面，這種行為也是屬于作弊的。
3、注意網站內容是否重復
搜索引擎都喜歡新鮮的內容，如果新站里頭基本上都是偽原創或者抄襲的內容，相信Google對你的印象也就不會太好了。
所以，做網站內容，一定要重視原創性的內容。
4、站內外的鏈接
站內在同一個頁面上不要存在過多的鏈接，在網站地圖上把重要的東西列出來，而不是將所有的一些無關緊要的細枝末流全部加進去，鏈接太多的話，可能導致的結果就是無法被正常收錄。
友情鏈接注意重質量輕數量，不要和垃圾網站交換友鏈，最后導致的結果就是你自己的站點同樣受到負面的影響，同時也要學會分析對方的站點是否有使用作弊手段，是否適合自己的站點等等。
文章來源：http://www.hawaiiaqua.com/k9d0veb3.html