[cionfs]

Altro fattore importante, per poter decidere cosa far vedere e cosa meno ai bot (software che passa dal sito e immagazzina tutti i dati che ci sono) dei motori di ricerca la visualizzazione e l’immagazzinamento del tuo sito, è quello di inserire un file denominato robots.txt. Per questo file hai due possibilità:

• Metterlo a mano tramite FTP
• Inserirlo utilizzando un plugin di Wordpress

In questa guida ho optato per la seconda soluzione poiché è presente un potentissimo plugin che ti permette di gestire tutto direttamente dal tuo pannello di amministrazione. Questo plugin si chiama KB-Robots.txt.
Dopo aver trasferito questo plugin, tramite FTP, sul tuo dominio vai nel pannello dei plugin dove puoi vedere che KB-Robots.txt è presente e disattivato.

Clicca su Attiva per attivarlo

Una volta attivato comparirà tra i Plugin Attivi



Clicca ora su





In modo da visualizzare questa schermata



Clicca su

In modo da avere questa schermata



Dove andrai ad inserire, uno per uno, i nomi dei bot che vogliamo abilitare/disabilitare sul nostro blog. Puoi anche permettere a tutti di passare, senza alcun problema.
Ecco come impostare il file Robots.txt:


Per disabilitare tutti i bot basta inserire


User-agent: *
Disallow: /


Per abilitare tutti i bot basta inserire


User-agent: *
Disallow:


Per disabilitare un bot specifico basta inserire


User-agent: Nomebot
Disallow: /


Per abilitare un bot specifico basta inserire


User-agent: Nomebot
Disallow:
Per disabilitare i bot in una cartella specifica basta inserire


User-agent: *
Disallow: /nomecartella/

[Rogerant79]

Cosa ne pensate del mio file robots.txt?

User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Allow: /wp-content/uploads/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Disallow: /*?*
Disallow: /*?

Disallow: /tag/
Disallow: /category/

Sitemap: http://www.SITOWEB.it/sitemap.xml

puo' andare?
bye

[cionfs]

Vedi questo Updated robots.txt for WordPress

[Rogerant79]

DUBBIONE

andando nelle opzioni del plugin per la creazioned el sitemap c'è scritto questo:


Quindi non deve esserci nessun file robots.txt???

[cionfs]

Devi mettere il file robots nella root del dominio.

[xDOMYx]

Io ho wordpress nella home e vbulletin in /forum...
Nel robots.txt, come sitemap, quale ci metto? o.o
Mi servirebbe una sitemap di entrambi, senno mi indicizza solo una cosa

	vbulletin

[cionfs]

Menti entrambe le sitemap

[xDOMYx]

Se nel robots.txt ci sono due righe che richiamano entrambe la sitemap, funzionano entrambe?
Non vorrei che viene presa in considerazione solo la prima sitemap che trova...

[cionfs]

Le prende tutte.