spatie/laravel-sitemap

轻松创建和生成网站地图

维护者

详细信息

github.com/spatie/laravel-sitemap

主页

源代码

资助包维护！
spatie.be/open-source/support-us

安装次数: 8,125,335

依赖者: 98

建议者: 1

安全: 0

星标: 2,267

关注者: 32

分支: 271

7.2.1 2024-05-21 12:31 UTC

Requires

Requires (Dev)

MIT 6d3d7637690a9710456a01bacabf5088f93ffe11

spatielaravel-sitemap

This package is auto-updated.

Last update: 2024-09-04 10:01:20 UTC

README

Latest Version on Packagist Software License Test Status Code Style Status Total Downloads

此包可以在不手动添加网址的情况下生成网站地图。这是通过爬取整个网站实现的。

use Spatie\Sitemap\SitemapGenerator;

SitemapGenerator::create('https://example.com')->writeToFile($path);

您也可以手动创建您的网站地图

use Carbon\Carbon;
use Spatie\Sitemap\Sitemap;
use Spatie\Sitemap\Tags\Url;

Sitemap::create()

    ->add(Url::create('/home')
        ->setLastModificationDate(Carbon::yesterday())
        ->setChangeFrequency(Url::CHANGE_FREQUENCY_YEARLY)
        ->setPriority(0.1))

   ->add(...)

   ->writeToFile($path);

或者，您可以通过生成网站地图并添加更多链接来获得两者的最佳之处

SitemapGenerator::create('https://example.com')
   ->getSitemap()
   ->add(Url::create('/extra-page')
        ->setLastModificationDate(Carbon::yesterday())
        ->setChangeFrequency(Url::CHANGE_FREQUENCY_YEARLY)
        ->setPriority(0.1))

    ->add(...)

    ->writeToFile($path);

您还可以控制网站地图的最大深度

SitemapGenerator::create('https://example.com')
    ->configureCrawler(function (Crawler $crawler) {
        $crawler->setMaximumDepth(3);
    })
    ->writeToFile($path);

生成器有在每一页执行JavaScript的能力，因此由JavaScript注入DOM的链接也会被爬取。

您还可以使用可用的文件系统磁盘之一来写入网站地图。

SitemapGenerator::create('https://example.com')->getSitemap()->writeToDisk('public', 'sitemap.xml');

您可能需要设置其中一个网站地图的文件可见性。例如，如果您正在将网站地图写入S3，并希望其公开可用。可以将第三个参数设置为true使其公开。注意：这只能在->writeToDisk()方法中使用。

SitemapGenerator::create('https://example.com')->getSitemap()->writeToDisk('public', 'sitemap.xml', true);

您还可以通过实现\Spatie\Sitemap\Contracts\Sitemapable接口直接添加您的模型。

use Spatie\Sitemap\Contracts\Sitemapable;
use Spatie\Sitemap\Tags\Url;

class Post extends Model implements Sitemapable
{
    public function toSitemapTag(): Url | string | array
    {
        // Simple return:
        return route('blog.post.show', $this);

        // Return with fine-grained control:
        return Url::create(route('blog.post.show', $this))
            ->setLastModificationDate(Carbon::create($this->updated_at))
            ->setChangeFrequency(Url::CHANGE_FREQUENCY_YEARLY)
            ->setPriority(0.1);
    }
}

现在您可以将单个帖子模型添加到网站地图，甚至整个集合。

use Spatie\Sitemap\Sitemap;

Sitemap::create()
    ->add($post)
    ->add(Post::all());

这样，您可以非常快速地添加所有页面，而无需爬取所有页面。

支持我们

我们投入了大量资源来创建最佳的开源包。您可以通过购买我们的付费产品之一来支持我们。

我们非常感谢您从您的家乡寄给我们明信片，说明您正在使用我们哪个包。您可以在我们的联系页面上找到我们的地址。我们将所有收到的明信片发布在我们的虚拟明信片墙上。

安装

首先，通过composer安装包

composer require spatie/laravel-sitemap

该包将自动注册自己。

如果您想自动和频繁地更新您的网站地图，您需要执行一些额外步骤。

配置

您可以通过发布配置来覆盖爬虫的默认选项。首先发布配置

php artisan vendor:publish --provider="Spatie\Sitemap\SitemapServiceProvider" --tag=sitemap-config

这会将默认配置复制到config/sitemap.php，您可以在那里编辑它。

use GuzzleHttp\RequestOptions;
use Spatie\Sitemap\Crawler\Profile;

return [

    /*
     * These options will be passed to GuzzleHttp\Client when it is created.
     * For in-depth information on all options see the Guzzle docs:
     *
     * http://docs.guzzlephp.org/en/stable/request-options.html
     */
    'guzzle_options' => [

        /*
         * Whether or not cookies are used in a request.
         */
        RequestOptions::COOKIES => true,

        /*
         * The number of seconds to wait while trying to connect to a server.
         * Use 0 to wait indefinitely.
         */
        RequestOptions::CONNECT_TIMEOUT => 10,

        /*
         * The timeout of the request in seconds. Use 0 to wait indefinitely.
         */
        RequestOptions::TIMEOUT => 10,

        /*
         * Describes the redirect behavior of a request.
         */
        RequestOptions::ALLOW_REDIRECTS => false,
    ],
    
    /*
     * The sitemap generator can execute JavaScript on each page so it will
     * discover links that are generated by your JS scripts. This feature
     * is powered by headless Chrome.
     */
    'execute_javascript' => false,
    
    /*
     * The package will make an educated guess as to where Google Chrome is installed. 
     * You can also manually pass it's location here.
     */
    'chrome_binary_path' => '',

    /*
     * The sitemap generator uses a CrawlProfile implementation to determine
     * which urls should be crawled for the sitemap.
     */
    'crawl_profile' => Profile::class,
    
];

用法

生成网站地图

最简单的方法是爬取指定的域名并生成包含所有找到的链接的网站地图。网站地图的目标应由$path指定。

SitemapGenerator::create('https://example.com')->writeToFile($path);

生成的网站地图看起来可能类似于以下内容

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>https://example.com</loc>
        <lastmod>2016-01-01T00:00:00+00:00</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.8</priority>
    </url>
    <url>
        <loc>https://example.com/page</loc>
        <lastmod>2016-01-01T00:00:00+00:00</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.8</priority>
    </url>

    ...
</urlset>

自定义网站地图生成器

定义自定义爬取配置文件

您可以通过实现Spatie\Crawler\CrawlProfiles\CrawlProfile接口并自定义shouldCrawl()方法来创建自定义爬取配置文件，以完全控制应该爬取哪些URL/域名/子域名。

use Spatie\Crawler\CrawlProfiles\CrawlProfile;
use Psr\Http\Message\UriInterface;

class CustomCrawlProfile extends CrawlProfile
{
    public function shouldCrawl(UriInterface $url): bool
    {
        if ($url->getHost() !== 'localhost') {
            return false;
        }
        
        return $url->getPath() === '/';
    }
}

并在config/sitemap.php中注册您的CustomCrawlProfile::class。

return [
    ...
    /*
     * The sitemap generator uses a CrawlProfile implementation to determine
     * which urls should be crawled for the sitemap.
     */
    'crawl_profile' => CustomCrawlProfile::class,
    
];

更改属性

要更改联系页面的lastmod、changefreq和priority

use Carbon\Carbon;
use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;

SitemapGenerator::create('https://example.com')
   ->hasCrawled(function (Url $url) {
       if ($url->segment(1) === 'contact') {
           $url->setPriority(0.9)
               ->setLastModificationDate(Carbon::create('2016', '1', '1'));
       }

       return $url;
   })
   ->writeToFile($sitemapPath);

省略一些链接

如果您不希望爬取的链接出现在网站地图中，只需在传递给 hasCrawled 的可调用函数中不返回它即可。

use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;

SitemapGenerator::create('https://example.com')
   ->hasCrawled(function (Url $url) {
       if ($url->segment(1) === 'contact') {
           return;
       }

       return $url;
   })
   ->writeToFile($sitemapPath);

防止爬虫爬取某些页面

您还可以通过将 callable 传递给 shouldCrawl 来指示底层爬虫不要爬取某些页面。

注意： shouldCrawl 只与默认爬取 Profile 或实现 shouldCrawlCallback 方法的自定义爬取配置文件一起使用。

use Spatie\Sitemap\SitemapGenerator;
use Psr\Http\Message\UriInterface;

SitemapGenerator::create('https://example.com')
   ->shouldCrawl(function (UriInterface $url) {
       // All pages will be crawled, except the contact page.
       // Links present on the contact page won't be added to the
       // sitemap unless they are present on a crawlable page.
       
       return strpos($url->getPath(), '/contact') === false;
   })
   ->writeToFile($sitemapPath);

配置爬虫

爬虫本身可以被 配置 来执行一些不同的事情。

您可以配置用于生成网站地图的爬虫，例如：忽略机器人检查；如下所示。

SitemapGenerator::create('http://localhost:4020')
    ->configureCrawler(function (Crawler $crawler) {
        $crawler->ignoreRobots();
    })
    ->writeToFile($file);

限制爬取页面数量

您可以通过调用 setMaximumCrawlCount 来限制爬取页面数量

use Spatie\Sitemap\SitemapGenerator;

SitemapGenerator::create('https://example.com')
    ->setMaximumCrawlCount(500) // only the 500 first pages will be crawled
    ...

执行 JavaScript

网站地图生成器可以在每个页面上执行 JavaScript，以便发现由您的 JS 脚本生成的链接。您可以通过在配置文件中将 execute_javascript 设置为 true 来启用此功能。

在内部，使用 无头 Chrome 来执行 JavaScript。以下是关于如何在您的系统上 安装它 的一些提示。

该包将根据您的系统自动猜测 Chrome 的安装位置。您还可以手动将 Chrome 二进制的位置传递给 executeJavaScript()。

手动添加链接

您可以手动将链接添加到网站地图中

use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;

SitemapGenerator::create('https://example.com')
    ->getSitemap()
    // here we add one extra link, but you can add as many as you'd like
    ->add(Url::create('/extra-page')->setPriority(0.5))
    ->writeToFile($sitemapPath);

添加链接的替代版本

多语言网站可能包含相同页面的多个替代版本（每个语言一个）。基于前面的示例，添加替代版本可以这样做

use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;

SitemapGenerator::create('https://example.com')
    ->getSitemap()
    // here we add one extra link, but you can add as many as you'd like
    ->add(Url::create('/extra-page')->setPriority(0.5)->addAlternate('/extra-pagina', 'nl'))
    ->writeToFile($sitemapPath);

注意 addAlternate 函数，它接受一个替代 URL 和它所属的区域。

将图像添加到链接中

URL 也可以包含图像。另请参阅 https://developers.google.com/search/docs/advanced/sitemaps/image-sitemaps

use Spatie\Sitemap\Sitemap;
use Spatie\Sitemap\Tags\Url;

Sitemap::create()
    // here we add an image to a URL
    ->add(Url::create('https://example.com')->addImage('https://example.com/images/home.jpg', 'Home page image'))
    ->writeToFile($sitemapPath);

将视频添加到链接中

除了图像外，视频也可以用 URL 标签包裹。请参阅 https://developers.google.com/search/docs/crawling-indexing/sitemaps/video-sitemaps

您可以设置所需的属性，如下所示

use Spatie\Sitemap\Sitemap;
use Spatie\Sitemap\Tags\Url;

Sitemap::create()
    ->add(
        Url::create('https://example.com')
            ->addVideo('https://example.com/images/thumbnail.jpg', 'Video title', 'Video Description', 'https://example.com/videos/source.mp4', 'https://example.com/video/123')
    )
    ->writeToFile($sitemapPath);

如果您想传递可选参数，如 family_friendly、live 或 platform

use Spatie\Sitemap\Sitemap;
use Spatie\Sitemap\Tags\Url;
use Spatie\Sitemap\Tags\Video;


$options = ['family_friendly' => Video::OPTION_YES, 'live' => Video::OPTION_NO];
$allowOptions = ['platform' => Video::OPTION_PLATFORM_MOBILE];
$denyOptions = ['restriction' => 'CA'];

Sitemap::create()
    ->add(
        Url::create('https://example.com')
            ->addVideo('https://example.com/images/thumbnail.jpg', 'Video title', 'Video Description', 'https://example.com/videos/source.mp4', 'https://example.com/video/123', $options, $allowOptions, $denyOptions)
    )
    ->writeToFile($sitemapPath);

手动创建网站地图

您也可以完全手动创建网站地图

use Carbon\Carbon;

Sitemap::create()
   ->add('/page1')
   ->add('/page2')
   ->add(Url::create('/page3')->setLastModificationDate(Carbon::create('2016', '1', '1')))
   ->writeToFile($sitemapPath);

创建网站地图索引

您可以创建网站地图索引

use Spatie\Sitemap\SitemapIndex;

SitemapIndex::create()
    ->add('/pages_sitemap.xml')
    ->add('/posts_sitemap.xml')
    ->writeToFile($sitemapIndexPath);

您可以将 Spatie\Sitemap\Tags\Sitemap 对象传递给手动设置 lastModificationDate 属性。

use Spatie\Sitemap\SitemapIndex;
use Spatie\Sitemap\Tags\Sitemap;

SitemapIndex::create()
    ->add('/pages_sitemap.xml')
    ->add(Sitemap::create('/posts_sitemap.xml')
        ->setLastModificationDate(Carbon::yesterday()))
    ->writeToFile($sitemapIndexPath);

生成的网站地图索引看起来可能如下所示

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/pages_sitemap.xml</loc>
      <lastmod>2016-01-01T00:00:00+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/posts_sitemap.xml</loc>
      <lastmod>2015-12-31T00:00:00+00:00</lastmod>
   </sitemap>
</sitemapindex>

创建带有后续网站地图的网站地图索引

您可以通过调用 maxTagsPerSitemap 方法生成仅包含给定数量标签的网站地图

use Spatie\Sitemap\SitemapGenerator;

SitemapGenerator::create('https://example.com')
    ->maxTagsPerSitemap(20000)
    ->writeToFile(public_path('sitemap.xml'));

频繁生成网站地图

您的网站可能需要不时更新。为了使网站地图反映这些更改，您可以定期运行生成器。最简单的方法是利用 Laravel 的默认调度功能。

您可以设置一个类似这样的 artisan 命令

namespace App\Console\Commands;

use Illuminate\Console\Command;
use Spatie\Sitemap\SitemapGenerator;

class GenerateSitemap extends Command
{
    /**
     * The console command name.
     *
     * @var string
     */
    protected $signature = 'sitemap:generate';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Generate the sitemap.';

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {
        // modify this to your own needs
        SitemapGenerator::create(config('app.url'))
            ->writeToFile(public_path('sitemap.xml'));
    }
}

然后应在控制台内核中安排该命令。

// app/Console/Kernel.php
protected function schedule(Schedule $schedule)
{
    ...
    $schedule->command('sitemap:generate')->daily();
    ...
}

变更日志

请参阅 CHANGELOG 以获取有关最近更改的更多信息。

测试

首先在单独的终端会话中启动测试服务器

cd tests/server
./start_server.sh

服务器运行时，您可以执行测试

$ composer test

贡献

请参阅CONTRIBUTING获取详细信息。

安全

如果您发现与安全相关的错误，请通过[email protected]发送邮件，而不是使用问题跟踪器。

致谢

支持我们

Spatie是一家位于比利时安特卫普的网页设计公司。您可以在我们的网站上找到所有开源项目的概述这里。

您的业务依赖于我们的贡献吗？请与我们联系，在Patreon上支持我们。所有承诺都将专门用于分配人员以维护和开发新酷功能。

许可证

MIT许可证（MIT）。有关更多信息，请参阅许可证文件。