تاریخچه جستجوگرها
مدیران وب و ارائه دهندگان محتوا از اواسط دهه 1990 بهینه سازی وب سایت ها را برای موتورهای جستجو شروع کردند ، زیرا اولین موتورهای جستجو فهرست اولیه وب را تشکیل می دادند. در ابتدا ، همه مدیران وب فقط باید آدرس یک صفحه یا URL را به موتورهای مختلف ارسال کنند که “عنکبوتی” را برای “خزیدن” آن صفحه ارسال می کند ، پیوندهایی به سایر صفحات از آن استخراج می کند و اطلاعات موجود در صفحه را باز می گرداند ایندکس می شود. این فرایند شامل یک عنکبوت موتور جستجو است که یک صفحه را بارگیری می کند و آن را در سرور خود موتور جستجو ذخیره می کند. برنامه دوم که به عنوان نمایه ساز شناخته می شود ، اطلاعات مربوط به صفحه مانند کلماتی را که در آن قرار دارد ، مکان قرارگیری آنها و هر وزنی برای کلمات خاص و همچنین کلیه پیوندهای صفحه را استخراج می کند. تمام این اطلاعات سپس در یک برنامه ریز برای خزیدن در تاریخ بعدی قرار می گیرد.
صاحبان وب سایت با درک ارزش یک رتبه بالا و قابل مشاهده بودن در نتایج موتور جستجو ، فرصتی را برای هر دو متخصص سئو کلاه سفید و کلاه سیاه ایجاد کردند. به گفته تحلیلگر صنعت ، دنی سالیوان ، عبارت “بهینه سازی موتور جستجو” احتمالاً در سال 1997 مورد استفاده قرار گرفت. سالیوان اعتبار Bruce Clay را به عنوان یکی از اولین افرادی که این اصطلاح را رواج داد معرفی کرد. در 2 مه 2007 ، جیسون گمبرت سعی کرد اصطلاح تجاری SEO را با متقاعد کردن دفتر علائم تجاری در آریزونا به اینکه SEO “فرایندی” است که شامل دستکاری کلمات کلیدی است و “سرویس بازاریابی” نیست.
نسخه های اولیه الگوریتم های جستجو به اطلاعات ارائه شده توسط وب مستر مانند کلمه کلیدی متا تگ یا پرونده های فهرست در موتورهایی مانند ALIWEB متکی بودند. برچسب های متا راهنمای محتوای هر صفحه است. به نظر می رسد استفاده از فراداده برای نمایه سازی صفحات کمتر از قابل اطمینان است ، زیرا انتخاب کلمات کلیدی توسط مدیر وب سایت در برچسب متا به طور بالقوه می تواند نمایشی نادرست از محتوای واقعی سایت باشد. داده های نادرست ، ناقص و ناسازگار در برچسب های متا می تواند باعث شود صفحات برای جستجوهای مطالب بیشتر بی ربط رتبه بندی شوند.
ارائه دهندگان محتوای وب همچنین برخی از ویژگی ها را در منبع HTML یک صفحه دستکاری می کنند تا تلاش کنند رتبه خوبی در موتورهای جستجو داشته باشند.
تا سال 1997 ، طراحان موتور جستجو فهمیدند که مدیران وب در تلاشند تا در موتور جستجوی خود رتبه خوبی کسب کنند و حتی برخی از مدیران وب با پر کردن صفحات با کلمات کلیدی بیش از حد یا بی ربط ، رتبه بندی خود را در نتایج جستجو دستکاری می کنند. موتورهای جستجوی اولیه ، مانند Altavista و Infoseek ، الگوریتم های خود را تنظیم کردند تا از دستکاری رتبه بندی توسط مدیران وب جلوگیری کنند.
موتورهای جستجوی اولیه با تکیه بر فاکتورهایی مانند تراکم کلمات کلیدی که منحصراً تحت کنترل مدیر وب سایت بودند ، از سو abuse استفاده و دستکاری در رتبه بندی رنج می بردند. برای ارائه نتایج بهتر به کاربران خود ، موتورهای جستجو باید سازگار شوند تا اطمینان حاصل کنند که صفحات نتایج آنها مرتبط ترین نتایج جستجو را نشان می دهد ، به جای صفحات غیر مرتبط پر از کلمات کلیدی متعدد توسط وب مسترهای بی پروا. این به معنای دور شدن از اتکای شدید به تراکم اصطلاح به یک روند جامع تر برای به ثمر رساندن سیگنال های معنایی است.
از بیشتر آنجا که موفقیت و محبوبیت یک موتور جستجو توسط توانایی آن در تولید مناسب ترین نتایج برای هر جستجوی مشخص تعیین می شود ، نتایج جستجوی بی کیفیت یا بی ربط می تواند کاربران را به یافتن سایر منابع جستجو سوق دهد. موتورهای جستجو با در نظر گرفتن فاکتورهای اضافی که دستکاری برای مدیران سایتها دشوارتر بود ، با توسعه الگوریتم های پیچیده تر رتبه بندی پاسخ دادند. در سال 2005 ، یک کنفرانس سالانه ، AIRWeb (بازیابی اطلاعات خصمانه در وب) ، برای گردهم آوردن پزشکان و محققان مربوط به بهینه سازی موتور جستجو و موضوعات مرتبط ایجاد شد.
شرکت هایی که از تکنیک های بیش از حد تهاجمی استفاده می کنند ، می توانند وب سایت مشتری خود را از نتایج جستجو منع کنند. در سال 2005 ، وال استریت ژورنال گزارشی راجع به شرکتی به نام Traffic Power منتشر کرد که ادعا می شود از تکنیک های پرخطر استفاده کرده و موفق به افشای این خطرات برای مشتریان خود نشده است. مجله Wired گزارش داد که همین شرکت از وبلاگ نویس و سئوکار آرون وال به دلیل نوشتن در مورد این ممنوعیت شکایت کرد. مت کاتس از گوگل بعداً تأیید کرد که گوگل در واقع Traffic Power و برخی از مشتریان خود را ممنوع کرده است.
برخی از موتورهای جستجو با صنعت SEO نیز ارتباط برقرار کرده اند و به طور مکرر حامیان مالی و میهمانان کنفرانس ها ، گفتگوی اینترنتی و سمینارهای جستجوگرها هستند. موتورهای اصلی جستجو اطلاعات و راهنمایی هایی را برای کمک به بهینه سازی وب سایت ارائه می دهند. Google یک برنامه Sitemaps دارد که به مدیران وب کمک می کند بفهمند آیا گوگل مشکلی در نمایه سازی وب سایت خود دارد یا خیر و همچنین داده های مربوط به ترافیک Google به وب سایت را فراهم می کند. Bing Webmaster Tools راهی را برای مدیران سایت فراهم می کند تا نقشه سایت و فیدهای وب را ارسال کنند ، به کاربران امکان می دهد “میزان خزیدن” را تعیین کنند و وضعیت فهرست صفحات وب را ردیابی کنند.
در سال 2015 ، گزارش شد که گوگل در حال توسعه و ترویج جستجوی تلفن همراه به عنوان یک ویژگی اصلی در محصولات آینده است. در پاسخ ، بسیاری از مارک ها رویکرد متفاوتی نسبت به استراتژی های بازاریابی اینترنتی خود داشتند.