Deepcrawl مراجعة وتقييم

قام DeepCrawl بزيادة سعره قليلاً منذ أن نظرنا إليه أولاً. تبدأ الأداة الآن بسعر 89 دولارًا في الشهر ، ويتم إصدار الفاتورة عليها من شهر إلى شهر ؛ 81.50 دولار عند إصدار الفاتورة سنويًا). هذا يزيد بحوالي 10 دولارات عن التكلفة السابقة ، لذلك لا ينبغي أن يمثل مشكلة بالنسبة لمعظم عملاء أداة تحسين محركات البحث (SEO). ومع ذلك ، فإن ما قد يرميك هو تركيزه على التصميم: هذه الأداة مخصصة لشيء واحد وشيء واحد فقط: الزحف من الداخل إلى الخارج ، من أعلى إلى أسفل. يمكن بشكل عام تجميع أدوات SEO في ثلاث فئات رئيسية. أولاً ، هناك بحث مخصص للكلمات الرئيسية ، والذي يساعدك في العثور على أكثر صفحات البحث ملاءمةً لمحتواك في المرتبة الأعلى. بعد ذلك ، هناك مراقبة مستمرة للمواقع ، وهي كيفية تتبعك لمواقع البحث الخاصة بك لتحديد المكان الذي تربح فيه وتفقده. أخيرًا ، هناك زحف ، حيث يتم تحليل برامج الروبوت إما موقع ويب واحد أو الزحف إلى شبكة الإنترنت بالكامل وفهرستها. لا يقوم DeepCrawl بالزحف على مستوى الإنترنت ولكنه سيعطي موقع الويب الخاص بك عملية "مسح كامل للجسم" لكبار المسئولين الاقتصاديين شاملة قدر الإمكان.

هذا النوع من الزحف العميق إلى الموقع مفيد للشركات بعدة طرق. DeepCrawl هي أداة لكل من المستخدمين المبتدئين الذين يتطلعون إلى تسليط الضوء على مشكلات الموقع أو المستخدمين المتقدمين الذين يقومون بتخصيص عمليات الزحف الخاصة بهم ، ولكن دون أي قيود على الوصول إلى البيانات. تسهل عملية الزحف أيضًا مراقبة صحة الموقع من خلال السياق الفعلي والسياق التاريخي ، مما يمنح الشركات القدرة على مقارنة عمليات الزحف على مدار العام والاستفادة من مختلف الاتجاهات وأنواع التقارير. تحتاج عمومًا إلى استخدام مجموعة من الأدوات المتعددة عبر الفئات الثلاث لكبار المسئولين الاقتصاديين من أجل الإستراتيجية الأكثر فاعلية ، كما أن برامج زحف المواقع هي الطريقة التي تحدد بها نقاط القوة والضعف في موقعك الإلكتروني والصفحات المقصودة.

خيارات المحررين أدوات تحسين محركات البحث (SEO) تتضمن Moz Pro و SpyFu و AWR Cloud عمقًا أكبر بكثير من مراقبة الكلمات الرئيسية والمواقع ، لكن لا تملك القدرة على الزحف ومراجعة الموقع تقريبًا. لذلك ، على سبيل المثال ، إذا استخدمت إحدى أدوات اختيار المحررين أو منتجًا معينًا للكلمات الرئيسية مثل KWFinder.com لتحديد صفحة نتائج محرك البحث المستهدف (SERP) وتحديد موقع مثالي لترتيب المحتوى الخاص بك ، فستعمل بعد ذلك فحص DeepCrawl لهندسة موقعك لإنشاء تفاصيل الصفحة وتحديد مشكلات مُحسّنات محرّكات البحث المحددة التي يحتاج موقعك إلى تحسينها وتصنيفها لتلك الصفحة لترتيبها. والشيء نفسه ينطبق على معرفة سبب فقدان المحتوى الخاص بك في تصنيفات البحث كما يتم تتبعها في أداة مراقبة مثل AWR Cloud أو إجراء بعض التحليلات الجذرية حول سبب تعرض موقعك لعقوبة بحث على Google وكيف يمكنك استردادها. عاجلاً أم آجلاً ، تعود إستراتيجية تحسين محركات البحث دائمًا إلى مراجعة موقعك. هذا هو DeepCrawl وظيفة واحدة فقط.

التسعير والخطط

كما هو مذكور ، يبدأ DeepCrawl من 81.50 دولارًا شهريًا ، تتم محاسبته سنويًا (89 دولارًا شهريًا) لخطة Starter الخاصة به ، والتي تأتي مع 100000 عنوان URL نشط ​​، وخمسة مشاريع نشطة ، بالإضافة إلى الوصول الكامل لواجهة برمجة التطبيقات (API). تحجز معظم أدوات تحسين محركات البحث الوصول إلى واجهة برمجة التطبيقات لطبقات المؤسسات ، وهي ميزة محددة لمستخدمي DeepCrawl الذين يرغبون في تخصيص أعمق بدون علامة سعر المؤسسة.

هناك تغيير آخر حدث منذ آخر مراجعة للأداة وهو أن الشركة تخلصت من خطط التسعير الأخرى. بالنسبة لأولئك الذين يرغبون في التسجيل عبر الإنترنت للحصول على الخدمة ، هناك خطة المبتدئين وهذا كل شيء. المزيد من الميزات المتقدمة وخيارات الخدمة المتزايدة متوفرة الآن بنوع خطة آخر: خطة الشركة. لا يوجد الكثير من التفاصيل هنا ، بصرف النظر عن تسعير "مفصل" ، الذي نفترض أنه يعني دعوة لممثل الشركة حتى يتمكنوا من تكييف خطة الخدمة والتسعير لاحتياجاتك.

الزحف الموقع

تبدأ عملية تتبع ارتباطات الموقع في DeepCrawl بإعداد سريع من أربع خطوات. في أي عملية زحف واحدة ، يمكنك تضمين ما يصل إلى خمسة مصادر ، وملفات Sitemap ، ومواقع الويب ، والتحليلات ، والروابط الخلفية ، وقوائم عناوين URL. تتمثل الفكرة في تسهيل تحديد الفجوات في بنية موقعك ، باستخدام مقاييس محددة لن تجدها في أدوات الزحف الأخرى مثل حركة مرور الصفحات المعزولة. تم تصميم DeepCrawl لمنح المستخدمين نظرة عامة كاملة على الصحة التقنية لموقعهم على الويب ، مع بيانات ورؤى قابلة للتنفيذ لزيادة وضوح SEO وتحويل الحركة العضوية إلى إيرادات.

عند التسجيل للحصول على نسخة تجريبية مجانية من DeepCrawl ، تأخذك الواجهة أولاً إلى لوحة معلومات المشروع. لإعداد مشروع اختبار PCMag ، أدخلت PCMag.com كمجال أساسي. الخطوة الثانية هي اختيار مصادر البيانات لعملية الزحف ، والتي تشمل موقع الويب نفسه ، وملفات Sitemap الخاصة بـ PCMag ، والتحليلات التي يمكنك الوصول إليها من خلال حساب Google Analytics نشط. يمكنك أيضًا إضافة معلمات هدف محددة للرابط الخلفي وعنوان URL داخل النطاق (على سبيل المثال ، إذا قمت بتحديد الصفحات المستهدفة في أداة البحث عن الكلمات الرئيسية) عن طريق تحميل ملفات CSV ذات روابط خلفية محددة أو قوائم عناوين URL. يوجد أيضًا مربع منبثق في أسفل الصفحة لمشاهدة فيديو تعليمي لكيفية إعداد مشروعات DeepCrawl والزحف إليها.

تتيح لك الخطوة الثالثة إعداد معلمات الزحف نفسه. تمكنت من تبديل سرعة الزحف إلى أي مكان من عنوان URL واحد إلى 50 عنوان URL في الثانية. من هناك ، كان لدي خيار تعيين عدد "مستويات الزحف" التي يجب أن ينتقل إليها الفحص من صفحة PCMag الرئيسية ، وتعيين الحد الأقصى لعدد عناوين URL التي يجب أن تتوقف عندها الزحف. الإصدار التجريبي المجاني الخاص بي كان لخطة Starter ، لذلك تم تحديد عناوين URL الخاصة بي على 100000. تتمثل الخطوة الأخيرة في تحديد ما إذا كانت هذه ستكون عملية زحف لمرة واحدة أو متكررة ، والتي يمكن أن تكون كل ساعة أو يوميًا أو أسبوعيًا أو نصف أسبوعي أو شهريًا أو ربع سنوي ، مع خيار ضبط أوقات البدء والانتهاء للزحف.

هذه ميزة مهمة يجب ضبطها إذا كنت بحاجة إلى عمليات تدقيق موقعية منتظمة ولكن كن حذرًا في حدود عنوان URL الخاص بك وفقًا للخطة التي تختارها. هناك أيضًا المزيد من الإعدادات المتقدمة لقيود الزحف الأعمق ، وعناوين URL المستبعدة ، وإعادة كتابة عنوان URL ، وعمليات الاسترجاع لواجهة برمجة التطبيقات ، ولكن لن يحتاج مستخدم SEO غير التقني بالضرورة إلى الدخول فيها. من هناك ، قمت بالنقر فوق "بدء الزحف" ، وتلقيت رسالة بريد إلكتروني بعد دقائق قليلة عند اكتمال الزحف.

في لوحة معلومات الزحف المكتملة ، ستواجه فورًا جدارًا من المعلومات. إذا كنت تعرف ما تبحث عنه ، فهناك شرائط بحث مزدوجة في الأعلى للعثور على عنوان URL محدد أو للعثور على التقرير في منطقة معينة من بنية الموقع ؛ يمكن أن يكون هذا أي شيء من المحتوى الأساسي والعلامات الاجتماعية إلى عناوين URL الفاشلة وعمليات إعادة توجيه موقع الويب. إجمالًا ، قام DeepCrawl بتشغيل 175 تقريرًا عن عناوين URL الخاصة بي - والتي تبين أنها في النسخة التجريبية المجانية قد تم تحديدها بما يزيد قليلاً عن 10،000 - واكتشف 30 مشكلة في الموقع وزحف إلى ستة "مستويات" أو روابط في عمق الصفحة الرئيسية.

توفر صفحة لوحة القيادة الرئيسية تصنيفًا لقائمة بجميع مشكلات الموقع الحالية ، والتي يمكنك من خلالها الانتقال إلى عناوين URL المحددة حيث يقوم DeepCrawl بتسليط الضوء على أخطاء الصفحة مثل المحتوى المكرر أو الصفحات المقطوعة أو الروابط الزائدة أو الصفحات التي تحتوي على عناوين ووصف. البيانات الوصفية التي تحتاج إلى تحسين سيو. بجوار هذه القائمة ، عثرت على تصنيف لصفحات مخطط دائري تفاعلي لأكثر المشكلات انتشارًا بين أكثر من 10000 صفحة تم الزحف إليها.

قام DeepCrawl أيضًا بتحديث واجهة المستخدم الخاصة به (UI) منذ مراجعتنا الأولية ، مضيفًا فتات التنقل عبر كل صفحة لتسهيل التنقل إلى أجزاء أخرى من النظام الأساسي وإضافة قسم لوحة معلومات لتقييم جميع عمليات الزحف الجارية في مكان واحد. بالنسبة لنطاقي ، وجدت أنه على الرغم من عدم وجود مشاكل كبيرة في 49 في المائة من صفحاتي (معظمها "صفحات" أساسية) ، فإن 30 في المائة من صفحاتي تحت السطح تتعامل مع أخطاء خادم 5xx ، خمسة في المئة من الصفحات بها عناوين URL الفاشلة ، وكانت 16 بالمائة من الصفحات "غير قابلة للفهرسة". وفقًا لـ DeepCrawl ، من المحتمل أن تحدث أخطاء 5xx نظرًا لأن موقع PCMag يحظر جوانب الزحف أو بسبب الزحف بسرعة كبيرة للغاية بحيث يتعذر على الخادم معالجها. أوضح DeepCrawl أيضًا أن الصفحات التي يتم تمييزها على أنها أساسية ليست بالضرورة خالية من المشكلات ، ولا يزال من الممكن مراجعتها لتضمين الصفحات المفقودة ، واستبعاد الصفحات ذات القيمة المنخفضة ، والتعليقات التوضيحية مع توصيات SEO على الصفحة.

تمنحك بعض أدوات الزحف الأخرى التي اختبرتها ، بما في ذلك Ahrefs و Majestic ، هذا النوع من الانهيار ، بما في ذلك مشكلات الموقع الأساسية بالإضافة إلى فهرسة الروابط الخلفية ، مما يعني الارتباطات التشعبية الواردة من مواقع أخرى إلى مواقعك. ما لا يفعله الآخرون تمامًا هو الخوض في عمق النقطة التي يفعلها DeepCrawl ، خاصةً مع الأعطال مثل الصفحات المضمونة ببروتوكول HTTPS الأكثر أمانًا مقابل HTTP ، وهو شيء تأخذه خوارزمية Google في الاعتبار عند تصنيف الصفحات.

يمنحك DeepCrawl أيضًا "مجموعات الصفحات" intellitent (التي يمكنك العثور عليها في "الإعدادات المتقدمة" عند إعداد عملية الزحف) ، مما يعني أن عملية أخذ العينات تعتمد على نسبة مئوية من الصفحات بدلاً من رقم. يعد تجميع الصفحات بهذه الطريقة مهمًا لأنه يمنحك عينة متسقة عبر عمليات الزحف. فكر في الأمر كتجربة علمية: إذا كنت موقعًا للتجارة الإلكترونية يزحف إلى 20 بالمائة من صفحات المنتج ، في الزحف التالي ، سيقوم Deepcrawl بمسح نفس النسبة المئوية 20 لنفس الصفحات التي تمت إضافتها أو إزالتها أو فقدها أو تغييرها داخل كل تقرير. يؤدي ذلك أيضًا إلى تقليل وقت الزحف وتكلفته ، حيث أنك تستهدف الزحف إلى مجموعة فرعية محددة من الصفحات التي تهتم بها.

وبالمثل ، يمكن استخدام Custom Extraction في DeepCrawl لتضمين أو استبعاد المعلمات التي تختارها. هذه ميزة أكثر تقدماً مصممة لتتبع ارتباطات أكثر تخصصًا في مناطق التركيز الخاصة بك. أضافت الشركة أيضًا الاستخراج المسبق المخصص للمستخدمين غير التقنيين ، حيث إن كتابة الاستخراج المخصص يتطلب معرفة لغة التعبير العادية (Regex).

التقارير المتقدمة

بصرف النظر عن تكامل GSC ، تتمثل أبرز التحسينات التي تمت على DeepCrawl في قدرات إعداد التقارير الخاصة به ، والتي أضاف DeepCrawl 75 تقريرًا جديدًا إليها في العام الماضي. خارج الأساسيات - مشاركة التقارير وتصديرها ، أو إضافة مهمة لهذا التقرير - يمكنك النقر فوق الزر "مشاركة" للحصول على رابط قابل للمشاركة في هذا التقرير. يمكنك بعد ذلك إرسال التقرير بالبريد الإلكتروني إلى أي عدد من المستلمين. يمكنك أيضًا تنزيل التقرير كملف CSV أو خريطة موقع XML ، وتخصيص التقارير باستخدام علامة تجارية مخصصة.

الميزة المستندة إلى المهام مفيدة بشكل خاص. سمح لي DeepCrawl بإضافة مهمة لتقارير محددة - في هذه الحالة ، قائمة أخطاء خادم 5xx - لاتخاذ إجراء بشأن مشكلة عدم حصانة مُحسّنات محرّكات البحث هذه. لا يسمح لك DeepCrawl بجدولة وتخصيص عمليات الزحف فحسب ، ولكن باستخدام "إدارة المهام" ، يمكنك تتبع التقدم وإدارة سير العمل ومسألة الموعد النهائي. علامة الأداة الجيدة هي التي لا تكتشف مشكلة أو فرصة فحسب ، ولكنها تساعدك في التعامل مع مع التوصيات المستهدفة. لقد أعطيت خيار تعيين مهمة مفتوحة أو ثابتة ؛ تحديد أولوية منخفضة أو متوسطة أو عالية أو حرجة ؛ تحديد موعد نهائي ، وتعيين هذه المهمة لأفراد محددين في فريقي. أعطاني DeepCrawl طريقًا ملموسًا لحل مشكلات مُحسنات محركات البحث باستخدام موقعي. قدمت التوصيات المستهدفة فقط من SpyFu و KWFinder.com نفس القدرة على التصرف بناءً على تقارير مُحسّنات محرّكات البحث ، ولم يشتمل أي من برامج الزحف الأخرى على هذا النوع من ميزة الإجراءات المستندة إلى المهام.

قام DeepCrawl بتحسين شريط البحث الأيمن للتنقل للبحث عن التقارير باستخدام الكلمات الرئيسية أيضًا (حتى إذا لم تظهر الكلمات الرئيسية في العنوان الفعلي للتقارير) ، وقم بتصفية التقارير باستخدام أي عنوان URL أو مقياس ارتباط ذي صلة. هناك أيضًا عدد من تصورات البيانات الجديدة على شاشات التقارير والفئات ، بما في ذلك الرسوم البيانية التفصيلية ، الرسوم البيانية ذات الصلة ، الرسوم البيانية للاتجاهات الجديدة ، وتحسينات UX مثل التمرير والرسومات البيانية ، بالإضافة إلى التفسيرات التفاعلية حول مقاييس محددة تظهر في رسم بياني معين. واجهة مستخدم لوحة معلومات التقارير مرنة أيضًا ، مما يعني أنه يمكنك سحب وإفلات التقارير التي تريد عرضها.

يمنحك النقر فوق أي عنوان URL في أي تقرير مقاييس مفصلة لكل صفحة. في جميع تقارير عنوان URL لكل عنوان URL ، يستخدم DeepCrawl مقياسًا مخصصًا يسمى DeepRank ، والذي يقيس "الوزن الداخلي" للارتباط المحسوب بشكل مشابه لخوارزمية تصنيف الصفحات من Google. إنه مقياس مرجع عنوان URL لـ DeepCrawl ، على مقياس من 0-10 ، يعرض أهم عناوين URL الخاصة بك أو أولئك الذين يحتاجون إلى التحسين الأكثر. لذا ، في حين تم تصنيف كل من الصفحة الرئيسية لـ PCMag والصفحات العليا في النطاق من 8 إلى 10 ، تم ترك بعض الصفحات المشحونة بالمشكلات مع DeepRank من الصفر تقريبًا.

بالإضافة إلى المزامنة مع Google Analytics ، يتضمن DeepCrawl أيضًا قسمًا من البيانات يصف صفحات سطح المكتب والجوال ليس فقط لتصميم الويب المتجاوب ، ولكن أيضًا جميع تكوينات الجوال بما في ذلك الصفحات المنفصلة للجوال وسطح المكتب والصفحات الديناميكية وصفحات AMP. يمكن أيضًا العثور على هذه الأنواع من الأعطال الرئيسية في الأجهزة المحمولة في SpyFu و SEMrush ، ولكن ليس في عمق مقاييس DeepCrawl وليس في أي من أدوات تتبع الزاحف والوصلة الخلفية التي اختبرتها ، بما في ذلك LinkResearchTools.

أكبر تحديث لقدرة DeepCrawl منذ مراجعتنا الأولية هو تكامل مع Google Search Console (GSC) ، وحتى تجربة مستخدم أكثر تطوراً (UX) ومقاييس أداء الموقع. يتيح لك التكامل ربط رؤى أداء موقع DeepCrawl الحالية بمعلومات بحث عضوية من تقرير GSC's Search Analytics. من خلال إضافة خاصية Search Console كمصدر لعنوان URL في إعدادات الزحف ، أصبح بإمكان DeepCrawl الآن توفير مرات الظهور والنقر ونسبة النقر إلى الظهور ومتوسط ​​مواضع الموضع لكل صفحة مفهرسة تظهر في نتائج البحث. يأتي تقرير تحليلات البحث من Google في حدود 1000 عنوان URL في واجهة GSC ، لكن الوصول إلى التقرير من خلال DeepCrawl يجعلك حوله.

تتكامل أدوات SEO الأخرى مثل SEMrush و Majestic أيضًا مع Google Search Console ، ولكن تكامل DeepCrawl هو الوحيد من بين الأدوات التي اختبرناها لاستخدام هذا لتوفير مقاييس SERP الخاصة بالجهاز. من خلال التكامل ، أصدرت DeepCrawl 10 تقارير جديدة ، واثنين من الرسوم البيانية الجديدة ، وأعمق مقارنات سطح المكتب / المحمول / الكمبيوتر اللوحي. يتم الآن تقسيم الأعطال والمقارنات الخاصة بالأجهزة في بيانات GSC على أساس كل بلد على حدة ، ومرات ظهور البحث وفعالية الصفحات القابلة للفهرسة وغير القابلة للفهرسة ، والزحف إلى الصفحات التي تحصل على زيارات من بحث الصور ، والمقاييس على صفحات Google AMP.

إحدى الميزات الفريدة هنا هي قياس صفحات الجوال / AMP التي تستقبل حركة مرور سطح المكتب والعكس بالعكس ، مما يعني أن DeepCrawl سيظهر ما إذا كانت صفحاتك مرتبة على الجهاز الخطأ. وهذا يعني أن DeepCrawl يزحف إلى جميع عناوين URL الخاصة بالهواتف المحمولة أو AMP لتسليط الضوء على الاختلافات وعدم التطابق بين محتوى سطح المكتب والمحمول. تحقق التقارير من وجود صفحات عالية القيمة جميعها على الجوّال.

يوفر DeepCrawl أيضًا بيانات حول العلامات الاجتماعية ، مثل الصفحات التي تحتوي على بطاقات Twitter صالحة ، وكذلك علامة تبويب تظهر أداء الصفحة من حيث وقت التحميل أو الوقت الذي استغرقته "جلب" الصفحة. أخيرًا ، توفر الأداة تقارير ترحيل مواقع الويب لتحليل مواقع الويب المباشرة والمرحلية أثناء الترحيل وإعداد تقرير على صفحات HTTP و HTTP على وجه التحديد. هذه مقاييس ستجدها في أدوات مراقبة موقع الويب ، ولكن بالنسبة إلى مُحسّنات محرّكات البحث ، يمكن أن تكون ذات قيمة في تحديد الصفحات التي يكون فيها UX ضعيفًا وضمان هجرة مواقع الويب بشكل سلس.

تحت الموقع الزحف المجهر

DeepCrawl هو أفضل أداة للزحف قمنا باختبارها بهامش واسع. إنه يوفر أكبر عمق لمسح المجال وتقارير محسّنات محرّكات البحث (SEO) مع بيانات ومقاييس دقيقة للغاية يمكن أن تكون بأغلبية ساحقة بالنسبة إلى مبتدئ تحسين محركات البحث. يمكن القول إن الكثير من تخطيط بنية الموقع وتحليل المجال الذي يوفره هو أفضل ملاءمة للمطورين وتكنولوجيا المعلومات. لا يقوم PCMag بمراجعة ميزات الإصدار التجريبي ، ولكن DeepCrawl يقوم أيضًا باختبار وضع مستكشف المواقع التجريبي مما يتيح لك استكشاف بنية الموقع بصريًا.

كما هو الحال مع هيمنة KWFinder.com على أبحاث الكلمات الرئيسية المخصصة ، فإن تركيز الليزر DeepCrawl على الزحف هو نعمة ونقمة. يمنع هذا النطاق الضيق لوظائفه DeepCrawl من الحصول على إيماءة اختيار المحررين إلى جانب المزيد من منصات SEO الكاملة Moz Pro و SpyFu. ولكن فيما يتعلق بقدرات الزحف المستقلة لمسح موقع الويب الخاص بك أو مواقع منافسيك من أعلى إلى أسفل ، فإن DeepCrawl عبارة عن مجهر كبير لكبار المسئولين الاقتصاديين.