Об экспериментах и кейсах в SEO

1) Если у кого-то что-то один раз получилось в сео или бизнесе - это не факт, что оно повторимо или масштабируется.

Есть метод вычисления погрешности. На физфаке и матфаке его проходят на первом курсе. Так вот, более-менее незначительная погрешность наступает только после 10-го измерения при условии, что флуктуации (разброс) значений не слишком велики. Чем меньше флуктуации, тем меньше требуется выборка. Но даже при минимальной флуктуации погрешность на двух измерениях равна 50%.

Т.е. кейс, основанный на одном примере, просто интересный пример, требующий проверки на десятке других сайтов/проектов/бизнесов, и относиться к нему надо как "отлично, пойду проверю", но никак не "охуеть, пошел делать также".

2) Выводы после эксперимента должны включать возможность влияния других факторов, если они не проводились в чистой среде.

Поясняю. Интернет и ранжирование в поиске - многофакторная среда. Но влияние большинства факторов можно исключить, если подобрать выборку, где есть их одинаковое влияние и разное - исследуемого (с допустимой небольшой погрешностью). Т.е. берем 10 сайтов, которые продвигались одинаково ссылками, а потом вносим на пять из них социальные факторы. И сверяем результаты. При этом гарантируем, что другие факторы (поведенческие, например) не вносили ничего на период измерений.

3) Необходимо гарантировать корректность выборки при сравнениях. Очень часто берут один фактор и сравнивают его два значения (много или мало), забывая, что в такой выборке могут участвовать разные подвыборки, и делая некорректные выводы в итоге.

Например, можно сравнивать сайты с большим числом ссылок и малым, забывая о таком факторе, как качество этих ссылок. В итоге очевиден, но неправилен вывод, что выигрывает сайт с большим числом ссылок, тогда как более корректным выводом будет что-то вроде "при условии, что все ссылки качественные, то выигрывает сайт с большим числом ссылок". А на самом деле вывод может быть еще сложнее и иметь множество оговорок, а также требовать дополнительных исследований.

Т.е. нельзя сравнивать сайты по одному фактору, забывая, что внутри этого фактора может быть дополнительное разбиение по другим параметрам.

Итого: 95% исследований на тему поискового продвижения - случайное неподтвержденное ничем кроме одноразового случая (считай, удачи) говно. Как и кейсы, которые пытаются на основе таких измерений продавать, за редким исключением методологических исследований. Впрочем, я не уверен, что большинство авторов кейсов даже способны без ошибки проговорить и написать фразу "методологическое исследование".


ПСы. Пост возник после прочтения очередного кейса на форуме Вебмастерс, получившего золотой статус. Но раз уж некоторые спроецировали это на мое замечание в посте Деваки, то хотел бы оговорить свое отношение к данной работе. Сергея я знаю, хоть и неблизко, уже давно, к его работам и исследованиям отношусь с уважением. Однако, если я вижу пробелы в них, то нахожу нужным оставить замечание. Сергей - умный и воспитанный человек, чтобы принять замечание к сведению и, возможно, произвести коррекции в своем исследовании. Точно также я слежу за вашими замечаниями и комментариями, стараясь сделать свою работу более точной и полной. Критика для умного важна и полезна, а глупого не спасет. Поэтому Деваку я критикую, а над профанами издеваюсь.

Теперь перейдем к сути исследования. Я не очень понимаю, что именно оно показало. Что старых сайтов больше в выборке? Это так и есть для любого ВК-СК-топа. Я знаю только НЧ-НК-топы, где выдача состоит из пяти-семи дорвеев.

Что новые сайты все же присутствуют в топе? Да, они присутствуют, согласно тому же исследованию. Такое присутствие обычно обосновано или СПЕКТРом, или социальным взрывом, или полнотой отработки невозрастных факторов. Исходя из этих трех причин уже понятно, что молодых сайтов никогда не будет много в топе, так как первое - это по сути удача, второе - серьезные вложения, третье - передача опыта и работа большой команды.

Теперь собственно к моему замечанию. Берем выборку старых сайтов, исследуем уровень полноты отработки невозрастных факторов. Даже не проводя исследования, можем предположить, что в силу высокой конкуренции владельцы таких сайтов имели возможность поэтапной отработки таких факторов. Говоря проще, если сайту больше полутора-двух лет, то, скорей всего, он должен быть сильно вылизан, чтобы оставаться в топе по ВК. Допустим, что мы получаем что сайтов отработанных по сравнению с неотработанными старыми - Х%.

Берем выборку молодых сайтов. Проводим такое же исследование. И вот здесь выясняем, что молодых сайтов с полнотой выборки будет относительно немного к общей выборке по возрасту. Т.е. Y%, где Y сильно меньше X.

Теперь берем исследование и смотрим соотношение молодых к старым. И соотношение Y к X. И видим, что два этих соотношения предположительно близки. Таким образом, возраст ничего существенно не показывает, а большую роль играет отработка сайта и его социальных факторов. Хотя, конечно, все может быть и не так, и возраст может играть какую-то роль. Но поскольку данный вопрос в исследовании не освящен, то он остается открытым.

Раздел: сео