вівторок, 26 лютого 2008 р.

Ефективність media relations через призму тональності


Ви помічали правило «парних подій»? Буває, роками не бачиш людину, а потім зустрічаєш її випадково в метро, а невдовзі знаходиш десь в інтернеті у соціальній мережі або бачиш цитату в газеті. Те саме я часто помічаю з якимись фактами, подіями або думками. Можливо, це і є матеріалізація думок, коли схожі речі притягуються? )))
Саме так сталось із темою тональності публікацій. Після того, як я за тиждень з трьох різних джерел отримав цікаві дані, вирішив присвятити цьому окремий пост.
Випадок перший.
Нещодавно я слухав подкаст PRWeek/CTN, в якому йшлося про цікаве дослідження: однакові статті давали для аналізу піарщикам та незалежним аналітикам з консалтингових компаній та просили визначити тональність статті. Висновки цілком різнилися. Певні статті, які піарщики позначали як позитивні для згаданих компаній, аналітики вважали нейтральними. Скажімо, згадування «зеленої» ініціативи нафтової компанії аналітики оцінили як нейтральне, а спеціалісти із зв’язків з громадськістю, які дивилися на ширший контекст і попередні звинувачення тої самої компанії у забрудненні навколишнього середовища, одностайно вважали це позитивною ознакою.
Випадок другий
Майже паралельно із цим на сесії UAPR Академії Даниїл Ваховський дав декілька цікавих практичних завдань із аналізу статей на фінансову тематику, зокрема, аналізу тональності згаданих в статтях компаній. Слухачі зіткнулись із тим, що часто тональність була доволі неоднозначною. Уявімо статтю про видачу іпотечних кредитів без першого внеску. Більшість речників банків, процитованих у статті, вказують на нові можливості і умови кредиту, і лише один стверджує, що його банк не готовий ризикувати і вимагає 25-30% передоплати. Чи є це згадування негативним? Не факт, адже цілком можлива аргументація, що, відмовляючись від таких кредитів, банк не наражає на небезпеку своїх поточних клієнтів. З іншого боку, решта банків також можуть записати згадування на свою користь, адже їм вдалося поширити інформацію про нову послугу.
Випадок третій
Ще за два дні мені на очі потрапило дослідження Insitute of Public Relations, в якому досліджувалася залежність бізнес-результатів від тональності згадування. Автори спростовували міф про те, що “there is no such thing as bad publicity”. У праці було показано, як впали продажі ліків від кашлю після тиражування в американських ЗМІ висновків дослідження медичного інституту, яке вказало на їх малу ефективність.
Цікаво, що той самий Institute of Public Relations у своїх дослідженнях використовує систему «штучного розуму» нью-йоркської компанії Video Monitoring Service, яка (система, не компанія))) є, цитую, «advanced linguistics, artificial intelligence tool with human-like text analysis capabilities that enabled the automated scoring of tone». Хоч до результатів дослідження в мене питань немає, проте ідея використання комп’ютеризованої системи для визначення тональності публікації викликає внутрішній супротив, особливо на основі згаданого вище досвіду складності і неоднозначності оцінки.
Для спеціалістів у нашій галузі вже не секрет, що самі по собі кількість або об’єм публікацій може використовуватись як показник успішності лише для нейтральних фактичних кампаній, де відсутні конфлікти та конкуренти (наприклад, освітні, некомерційні, екологічні проекти). Для більш комплексних та контроверсійних компаній необхідно враховувати, яке саме повідомлення дійшло до читача та його тональність. Яскравий приклад цього – медіа-рейтинг українських PR-агенцій. Можна сперечатись з приводу залежності успішності агентства та кількості згадувань в спеціалізованих ЗМІ, проте кейс із "Радником", яке посіло верхні позиції рейтингу внаслідок скандалу із розміщенням платних сюжетів, на мою думку, значно зменшує цінність рейтингу.
А як ви оцінюєте тональність повідомлень? Проводите аналіз власними силами чи передаєте це завдання спеціалізованим моніторинговим агентствам? Чи враховуєте цей критерій під час планування та підбиття підсумків PR-програм?

18 коммент.:

ArhiPR at 26 лютого 2008 р. о 15:57 сказав...

ИМХО: тональность - субъективна

в мониторинге отдельно выносим явно негативные(если были)

нейтральные и позитивные анализируем - количество наше всё

Татьяна Кретова (Бабенко) at 26 лютого 2008 р. о 16:18 сказав...

Тональность хоть и субъективная, но важная оценка. Мы анализируем по тематикам, основным направлениям, ключевым словам. Делаем, как по-проектно, так и во временных рамках. Пользуемся услугами мониторингового агенства с "личной проверкой данных" :-) Если пиар-агенство делает мероприятие, то это неотъемлимая часть их отчета по мероприятию.

Владимир Гайдаш at 26 лютого 2008 р. о 19:50 сказав...

Коллеги вот и я уже в блогосфере!
Считаю что ценность упоминаемого рейтинга довольно сомнительна - ПР ради ПР :) - я бы скорее мерял отзывы топ-менеджеров о ПР компаниях например из Топ 100 или "Гвардии" по шкале от 1 до 5.
Единица доставалась бы компаниям которые с благими намерениями умудрились угробить имидж подрядчика за его же деньги.

Ярина Ключковська at 26 лютого 2008 р. о 20:12 сказав...

Володю, класний пост! Коректне визначення тональності - дуже непроста справа, і, з досвіду, моніторингові агентства трохи зловживають присвоєнням матеріалам "позитивної" тональності. Тому треба чітко прописувати критерії, що ми вважаємо позитивним.

Для мене сам факт наявності ключових повідомлень не є достатнім, щоб стаття була позитивною. І негативна, і позитивна тональність виникає внаслідок наявності оціночних суджень. Все інше - нейтральне. Адекватність донесення повідомлень - інший критерій, навіть, іноді, важливіший. Готова посперечатися :)

2володимид гайдаш: Вітаємо у віртуальному просторі! І погоджуюся, що рейтинг згадуваності мало що означає, але і на відгуки топ-менеджерів я би не посилалася. На жаль, зараз так мало топ-менеджерів, які розуміють суть PR!

Володимир Дегтярьов at 27 лютого 2008 р. о 14:37 сказав...

2 vysoven
Юрий, позиция ясна. А как вы считаете посетителей онлайн-изданий? Дневная, недельная или месячная статистика?

Володимир Дегтярьов at 27 лютого 2008 р. о 14:54 сказав...

2 Tetyana Babenko
Таня, ясно. А механика анализа у вас своя или вы используете ту, которой пользуется агентство?

2 Володимир Гайдаш
Думаю, вместо единицы нужно было бы ввести отрицательную шкалу, было бы честнее )).

2 Ярина Ключковська
Згоден, у звітах моніторингових агентств часто адекватно донесене повідомлення перетворюється на позитивне. Сперечатися не буду )).

Ярина Ключковська at 27 лютого 2008 р. о 18:28 сказав...

Не можу змовчати... На прохання роз'яснити критерії оцінки тональності, ми отримали від одного, скажемо прямо, з кращих моніторингових агентств ось такий перл: "Позитивная /тональность/ - материал, который при определенных условиях может вызвать некоторый позитивный общественный резонанс (есть подтекст, недоступный для массового понимания)." Ну, експерти, хто візьметься пояснити мені цю сентенцію?

Наталья Кононенко at 28 лютого 2008 р. о 12:23 сказав...

На мою думку, для глибокого аналізу більш комплексних і контраверсійних компаній не достатоньо аналізу таких критеріїв медіаактивності як кількість публікацій, обсяг публікацій і тональність згадувань об'єкту дослідження в тексті. Дійсно глибокий аналіз медіаполітики потребує аналізу мінімум 20 медіа показників об'єкту, що досліджуються.
Щодо тональності, то повністю підтримую думку колег щодо суб'єктивності такої характеристики як тональність. Втім, є технологічні рішення, які дозволяють зробити і цей параметр медіаактивності більш об'єктивним. Наприклад, можна згадати, що вимірювання тональності може бути одновимірним, двовимірним і т.д.

Володимир Дегтярьов at 28 лютого 2008 р. о 15:13 сказав...

Наталю, вітаємо на блозі! Дякую за коментар!
А можете детальніше пройтися (або порадити матеріал) по дво- та тривимірному вимірюванню тональності? . З приводу 20 медіа-показників - що ви маєте на увазі під показниками? Ми вимірюємо за 6-7 параметрами (адекватність, охват, тональність, тип ЗМІ, тип публікації і т.д.), допускаю, що це не повний перелік, проте 20 складно уявити. Давайте узгодимо термінологію ))

Татьяна Кретова (Бабенко) at 28 лютого 2008 р. о 17:18 сказав...

Володя, прости за запоздалый пост, заработалась :-) мы применяем свою систему оценки. Она довольно простая и стандартная, тип публикации, тираж, издания/охват ... Для нас критично так же отслеживать прогресс называния нас нашим правильным форматом :-) Так что это наш личный скажем так параметр. Я довольно скептически отношусь к оценке ROI. Слава Богу, нас не просят его считать... Думали о том, что возможно стоит закрепить величины за каждым из критериев, но порой это довольно трудоемко, не всегда адекватно, а поскольку не требуемо, то время можно инвестировать во что-то более важное :-)

Татьяна Кретова (Бабенко) at 28 лютого 2008 р. о 17:20 сказав...

2Ярына: Ярын, это класс!!! Это ж какие кашпировские психологи должны работать в мониторинговом агентстве, чтобы распознать потенциальное невидимое влияние :-) если никто другой его не видит :-) хи-хи.

Наталья Кононенко at 2 березня 2008 р. о 01:45 сказав...

Володимир, дякую за вітання. Відповісти вчасно не могла - був відсутній доступ до інету.

1.Щойно перерахувала: 17 критеріїв у нас виходить, за якими ми на даний момент аналізуємо якість медиаполітики як одного з інструментів формування репутації.

2.Порадити статтю, на жаль, не можу. В Україні переведенням тональності із суб'єктивної ознаки медіаполітики в об'єктивну не займаються, через це і текстів нема. Читала цікаві розробки у чехів, як знайду, кину посилання.

Дякую.

Володимир Дегтярьов at 4 березня 2008 р. о 16:45 сказав...

Наталю, дякую!
А що ви думаєте про перспективи автоматизованого аналізу публікацій? Зокрема, знайшов VMS'івський опис їхньої системи PR Track AI. Який ваш прогноз - коли можна в Україні очікувати на появу таких послуг?

Анонім сказав...

Тут ИМХО следует ещё учитывать потенциальную реакцию целевой аудитории на ту или иную тональность. Бывает, негативная тональность, наоборот, вызывает невероятный всплеск любви у лояльной аудитории.

Анонім сказав...

Владимир, несколько слов об автоматизации определения тональности публикаций и перспективах появления подобных систем в Украине. Задача это довольно сложная, так однозначно выделить можно лишь негатив, причем с помощью словарей, составленных экспертами.

Качество распознавания тональности напрямую зависит от полноты словаря так называемых "плохих" слов, однако это не спасает, если пишут в негативном свете хорошими словами.

Конечно, можно попробовать заставить опеределять негатив, обучив на эталонной коллекции документов, помеченной одним из проявлений тональности, но совершенно очевидно, что ни иронию, ни скрытый негатив такой алгоритм не возьмет.

Еще встречается позитивное отображение объекта в тексте документа, которое часто перечеркивает всего лишь одна фраза, например, вопрос с концовкой в стиле "не так ли?" - задача, которую тяжело "объяснить" машине.

Зачастую текст документа не содержит однозначной оценки деятельности объекта мониторинга, а в различных частях есть как позитив, так и негатив. Понятно, что здесь нужно считать тональность каждого объекта и предиката, содержащихся в тексте, однако непонятно, какие из них перевешивают на практике, и что со всем этим делать.

Я рассматриваю возможность построения матрицы отношений между объектами, однако пока тяжело сказать, получится ли из этого сенсор тональности. Не исключаю, что можно попробовать посчитать тональность связей - это проще, отношений меньше, чем объектов, и они не меняются, плюс при большой коллекции документов можно будет готорить о какой-то объективности.

Насколько я знаю, в России разработками в этой области занимаются ВААЛ и Гарант-Парк, здесь (в Украине) RCO, но практического применения такие системы пока не получили, да и анализировать славянские языки намного сложнее.

Володимир Дегтярьов at 24 березня 2008 р. о 11:20 сказав...

Вячеслав, спасибо за комментарий! То есть без человеческого контроля все-таки не обойтись (по крайней мере, ближайшие года полтора-два), правильно?
Кстати, это не с вами мы общались на прошлой неделе в Gloria Jeans? Если да, то приятно встретиться еще и в онлайне ))

Tikhonov at 24 березня 2008 р. о 15:19 сказав...
Автор видалив цей коментар.
Анонім сказав...

Да, в Gloria Jeans был я и Сергеей Зубанов из ИМК. Не очень понравилось предубежденное отношение к нам пиарщиков (в частности, Ярины Ключковской) - а ведь я пришел из области, ранее недоступной мониторщикам, и с новыми идеями, некоторые из которых уже воплощены в жизнь.

Что касается тональности, то конкретные сроки здесь назвать непросто из-за сложности задачи. Я пока не достаточно изучил эту тему, но уже сейчас могу сказать, что нельзя привязываться к словарям, а нужно анализировать в тексте формы инвективной лексики и фразеологии первого типа, т.е. относящейся к сфере литературного языка.
Например, вот эти: http://psyfactor.org/agress1.htm

В принципе, задача в перспективе решаемая.